CRO Nasıl Ölçülür? Conversion Rate, Primary Metric ve Guardrail Metrikleri

CRO ölçümünde temel soru yalnızca “conversion rate arttı mı?” değildir. Daha doğru soru şudur: Hangi kullanıcı davranışını değiştirmeye çalışıyorduk, bunu hangi metrik temsil ediyor ve bu iyileşme işletme açısından gerçekten olumlu bir sonuç üretti mi?

Bir değişiklik CTA tıklamasını artırabilir fakat form tamamlama oranını değiştirmeyebilir. Form gönderimleri artabilir fakat qualified lead sayısı aynı kalabilir. Sepete ekleme artarken revenue per visitor düşebilir. Bu örneklerin tamamında en az bir “conversion metriği” iyileşmiştir; buna rağmen business outcome aynı ölçüde iyileşmemiş olabilir.

Bu nedenle CRO measurement tek bir oran değil, farklı görevleri olan metriklerden oluşan bir sistemdir.

BUSINESS GOAL ↓ DESIRED USER BEHAVIOR ↓ PRIMARY METRIC ├── SECONDARY METRICS ├── GUARDRAIL METRICS └── BUSINESS OUTCOME ↓ DECISION

Optimizely, deneylerde primary metric’i hipotezin başarılı olup olmadığını belirleyen temel metrik; secondary metric’leri kullanıcı davranışı hakkında ek bilgi sağlayan ölçümler; monitoring goal’ları ise olası yan etkileri izleyen guardrail ölçümleri olarak ayırır.^[1]

Amplitude da benzer biçimde primary metric’in hipotezi kabul veya reddetmede kullanılmasını ve mümkün olduğunca değişikliğin doğrudan etkilediği kullanıcı davranışını temsil etmesini önerir.^[2]

CRO’da iyi measurement, daha fazla metrik izlemek değil; her metriğin hangi kararı vermek için kullanıldığını bilmektir.

CRO metriği nedir?

CRO metriği, kullanıcının bir deneyim içinde gerçekleştirdiği davranışı veya bu davranışın ticari sonucunu ölçmek için kullanılan nicel göstergedir.

Bunlar örneğin:

• CTA click rate,
• form start rate,
• form completion rate,
• add-to-cart rate,
• checkout completion rate,
• purchase rate,
• average order value,
• revenue per visitor,
• qualified lead rate

olabilir.

Ancak bir sayının dashboard’da bulunması onu otomatik olarak CRO metriği yapmaz.

Örneğin toplam pageview sayısı değişebilir. Bu değişim trafik hacminden kaynaklanıyorsa CRO çalışmasının performansını açıklamayabilir.

Bir metriğin CRO açısından anlamlı olabilmesi için önce şu soruya cevap vermesi gerekir:

Bu sayı hangi kullanıcı davranışını veya business outcome’u temsil ediyor?

Event, conversion, metric ve KPI aynı şey midir?

Hayır. Pratikte birbirine karıştırılmaları measurement tasarımını bulanıklaştırır.

Kavram	İşlev	Örnek
Event	Sistemde kaydedilen kullanıcı etkileşimi veya olay.	form_start, add_to_cart, purchase
Conversion	Belirli bir hedef açısından değerli kabul edilen kullanıcı aksiyonu.	Form gönderme veya satın alma
Metric	Event veya kullanıcı davranışından hesaplanan nicel ölçüm.	Add-to-cart rate, revenue per visitor
KPI	Belirli bir business goal’un performansını değerlendirmek için kritik kabul edilen gösterge.	Qualified leads, monthly revenue

Örneğin generate_lead bir event olabilir.

Bu event’i gerçekleştiren kullanıcı sayısından lead conversion rate hesaplanabilir.

Fakat şirket için asıl KPI yalnız lead sayısı değil, qualified lead veya satış olabilir.

Google Analytics’in lead acquisition modelinde bile generate_lead, qualify_lead ve close_convert_lead ayrı aşamalar olarak ölçülebilir. Google’ın raporunda new leads, qualified leads ve converted leads farklı metrikler olarak tanımlanmıştır.^[3]

Bu ayrım özellikle lead generation CRO çalışmalarında kritiktir:

FORM SUBMISSION ≠ QUALIFIED LEAD ≠ CUSTOMER

Conversion rate nedir?

Conversion rate en temel haliyle belirli bir hedef aksiyonu gerçekleştiren kullanıcıların veya oturumların ilgili başlangıç kitlesine oranıdır.

Fakat burada önemli bir problem vardır:

Conversion rate’in paydası bağlama göre değişebilir.

Örneğin Google Analytics kullanıcı ve session bazlı oranları ayrı ölçer.

User key event rate, key event gerçekleştiren kullanıcıların toplam kullanıcılara oranıdır.^[4]

KEY EVENT USERS ÷ TOTAL USERS

Session key event rate ise en az bir key event gerçekleşen session’ların toplam session sayısına oranıdır.^[5]

SESSIONS WITH KEY EVENT ÷ TOTAL SESSIONS

Bir funnel analizinde ise conversion rate başlangıç adımına giren kullanıcılarla funnel’ın son adımını tamamlayan kullanıcılar üzerinden hesaplanabilir. Amplitude, funnel conversion’ı tüm adımları tamamlayan kullanıcıların ilk adıma giren kullanıcılara oranı olarak tanımlar.^[6]

Dolayısıyla:

"Conversion rate %4"

ifadesi tek başına eksiktir.

Şunları da bilmek gerekir:

• Hangi conversion?
• Hangi başlangıç popülasyonu?
• User mı session mı?
• Hangi zaman aralığı?
• Hangi segment?
• Hangi funnel başlangıcı?

Conversion rate neden tek başına CRO başarısını göstermez?

Conversion rate son derece yararlı bir metriktir. Problem, bu metriğin bütün CRO sisteminin yerine kullanılmasıdır.

Bir e-ticaret sitesinde purchase conversion rate yükselmiş olabilir fakat average order value düşmüş olabilir.

Örneğin:

ÖNCE Conversion Rate = %2 AOV = 2.000 TL SONRA Conversion Rate = %2,5 AOV = 1.500 TL

Yalnız conversion rate’e bakarsak performans iyileşmiş görünür.

Fakat müşteri başına ekonomik değer farklı yönde hareket etmiştir.

Benzer sorun lead generation tarafında ortaya çıkabilir:

FORM COMPLETION ↑ QUALIFIED LEAD RATE ↓

Daha fazla form almak her zaman daha fazla değer üretmek anlamına gelmez.

Form fazla kolaylaştırılmış, mesaj yanlış kitleyi çekmiş veya qualification mekanizması zayıflamış olabilir.

CRO measurement bu nedenle lokal davranış ile nihai business outcome’u birbirinden ayırmalıdır.

Önce business goal belirlenmelidir

Metric seçimi dashboard’dan başlamamalıdır.

Önce hangi iş sonucunun iyileştirilmek istendiği belirlenmelidir.

Örneğin e-ticaret için:

BUSINESS GOAL Geliri artırmak ↓ USER OUTCOME Daha fazla uygun kullanıcının satın alma tamamlaması ↓ FUNNEL PDP → Add to cart → Checkout → Purchase ↓ METRICS Add-to-cart rate Checkout rate Purchase rate AOV Revenue per visitor

B2B lead generation için:

BUSINESS GOAL Daha fazla satış fırsatı ↓ USER OUTCOME Uygun potansiyel müşterinin iletişim başlatması ↓ FUNNEL Landing Page → Form Start → Form Submit → Qualified Lead → Sale ↓ METRICS Form start rate Form completion rate Qualified lead rate Sales conversion

Bu yaklaşım yalnız CRO’ya özgü değildir. SEO stratejisinde ölçümü iş hedefinden başlayarak kurmak da aynı nedenle önemlidir: trafik, davranış ve business outcome birbirine bağlanmadığında hangi çalışmanın gerçekten değer ürettiğini anlamak zorlaşır.

Primary metric nedir?

Primary metric, bir optimizasyon veya experiment’in ana başarı kriteridir.

Basitçe şu soruya cevap verir:

Bu değişiklik işe yararsa hangi kullanıcı davranışının değişmesini bekliyoruz?

Optimizely primary metric’i deneyin kazanıp kazanmadığını belirleyen en önemli hedef olarak tanımlar.^[1]

Amplitude da primary metric’in experiment hypothesis’ini değerlendirmek için kullanılan ana ölçüm olduğunu belirtir.^[2]

İyi bir primary metric’in birkaç özelliği vardır.

Değişikliğe doğrudan bağlı olmalıdır

Ürün sayfasındaki Add to Cart butonunun tasarımını değiştiriyorsak:

Primary Metric: Add-to-cart rate

mantıklı olabilir.

Şunu primary metric seçmek ise daha problemli olabilir:

Total company revenue

Çünkü şirket geliri:

• farklı trafik kanallarından,
• binlerce başka üründen,
• kampanyalardan,
• stok durumundan,
• fiyat değişikliklerinden

etkilenebilir.

Optimizely de primary metric seçerken değişikliğin doğrudan etkilediği aksiyona odaklanmayı ve çoğu durumda değişikliğe yakın bir metriğin daha hassas sinyal verebileceğini belirtir.^[1]

Hipotezi gerçekten temsil etmelidir

Örneğin hipotez:

Ürün karşılaştırmasını sadeleştirirsek kullanıcıların doğru ürünü seçmesi kolaylaşacak.

ise yalnız:

Comparison table clicks

ölçmek yetersiz olabilir.

Çünkü insanların tabloya daha fazla tıklaması ürün seçiminin iyileştiğini göstermeyebilir.

Daha yakın business behavior:

• PDP progression,
• add-to-cart,
• product selection completion

olabilir.

Metric hipotezin kendisini ölçmelidir; yalnız değiştirilen öğeye yapılan etkileşimi değil.

Primary metric her zaman revenue olmalı mı?

Hayır.

Bu CRO measurement’taki yaygın hatalardan biridir.

Revenue işletme için son derece önemlidir. Fakat her experiment’in değişikliği revenue’yu yeterince doğrudan etkilemez.

Amplitude, ürün sayfasının görünümü veya işleviyle ilgili bir değişiklikte revenue gibi funnel’ın çok aşağısında bulunan metriği otomatik olarak primary metric seçmenin hata olabileceğini açıkça belirtir.^[2]

Örneğin:

CHANGE: Product filter usability PRIMARY: Product discovery / PDP progression SECONDARY: Add-to-cart BUSINESS: Purchase / Revenue

Burada business metric önemini kaybetmez.

Sadece değişikliğin doğrudan etkisini ölçen metric ile işletmenin nihai sonucunu ölçen metric farklı rollere ayrılır.

Local metric ile business metric arasındaki fark nedir?

Bu yazıda karar vermeyi kolaylaştırmak için iki seviyeyi ayıracağım:

Local metric, yapılan değişikliğin hemen yakınındaki kullanıcı davranışını ölçer.

Business metric ise işletmenin nihai olarak değer verdiği sonucu ölçer.

Bu ayrım burada kullandığım editoryal framework’tür; bütün analytics veya experimentation platformlarının kullandığı resmî isimlendirme değildir.

Değişiklik	Local metric	Business metric
PDP CTA iyileştirmesi	Add-to-cart rate	Revenue per visitor
Lead form sadeleştirme	Form completion rate	Qualified leads / sales
Kategori filtreleri	PDP progression	Purchase / revenue
Pricing page copy	Signup progression	Paid customer / revenue

İyi measurement genellikle ikisini birlikte izler.

LOCAL EFFECT ↓ DOWNSTREAM BEHAVIOR ↓ BUSINESS OUTCOME

Çünkü local metric iyileşip business metric zarar görüyorsa optimizasyonun gerçek değeri sorgulanmalıdır.

Secondary metric nedir?

Secondary metric, primary metric dışında değişikliğin kullanıcı yolculuğunun başka bölümlerine etkisini anlamaya yardımcı olan ölçümdür.

Primary metric şu soruya cevap verir:

Hipotezimizin hedeflediği ana davranış değişti mi?

Secondary metric ise şunları sorabilir:

• Bu değişiklik funnel’ın devamını nasıl etkiledi?
• Kullanıcı davranışında başka ne değişti?
• Primary metric’teki hareket downstream davranışa taşındı mı?

Optimizely secondary metric’lerin özellikle funnel’ın daha ilerideki aşamalarını ve değişiklikten daha uzaktaki sonuçları anlamakta kullanılabileceğini belirtir.^[1]

Örneğin ürün sayfasında:

PRIMARY Add-to-cart rate SECONDARY Cart page progression Checkout start Purchase rate Revenue per visitor

gibi bir yapı kurulabilir.

Guardrail metric nedir?

Guardrail metric, optimizasyon sırasında bozulmasını istemediğimiz önemli davranış veya business outcome’u izleyen güvenlik metriğidir.

Bir değişiklik primary metric’i iyileştirirken başka bir alana zarar verebilir.

Örneğin:

TEST: Lead form alanlarını azalt PRIMARY: Form completion ↑ GUARDRAIL: Qualified lead rate

Form completion ciddi biçimde yükselirken qualified lead rate düşüyorsa deney yüzeyde başarılı fakat işletme açısından problemli olabilir.

Optimizely monitoring goals kavramını bu tür adverse effect’leri yakalamak için kullanılan guardrail ölçümler olarak açıklar.^[1]

Statsig de deney karar framework’ünde primary metric ile guardrail metric’leri birlikte kullanarak rollout, tartışma veya rollout etmeme gibi kararlar üretilebilmesini destekler.^[7]

Primary, secondary ve guardrail arasındaki fark

Metric Role	Temel soru	Örnek
Primary	Bu değişiklik hedeflediğimiz ana davranışı iyileştirdi mi?	Add-to-cart rate
Secondary	Funnel’ın diğer aşamalarında ne oldu?	Checkout start
Guardrail	İyileştirme yaparken önemli başka bir sonucu bozduk mu?	Revenue per visitor
Business Outcome	Değişikliğin şirket açısından nihai değeri nedir?	Revenue / qualified sales

Bu roller tamamen sabit değildir.

Aynı metric başka bir experiment’te başka rol üstlenebilir.

Örneğin revenue per visitor:

• bir checkout experiment’inde primary metric,
• ürün sayfası experiment’inde secondary metric,
• fiyat sunumunu agresifleştiren başka bir experiment’te guardrail

olabilir.

Bir metriğin adı değil, hangi kararı vermek için kullanıldığı rolünü belirler.

Macro ve micro conversion nedir?

CRO measurement’ta conversion’ları kullanıcı yolculuğundaki iş değerlerine göre ayırmak yararlıdır.

Macro conversion, işletmenin ana hedefini doğrudan temsil eden dönüşümdür.

Örneğin:

• Purchase
• Qualified lead
• Booking
• Paid subscription

Micro conversion ise kullanıcının ana hedefe doğru ilerlediğini gösteren ara davranıştır.

Örneğin:

• Product view
• Add to cart
• Form start
• Pricing view
• Checkout start

Micro conversion’lar diagnostik olarak değerlidir.

Ancak onları nihai business sonucu yerine koymamak gerekir.

MICRO CONVERSION ↓ MICRO CONVERSION ↓ MACRO CONVERSION

Örneğin:

PDP VIEW ↓ ADD TO CART ↓ CHECKOUT ↓ PURCHASE

Add-to-cart yükseldiği halde purchase değişmiyorsa problem funnel’ın başka bölümünde olabilir.

CTR CRO metriği olabilir mi?

Olabilir.

Ama CTR gördüğümüz her yerde CRO başarısı ilan etmek de gereksiz bir insan refleksidir.

CTR’nin anlamı ölçülen yüzeye bağlıdır.

Örneğin bir landing page’deki ana CTA’nın:

CTA CLICKERS ÷ ELIGIBLE PAGE USERS

oranı, belirli bir hypothesis için local CRO metric olabilir.

Ancak:

CTA CTR ↑

tek başına:

LEAD ↑

veya:

REVENUE ↑

anlamına gelmez.

Kullanıcı CTA’ya tıklayıp formu tamamlamıyor olabilir.

Dolayısıyla:

CTA CTR ↓ FORM START ↓ FORM COMPLETE ↓ QUALIFIED LEAD

zinciri birlikte değerlendirilmelidir.

Vanity metric nedir?

Vanity metric, sayının kendisi etkileyici görünmesine rağmen business veya kullanıcı kararı açısından yeterli bilgi sağlamayan metriktir.

Ancak belirli metrikleri evrensel olarak “vanity” ilan etmek de doğru değildir.

Örneğin:

• pageviews,
• time on page,
• CTR,
• scroll depth

bazı analizlerde tamamen anlamsız olabilirken başka bir hipotezde diagnostik değer taşıyabilir.

Asıl kriter şudur:

Bu metrik değiştiğinde hangi kararı değiştireceğiz?

Cevap:

“Hiçbir fikrim yok ama dashboard’da yeşil görünüyor.”

ise güçlü ihtimalle yanlış metriğe bakıyoruz.

Revenue per visitor neden yararlı olabilir?

E-ticarette conversion rate ve average order value bazen birbirine ters yönde hareket edebilir.

Bu durumda revenue per visitor daha bütüncül bir ekonomik metric sağlayabilir.

Optimizely, bulk discount örneğinde conversion rate veya AOV’nin tek başına davranışı tam olarak yakalayamayabileceğini ve revenue per visitor’ın bu iki etkiyi birlikte değerlendirebileceğini açıklar.^[1]

Basitleştirilmiş ilişki:

REVENUE PER VISITOR = CONVERSION RATE × AVERAGE ORDER VALUE

Örneğin:

Variant	Conversion Rate	AOV	RPV
A	%2	2.000 TL	40 TL
B	%2,5	1.500 TL	37,5 TL

Variant B daha yüksek conversion rate üretmesine rağmen kullanıcı başına revenue daha düşüktür.

Bu örnek conversion rate’in neden tek başına optimizasyon hedefi olmaması gerektiğini gösterir.

AOV tek başına başarı metriği olabilir mi?

Olabilir, fakat bağlama göre.

Average order value yükselirken purchase sayısı ciddi şekilde düşebilir.

Örneğin:

AOV ↑ Conversion Rate ↓

durumunda şirketin toplam ekonomik sonucu birlikte değerlendirilmelidir.

Bu nedenle pricing, bundle veya bulk discount gibi deneylerde:

• conversion rate,
• AOV,
• revenue per visitor

birlikte daha anlamlı bir tablo oluşturabilir.

Lead generation CRO nasıl ölçülmelidir?

Lead generation sitelerinde en büyük measurement hatalarından biri her form gönderimini eşit conversion olarak değerlendirmektir.

Örneğin:

100 FORM SUBMIT ↓ 30 QUALIFIED LEAD ↓ 8 SALES

ile:

80 FORM SUBMIT ↓ 50 QUALIFIED LEAD ↓ 15 SALES

aynı şey değildir.

İlk senaryo daha fazla form conversion üretir.

İkinci senaryo daha fazla business outcome üretir.

Bu nedenle lead-generation measurement tree şu şekilde kurulabilir:

LANDING PAGE USERS ↓ FORM START ↓ FORM SUBMIT ↓ QUALIFIED LEAD ↓ SALES OPPORTUNITY ↓ CUSTOMER

Google Analytics’in güncel lead acquisition raporu da new lead, qualified lead ve converted lead metriklerini ayrı aşamalar olarak destekler.^[3]

CRO açısından bu ayrım kritik çünkü form friction azaltıldığında:

SUBMISSIONS ↑

olabilir fakat:

LEAD QUALITY ↓

riski de doğabilir.

Bu nedenle qualified lead rate güçlü bir guardrail veya business metric olabilir.

Funnel metric’leri neden ayrı izlenmelidir?

Nihai conversion rate problemin nerede olduğunu söylemez.

Örneğin:

10.000 PRODUCT VIEW ↓ 2.000 ADD TO CART ↓ 1.200 CHECKOUT ↓ 600 PURCHASE

Toplam purchase conversion rate’i bilmek yararlıdır.

Ancak optimizasyon yapmak için step conversion’ları da görmek gerekir.

PDP → CART 20% CART → CHECKOUT 60% CHECKOUT → PURCHASE 50%

Amplitude funnel analysis, tüm funnel conversion’ın yanında step-level conversion ve drop-off analizinin de yapılabilmesini destekler.^[6]

Bu ayrım sayesinde:

“Conversion düşük.”

yerine:

“Kullanıcıların en büyük davranış kaybı PDP → Add to Cart aşamasında oluşuyor.”

gibi araştırılabilir bir problem üretilebilir.

Metric hierarchy nasıl kurulabilir?

CRO measurement için pratik bir metric hierarchy şöyle kurulabilir:

BUSINESS OUTCOME │ ├── Primary Metric │ ├── Secondary Metrics │ └── Guardrails │ └── Diagnostic Metrics

Bir e-ticaret PDP örneği:

BUSINESS OUTCOME Revenue PRIMARY Add-to-cart rate SECONDARY Checkout start Purchase rate GUARDRAIL Revenue per visitor Returns / cancellations DIAGNOSTIC Size guide interaction Product image interaction Shipping info interaction

Buradaki diagnostik metric’ler deneyin başarılı olup olmadığına tek başına karar vermez.

Fakat davranışın neden değişmiş olabileceğini anlamaya yardım eder.

Her CRO çalışmasının tek primary metric’i mi olmalıdır?

Experimentation sistemlerinde primary metric’in net tanımlanması karar disiplinini güçlendirir.

Bir experiment’te on farklı metriğe bakıp en iyi hareket edeni sonradan “başarı metriği” ilan etmek cherry-picking riskini artırır.

Optimizely ilk sıradaki metriği primary metric olarak ayrı değerlendirir ve secondary metric sayısı arttıkça çoklu karşılaştırma nedeniyle değerlendirme eşiklerinin etkilenebileceğini açıklar.^[1]

Amplitude da primary metric’in experiment tasarımı sırasında tanımlanmasını ister.^[2]

Pratik prensip:

Experiment başlamadan önce “Hangi metriğe bakarak bu hypothesis hakkında ana kararı vereceğiz?” sorusunun cevabı belli olmalıdır.

Metric değişikliğe ne kadar yakın olmalı?

Değişikliğe yakın metric ile nihai business metric arasında bir trade-off vardır.

Yakın metric:

• değişiklikten daha doğrudan etkilenir,
• daha sık gerçekleşebilir,
• daha hızlı sinyal üretebilir.

Fakat business impact’i sınırlı temsil edebilir.

Uzak metric:

• işletme açısından daha değerlidir,
• fakat değişiklikten çok başka faktör tarafından etkilenebilir,
• daha düşük frekanslı olabilir,
• daha fazla veri gerektirebilir.

Optimizely bu nedenle bazı testlerde primary metric’i değişikliğe daha yakın seçip revenue ve conversion rate gibi top-level metrikleri secondary olarak izlemeyi önerir.^[1]

Bu mantık şöyle düşünülebilir:

CHANGE ↓ güçlü doğrudan etki LOCAL METRIC ↓ daha zayıf doğrudan etki FUNNEL METRIC ↓ birçok başka etken BUSINESS OUTCOME

İyi measurement yalnız birini seçip diğerlerini silmez.

Rolleri ayırır.

Guardrail metric nasıl seçilir?

Guardrail seçerken şu soru sorulabilir:

Bu değişiklik başarılı görünürken hangi önemli şeyi yanlışlıkla bozabilir?

Örneğin:

Lead form

PRIMARY: Form completion POSSIBLE GUARDRAIL: Qualified lead rate

Discount experiment

PRIMARY: Purchase / Revenue POSSIBLE GUARDRAIL: Margin AOV

Checkout sadeleştirme

PRIMARY: Checkout completion POSSIBLE GUARDRAIL: Payment failure Refund / cancellation

Product discovery

PRIMARY: PDP progression POSSIBLE GUARDRAIL: Purchase rate Revenue per visitor

Statsig’in decision framework yaklaşımı da guardrail metriklerini rollout kararında dikkate alınacak güvenlik kriterleri olarak kullanır.^[7]

Metric tree nedir?

Metric tree, üst düzey business goal ile onu oluşturan alt davranışların ilişkisini göstermenin basit bir yoludur.

E-ticaret için örneğin:

REVENUE │ ├── VISITORS │ ├── PURCHASE RATE │ ├── ADD TO CART │ ├── CHECKOUT START │ └── CHECKOUT COMPLETE │ └── AOV ├── ITEMS PER ORDER └── ITEM VALUE

Buradaki amaç revenue’yu matematik kitabına çevirmek değildir.

Ama hangi local behavior’ın hangi üst metrikle ilişkili olduğunu görünür hale getirir.

Lead generation için:

NEW CUSTOMERS │ ├── TRAFFIC │ ├── LEAD RATE │ └── FORM COMPLETION │ ├── QUALIFICATION RATE │ └── SALES CLOSE RATE

Bu yapı şu sorunun cevabını kolaylaştırır:

Optimize ettiğimiz davranış business goal’a hangi yol üzerinden bağlanıyor?

Measurement plan experiment’ten önce hazırlanmalıdır

Metric seçimini sonuçlara baktıktan sonra yapmak measurement değildir.

Sonuca göre başarı kriteri seçmek, işimize gelen metriği bulmamızı kolaylaştırır.

Daha iyi yapı:

HYPOTHESIS ↓ PRIMARY METRIC ↓ EXPECTED DIRECTION ↓ SECONDARY METRICS ↓ GUARDRAILS ↓ DECISION RULE ↓ EXPERIMENT

Statsig experiment scorecard’ında hypothesis ile primary, secondary ve guardrail metriklerini deney öncesinde ilişkilendiren benzer bir yapı kullanır.^[8]

Örneğin:

Ürün sayfasında teslimat tarihini CTA yakınında gösterirsek satın alma belirsizliğini azaltacağımızı düşünüyoruz.

Measurement:

PRIMARY Add-to-cart rate SECONDARY Checkout start Purchase GUARDRAIL Revenue per visitor DIAGNOSTIC Shipping info interaction

Tracking çalışmıyorsa metric tartışmasının anlamı yoktur

Measurement framework ne kadar güzel görünürse görünsün event implementation hatalıysa sonuç güvenilir değildir.

Bu nedenle CRO measurement QA şunları kontrol etmelidir:

• Event doğru aksiyonda mı tetikleniyor?
• Event iki kez gönderiliyor mu?
• Page refresh duplicate conversion yaratıyor mu?
• User ve session scope doğru mu?
• Purchase value doğru mu gönderiliyor?
• Currency doğru mu?
• Form click ile gerçek form success ayrılmış mı?
• Qualified lead CRM’den geri beslenebiliyor mu?
• Test exposure doğru kaydediliyor mu?
• Internal veya test traffic sonuçları bozuyor mu?

Örneğin:

submit_button_click

ile:

form_success

aynı conversion değildir.

Kullanıcı butona basıp validation hatası alabilir.

Buton click’i lead olarak ölçerseniz CRO ekibi conversion rate’i “artırabilir”; CRM tarafında ise kimsenin haberi olmaz. Dashboard kazanmıştır. Şirket pek sayılmaz.

CRO metric segmentlere göre incelenmeli mi?

Evet, gerektiğinde.

Toplam conversion rate farklı kullanıcı gruplarındaki büyük davranış farklarını gizleyebilir.

Örneğin:

TOTAL CR %4 DESKTOP %6 MOBILE %2

Toplam oran sorunun mobil kullanıcı tarafında yoğunlaştığını gizler.

İncelenebilecek segmentler:

• device,
• traffic source,
• landing page,
• new / returning user,
• product category,
• country / market,
• customer type

olabilir.

Ancak sonsuz segment kesip her küçük grupta “bir şey bulmaya” çalışmak da başka bir yanlış pozitif üretim yöntemidir.

Segmentasyon research sorusuna bağlı olmalıdır.

CRO measurement için pratik scorecard

Alan	Soru
Business Goal	İşletmenin iyileştirmek istediği nihai sonuç nedir?
User Behavior	Hangi kullanıcı davranışının değişmesini bekliyoruz?
Primary Metric	Hipotezin başarılı olup olmadığına hangi ana metrikle karar vereceğiz?
Expected Direction	Metric’in artmasını mı, azalmasını mı bekliyoruz?
Secondary Metrics	Funnel’ın devamını anlamak için neyi izleyeceğiz?
Guardrails	Başarı elde ederken neyi bozmamamız gerekiyor?
Business Metric	İşletmenin nihai sonucu nasıl izlenecek?
Segments	Sonuç hangi önemli kullanıcı gruplarında ayrıca değerlendirilmelidir?
Tracking QA	Event ve revenue verisinin doğru çalıştığını doğruladık mı?
Decision	Sonuç hangi kararı değiştirecek?

CRO ölçümünde sık yapılan hatalar

Her şeyi conversion rate’e indirgemek

Conversion rate önemli fakat AOV, lead quality veya downstream sonuçlarla birlikte değerlendirilmesi gerekebilir.

Primary metric’i experiment bittikten sonra seçmek

Sonuçlar görüldükten sonra en iyi hareket eden metriği başarı kriteri ilan etmek karar disiplinini bozar.

Revenue’yu her değişikliğin primary metric’i yapmak

Değişiklik funnel’ın çok yukarısındaysa revenue değişikliğin etkisine fazla uzak olabilir.

Local metric’i business result sanmak

CTA click artışı satış artışı değildir.

Daha fazla lead’i otomatik başarı kabul etmek

Lead quality düşebilir.

Guardrail kullanmamak

Bir metriği optimize ederken başka bir kritik metriğe zarar verilebilir.

Metric tanımını yazmamak

“Conversion rate” denildiğinde paydanın user, session veya funnel entrant olduğunu belirtmemek ekipler arasında farklı sonuçlar üretir.

Tracking QA yapmamak

Yanlış çalışan event üzerinden alınan kararın istatistiksel görünmesi onu doğru yapmaz.

Her metriği aynı önemde izlemek

Primary, secondary, diagnostic ve guardrail ayrımı yapılmadığında dashboard kalabalıklaşır fakat karar kolaylaşmaz.

İyi bir CRO measurement framework’ü nasıl görünür?

İyi measurement sisteminin amacı yalnız raporlama değildir.

Bir değişikliğin:

1. hedeflenen davranışı etkileyip etkilemediğini,
2. funnel’ın geri kalanında ne olduğunu,
3. istenmeyen yan etkiler oluşturup oluşturmadığını,
4. business outcome’a nasıl yansıdığını

birbirinden ayırabilmektir.

Bu nedenle:

PRIMARY METRIC "Değişiklik hedeflediğimiz davranışı etkiledi mi?" SECONDARY METRICS "Funnel'ın devamında ne oldu?" GUARDRAILS "Bir şeyi iyileştirirken başka neyi bozduk?" BUSINESS METRIC "İşletme açısından değer üretildi mi?"

şeklindeki ayrım, yalnız “conversion rate ne oldu?” sorusundan daha kullanışlıdır.

Son model şöyle kapanır:

BUSINESS GOAL ↓ USER BEHAVIOR ↓ HYPOTHESIS ↓ PRIMARY METRIC ├── SECONDARY ├── GUARDRAILS └── BUSINESS OUTCOME ↓ EVIDENCE ↓ DECISION

CRO measurement’ın amacı metriği yükseltmek değildir. Kullanıcı davranışındaki değişikliğin gerçekten değer üretip üretmediğine karar verebilmektir.

Kaynaklar ve teknik referanslar

1. Optimizely — Primary Metrics, Secondary Metrics, and Monitoring Goals
2. Amplitude — Define Your Experiment’s Goals
3. Google Analytics — Lead Acquisition Report
4. Google Analytics — User Acquisition Report
5. Google Analytics — Traffic Acquisition Report
6. Amplitude — Interpret Your Funnel Analysis
7. Statsig — Experiment Decision Framework
8. Statsig — Create an Experiment and Configure a Scorecard