Güven Aralığı ya da güven seviyesi istatistiksel bir sonucun, birçok rastgele örnek alındığında yeterli olacağı zamanın yüzdesidir.
Güven aralığı A/B testi sonuçlarını yorumlamada büyük öneme sahiptir.
Sizler için bir güven aralığı örneği verelim:
>>> İki e-posta varyasyonu ile A/B testi yapılır ve aşağıdaki sonuçlar ortaya çıkar:
Dönüşüm= Tıklama Sayısı / Gönderilen E-posta Sayısı
A: 0.02
B: 0.025
Standart Hata= <Dönüşüm Oranı*(1-Dönüşüm Oranı)/Örnek Büyüklüğü> karekökü
A: 0.00198
B: 0.0020
Anlamlılık= <Dönüşüm Oranı(Varyasyon B) – Dönüşüm Oranı(Varyasyon A)>/<(Standart HataStandart Hata)(Varyasyon A) + (Standart HataStandart Hata) (Varyasyon B)> karekökü
Z-Skoru: 1.77
Yorum:
1.77 Z-Skoru'na karşılık gelen olasılık 0.96’dır. Bu, testi yapılan Varyasyon B'den elde edilen dönüşüm oranının gerçekten Varyasyon A'dan daha yüksek olduğuna %96 güvenildiği anlamına gelir.
Genellikle e-posta A/B testi söz konusu olduğunda, %95 veya üzeri bir güven seviyesi önerilir.
