ML Modelleri Testi için A/B Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Ekipler neden çevrimdışı ölçümlere güvenmek yerine üretimdeki A/B modellerini test ediyor?
   • Daha iyi çevrimdışı doğruluğa sahip bir model yine de gerçek iş ölçümlerine zarar verebilir
   • Çevrimdışı ölçümler yasa dışıdır
   • Üretim çevrimdışı testlerden daha ucuzdur
   • Çevrimdışı veri mevcut değil
2. A/B testinde rastgele atamanın rolü nedir?
   • Testin daha hızlı çalışmasını sağlar
   • Tasarım ve uygulama varsayımlarına bağlı olarak beklenti içindeki gruplar arasındaki dengeyi destekler.
   • Önyargılı kullanıcıları siler
   • İhtiyaç duyulan model sayısını azaltır
3. Bir A/B modeli testinde tedavi grubunda genellikle ne olur?
   • Aday istekleri puanlar ancak tüm çıktılar alıkonulur
   • Her kullanıcı aynı karar için her iki modele de atanır
   • Aday modeli, rastgele atanan grup için kullanıcıya yönelik kararlara hizmet eder
   • Herhangi bir karşılaştırmadan önce kontrol modeli kaldırılır
4. Sıfır hipotezi ve belirtilen test varsayımları altında p değeri nasıl yorumlanır?
   • Sıfır hipotezinin doğru olma olasılığı olarak
   • Tedavinin gözlemlenen sonuca neden olma olasılığı
   • Deneyin tekrarlanma olasılığı olarak
   • Sıfır hipotezi geçerliyse verilerin olasılığı en azından bu uç noktadır.
5. Çok kollu bir haydut, bir deneyi çalışırken nasıl değiştirebilir?
   • Daha iyi gözlemlenen sonuçlara sahip varyantlara daha fazla, diğerlerine ise daha az trafik ayırabilir
   • Tüm varyantları sabit ve eşit bir tahsiste tutar
   • Her atamada rastgeleliği ortadan kaldırır
   • En iyi varyantın belirsizlik olmadan tanımlanmasını garanti eder
6. A/B testi öncesinde güç analizinin amacı nedir?
   • Deney için bir logo seçmek için
   • Gerçek bir etkiyi güvenilir bir şekilde tespit etmek için kaç kullanıcıya ihtiyaç duyulduğunu tahmin etmek
   • Trafiği şifrelemek için
   • Kontrol grubunu silmek için
7. A/B testi sırasında örnek oranı uyumsuzluğu (SRM) ne sinyali verir?
   • Tedavi modeli mutlaka daha iyidir
   • Deney yeterli istatistiksel güce sahip
   • Gözlemlenen atama sayıları, yapılandırılmış tahsisten önemli ölçüde farklılık gösterir; bu, bir veri veya rastgeleleştirme sorununa işaret edebilir
   • Birincil metrik nedensel olarak iyileşti
8. Neden bir deneyin birincil başarı metriğinin yanına korkuluk metriklerini de dahil etmelisiniz?
   • Adayın her ölçümde kazanmasını garanti etmek
   • Sonuçlar gözlemlendikten sonra birincil ölçümü değiştirmek için
   • Testten önce bir karar kuralı tanımlamaktan kaçınmak için
   • Birincil ölçüm iyileşse bile diğer sonuçlardaki anlamlı zararları tespit etmek