Hakim Olarak Yüksek Lisans Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. 'Hakim olarak Yüksek Lisans' ne anlama geliyor?
   • Başka bir modelin çıktılarını puanlamak veya karşılaştırmak için bir dil modelini kullanma
   • Hukuki hükümler yazmak için bir dil modeli kullanma
   • Yalnızca evet/hayır sorularına cevap veren bir model
   • Arama sonuçlarını tarihe göre sıralayan bir model
2. Noktasal ve ikili değerlendirme arasındaki fark nedir?
   • Noktasal olarak daha hızlıdır; ikili olarak daha yavaştır ancak aksi halde aynıdır
   • Noktasal olarak bir yanıta bir dereceli puanlama anahtarına göre not verilir; ikili olarak ikiden daha iyi olanı seçer
   • Pointwise yalnızca kod için çalışır; yalnızca düzyazı için ikili olarak
   • Gerçek bir fark yok
3. Bunlardan hangisi Yüksek Lisans jürilerinde iyi belgelenmiş bir önyargıdır?
   • Tamamı büyük harflerle yazılan yanıtları tercih edin
   • Her zaman ilk kelimeyi alfabetik olarak tercih etme
   • Kaliteden bağımsız olarak daha uzun yanıtları tercih etme
   • Tarihle ilgili sorulara not vermeyi reddetmek
4. Değerlendiriciler genellikle ikili karşılaştırmalarda konum yanlılığını nasıl karşılar?
   • Aynı anda yalnızca bir yanıt göstererek
   • Her zaman uzun cevabı ilk sıraya koyarak
   • Gerekçe alanını silerek
   • Sıra değiştirilerek her karşılaştırmayı iki kez çalıştırarak
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Bir ekip, bir Yüksek Lisans jürisinin insan tercihleriyle uyumlu kaldığını nasıl doğrulayabilir?
   • Kurulumdan sonra bir daha asla kontrol etmeyerek
   • İnsan etiketli bir altın setine göre kalibre ederek
   • Hakimin notunu kendisi vererek
   • Sadece hafta sonları kullanarak
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens