Yapay Zeka Karşılaştırmaları

Sıralamadan önce görev tanımını okuyun. Çoktan seçmeli bir bilgi testi, bir kodlama alıştırması ve insan tercihi karşılaştırması farklı sonuçları ölçer. Doğruluk adı verilen iki puan bile farklı yanıt kuralları veya alt kümeleri kullanabilir. Model sürümünü, istemi, araçları, alma erişimini, deneme sayısını ve değerlendirme tarihini kontrol edin. Bir sistem birden fazla denemeye izin verdi veya harici bir arama aracı, tek bir yardımsız müdahaleyle aynı koşullar altında test edilmiyor. Bir sonucu yeniden oluştururken kurulumun tamamını kaydedin. Veri kümesi kirliliği, geliştirme sırasında test materyali veya yakın değişkenler mevcut olduğunda karşılaştırmalı değerlendirmeyi zayıflatabilir. Herkese açık bir teste karşı tekrarlanan optimizasyon, karşılaştırmanın bağımsızlığını da daraltır. Yeni, uzun süreli uygulama örnekleri, raporlanan bir yeteneğin aktarılıp aktarılmadığının değerlendirilmesine yardımcı olur. Belirsizlik ve alt grup sonuçlarını arayın. Küçük bir örnek üzerinde küçük bir fark anlamlı olmayabilir. Maliyet ve gecikmeyi görev başarısıyla karşılaştırın ve başarısızlık örneklerini inceleyin. Bir kıyaslama, sınırları açıkça belirtilmiş belirli bir yetenek iddiasının kanıtı olarak en kullanışlı olanıdır.