Yüksek Lisans'lar Neden Harfleri Saymakta Zorlanıyor?

Bir dil modeli herhangi bir metni görmeden önce, bir belirteçleyici onu belirteçlere böler. Çoğu modern belirteç, büyük bir metin gövdesinden ortak karakter dizilerini öğrenen bayt çifti kodlaması gibi bir yöntem kullanır. Sık kullanılan kelimeler genellikle tek bir simge haline gelir ve daha nadir kelimeler birkaç parçaya bölünür. Model daha sonra her jetonu bir sayı olarak alır ve bir vektöre dönüştürür. Bu belirtecin içindeki harfleri hiçbir zaman ayrı girdiler olarak almaz. Yani 'çilek'te kaç tane r var diye sorduğunuz zaman model on karakteri taramıyor. Belki iki veya üç parça görüyor ve eğitim sırasında öğrendiği kalıplardan bu parçaların içerdiği harfleri hatırlaması gerekiyor. Bu bilgi vardır ama dolaylı ve bulanıktır, tıpkı size e harfinin yalnızca resim olarak gördüğünüz bir kelimede kaç kez göründüğünün sorulması gibi. Çilek sorusu 2024'te geniş çapta paylaşılan bir örnek haline geldi çünkü cevap insanlar için açık, chatbotlar için ise şaşırtıcı derecede zor. Aynı neden ilgili hatalara da yol açar: Yüksek sesle hecelemeniz istendiğinde yazım hatası yapmak, kelimeleri yanlış şekilde tersine çevirmek, akrostiş veya lipogram gibi harf tabanlı kısıtlamalarda başarısız olmak ve uzunluk sınırlamaları için karakterleri yanlış saymak. Tam bölünmeler belirteçler arasında farklılık gösterir, bu nedenle bir model belirli bir kelimeyi doğru çıkarırken diğeri başarısız olabilir. Yaygın bir yanılgı, bunun modellerin akıl yürütemediğini veya sadece dikkatsiz olduğunu gösterdiğidir. Sınır, genel akıl yürütmede değil, çoğunlukla giriş biçimindedir. Bir modelden önce kelimeyi hecelemesi istendiğinde, her harf kendi simgesi haline gelir ve sayma çok daha kolay bir iş haline gelir. Daha yeni muhakeme modelleri genellikle bu yazım adımını kendi başlarına yaparlar; bu da bu soruları daha sık doğru yanıtlamalarının bir nedenidir. Kesinliğin önemli olduğu herhangi bir şey için kısa bir kod parçası çalıştırmak hala en güvenilir yöntemdir.