Tokenizasyon ve Bayt Çifti Kodlama Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Tokenizasyon, bir dil modelinin okunması için ne üretir?
   • Metin parçalarıyla eşlenen tamsayı kimlikleri olan belirteçler
   • Ham ses dalga formları
   • Piksel ızgaraları
   • Derlenmiş makine kodu
2. Bayt Çifti Kodlama kelime dağarcığını nasıl oluşturur?
   • Bir sözlükteki tüm kelime başına bir belirteç atayarak
   • En sık görülen bitişik sembol çiftini tekrar tekrar birleştirerek
   • Karakterleri rastgele gruplayarak
   • Metni önce başka bir dile çevirerek
3. BPE gibi alt kelime yöntemleri, kelime düzeyinde tokenizasyona kıyasla hangi sorunu çözer?
   • Her cümleyi tam olarak bir simge haline getiriyorlar
   • Herhangi bir kelime dağarcığına olan ihtiyacı ortadan kaldırırlar
   • Nadir veya görülmeyen kelimeleri yeniden kullanılabilir parçalara bölerek işliyorlar
   • Sadece İngilizce için çalışıyorlar
4. GPT modellerinde kullanıldığı şekliyle bayt düzeyinde BPE'nin avantajı nedir?
   • Tüm diller için diğer yöntemlerden daha az belirteç kullanır
   • Modeli eğitme ihtiyacını ortadan kaldırır
   • Yalnızca İngilizce harfleri kodlar
   • Emoji ve herhangi bir dil de dahil olmak üzere herhangi bir Unicode metni, sözcük dışı hatalar olmadan temsil edebilir
5. Bir modelin belirteç sayısı neden genellikle bir cümledeki sözcük sayısından farklıdır?
   • Boşluklar, büyük harfler ve nadir sözcükler metnin bölünme biçimini değiştirir ve bir sözcük birden fazla simgeye dönüşebilir
   • Jetonlar rastgele bir dilde sayılır
   • Her kelime her zaman tam olarak iki simgedir
   • Jeton sayıları yalnızca noktalama işaretlerine bağlıdır
6. Bayt Çifti Kodlama algoritması ilk olarak hangi alandan ödünç alındı?
   • Görüntü oluşturma
   • Veri sıkıştırma
   • Veritabanı indeksleme
   • Kriptografi
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet