Cümle Parçası Tokenizasyon Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. SentencePiece geleneksel tokenlaştırıcıların güvendiği hangi temel varsayımdan kaçınıyor?
   • Bu kelimeler boşluklarla ayrılmıştır
   • Bu metin UTF-8 ile kodlanmıştır
   • Bu cümleler noktalama işaretiyle bitiyor
   • Kelime dağarcığının önceden sabitlenmesi
2. SentencePiece neden boşlukları görünür bir meta sembolüyle değiştiriyor?
   • Metni daha agresif bir şekilde sıkıştırmak için
   • Tokenizasyonu tamamen geri döndürülebilir (kayıpsız) hale getirmek için
   • Tüm noktalama işaretlerini otomatik olarak kaldırmak için
   • Diller arasında çeviri yapmak için
3. SentencePiece öncelikli olarak hangi iki algoritmayı destekliyor?
   • TF-IDF ve Word2Vec
   • LSTM ve CNN
   • BPE ve Unigram dil modeli
   • K-araçları ve PCA
4. Unigram modeli kelime dağarcığını nasıl oluşturur?
   • Boş başlayıp sık karakter çiftlerini birleştirerek
   • İngilizce bir sözlüğü kopyalayarak
   • 1.000 kelimelik sabit bir liste kullanarak
   • EM yoluyla büyük başlayıp en az kullanışlı parçaları budayarak
5. Hangi model ünlü bir SentencePiece tokenizer kullanıyor?
   • T5
   • GPT-2
   • ELMo
   • eldiven
6. Bayt düzeyindeki geri dönüşün SentencePiece'e sağladığı avantaj nedir?
   • Modelin daha hızlı eğitilmesini sağlar
   • Herhangi bir karakterin temsil edilebileceğini garanti ederek, sözcük dağarcığı dışı hataları önler
   • Dikkat ihtiyacını ortadan kaldırır
   • Kelime dağarcığının boyutunu otomatik olarak iki katına çıkarır
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation