Quiz połączony z przewodnikiem · Średni Poziom
Quiz dotyczący tokenizacji fragmentów zdań
Przejrzyj szkolenie surowego tekstu SentencePiece, odwracalne odstępy, algorytmy słownictwa i rezerwę bajtów na potrzeby wielojęzycznego przetwarzania tekstu.
Pytanie 1 z 8
Jakiego kluczowego założenia unika SentencePiece, na którym opierają się tradycyjne tokenizatory?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Jakiego kluczowego założenia unika SentencePiece, na którym opierają się tradycyjne tokenizatory?
- Że słowa są oddzielone spacjami
- Ten tekst jest zakodowany w UTF-8
- Zdania te kończą się interpunkcją
- Że słownictwo jest ustalone z góry
- Dlaczego SentencePiece zastępuje spacje widocznym metasymbolem?
- Aby bardziej agresywnie skompresować tekst
- Aby tokenizacja była w pełni odwracalna (bezstratna)
- Aby automatycznie usunąć wszystkie znaki interpunkcyjne
- Aby tłumaczyć między językami
- Które dwa algorytmy obsługuje przede wszystkim SentencePiece?
- TF-IDF i Word2Vec
- LSTM i CNN
- BPE i model języka Unigram
- K-średnie i PCA
- W jaki sposób model Unigram buduje swoje słownictwo?
- Rozpoczynając puste i łącząc częste pary znaków
- Kopiując słownik języka angielskiego
- Korzystając ze stałej listy zawierającej 1000 słów
- Zaczynając od dużych i przycinając najmniej przydatne kawałki za pomocą EM
- Który model słynie z tokenizera SentencePiece?
- T5
- GPT-2
- ELMo
- Rękawiczka
- Jaką korzyść daje rezerwa na poziomie bajtów SentencePiece?
- Dzięki temu model uczy się szybciej
- Gwarantuje możliwość przedstawienia dowolnego znaku, unikając błędów wykraczających poza słownictwo
- Eliminuje potrzebę uwagi
- Automatycznie podwaja rozmiar słownictwa
- Jakiego rodzaju danych wejściowych może użyć SentencePiece do bezpośredniego uczenia modelu podsłowa?
- Tylko tekst już przekonwertowany na tokeny angielskich słów
- Tylko stały słownik pełnych słów
- Surowe zdania, bez uprzedniego dzielenia ich na ciągi słów
- Tylko tabele częstotliwości znaków bez danych zdań
- Dlaczego tokenizator niezależny od języka jest przydatny w przypadku tekstu wielojęzycznego?
- Przed tokenizacją tłumaczy każde wejście na jeden język
- Przypisuje to samo znaczenie każdemu żetonowi w każdym języku
- Eliminuje to potrzebę stosowania słownictwa modelowego
- Ten sam potok tokenizera może przetwarzać skrypty bez konieczności segmentacji słów specyficznej dla języka