Tokenizacja
Tokenizacja to krok, który dzieli tekst na mniejsze kawałki zwane tokenami, czyli jednostkami, które model języka faktycznie odczytuje i przewiduje.
Przegląd
Po cichu kształtuje koszty, ograniczenia kontekstu, a nawet to, jak dobrze model radzi sobie z pisownią i rzadkimi słowami.
Głębokie nurkowanie
Zanim model zobaczy Twój tekst, tokenizator dzieli go na tokeny, które zwykle są fragmentami podsłów, a nie całymi słowami lub pojedynczymi literami. Słowo „nieszczęście” może zmienić się na „nie”, „szczęście” lub „tokenizacja” może podzielić się na „symbol” i „izację”. Typowe słowa często są odwzorowywane na pojedynczy token, podczas gdy rzadkie słowa, nazwy lub kod są podzielone na kilka. Każdy token jest następnie mapowany na numer identyfikacyjny, który model konwertuje na wektor. Ma to znaczenie praktyczne, ponieważ modele mają stałe okna kontekstowe mierzone w tokenach i rachunki za interfejsy API za token, więc ogólna zasada w języku angielskim to około 4 znaki lub 0,75 słowa na token. Tokenizacja wyjaśnia również dziwactwa klasycznego modelu: liczenie liter lub dokładna pisownia jest trudna, ponieważ model widzi fragmenty, a nie pojedyncze znaki.
Wgląd techniczny
Większość nowoczesnych LLM wykorzystuje tokenizację podsłów, taką jak kodowanie par bajtów (BPE) lub jego warianty na poziomie bajtów. BPE zaczyna się od znaków i wielokrotnie łączy najczęściej sąsiadujące pary, aby zbudować stałe słownictwo (często od 30 000 do 100 000+ tokenów). To równoważy dwie skrajności: tokenizacja na poziomie słowa nie radzi sobie z niewidzialnymi słowami, podczas gdy na poziomie znaku sekwencje są bardzo długie. Podsłowa pozwalają modelowi reprezentować dowolny ciąg, w tym literówki i nowe słowa, poprzez komponowanie znanych fragmentów, przy jednoczesnym zachowaniu stosunkowo krótkich sekwencji.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość tokenizacji
Tokenizacja jest aktywnym obszarem badawczym właśnie dlatego, że ogranicza efektywność i uczciwość. Języki, które dzielą się na więcej części, kosztują więcej i szybciej zużywają kontekst, dlatego też uczciwość wielojęzyczna jest prawdziwym problemem, do którego rozwiązania należy zastosować lepsze, bardziej zrównoważone słownictwo. Badacze badają również modele bez tokenów lub modele na poziomie bajtów (takie jak ByT5) i nauczyli się tokenizacji, która może całkowicie wyeliminować kruchy, ręcznie dostrajany krok. Na razie spodziewaj się większych słowników, inteligentniejszych wielojęzycznych tokenizatorów i rosnącej świadomości użytkowników na temat cen opartych na tokenach i budżetowania kontekstowego.
Implementacja w świecie rzeczywistym
Ceny interfejsów API dla modeli takich jak GPT i Claude są rozliczane za token wejściowy i wyjściowy, więc liczba tokenów ma bezpośredni wpływ na koszt.
Limity okna kontekstowego (np. 128 tys. lub 200 tys. tokenów) są mierzone w tokenach i ograniczają ilość tekstu lub kodu, jaki można umieścić.
Programiści używają tokenizatorów (takich jak tiktoken) do szacowania rozmiaru podpowiedzi i przycinania treści przed wysłaniem żądań.
Tokenizacja wyjaśnia, dlaczego modele mają trudności z liczeniem liter w słowie lub odwracaniem ciągu, ponieważ widzą fragmenty podsłów, a nie znaki.
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokumentuj, gdzie tokenizacja pomaga i gdzie prostsze metody są lepsze.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Tokenizacja fragmentu zdania
Często zadawane pytania
Co to jest tokenizacja?
Tokenizacja to krok, który dzieli tekst na mniejsze kawałki zwane tokenami, czyli jednostkami, które model języka faktycznie odczytuje i przewiduje. Po cichu kształtuje koszty, ograniczenia kontekstu, a nawet to, jak dobrze model radzi sobie z pisownią i rzadkimi słowami.
Co to jest „token” w kontekście modelu językowego?
Tokeny to jednostki przetwarzane przez model, zwykle fragmenty podsłów, czasem całe słowa lub pojedyncze znaki.
Z jakiego podejścia do tokenizacji korzysta większość nowoczesnych LLM?
Metody podsłów, takie jak BPE, łączą częste pary znaków, równoważąc słabości podejść na poziomie czystego słowa i na poziomie znaku.
Dlaczego tokenizacja utrudnia osobom LLM zadania takie jak liczenie liter w słowie?
Ponieważ tekst jest pogrupowany w tokeny podsłów, model nie rozpoznaje bezpośrednio każdego znaku, przez co zadania na poziomie liter są podatne na błędy.
Dlaczego tokenizacja ma znaczenie dla kosztów API i limitów kontekstowych?
Rachunki dostawców za token i okna kontekstowe są wielkości w tokenach, więc liczba tokenów wpływa zarówno na cenę, jak i ilość, którą możesz uwzględnić.
Dlaczego to samo zdanie może kosztować więcej żetonów w niektórych językach niż w języku angielskim?
Słowniki wyćwiczone głównie w języku angielskim dzielą inne języki na więcej tokenów, podnosząc koszty i szybciej zużywając kontekst.