NastępnyNastępny poradnik
Gender Bias in Language Models
Społeczeństwo
PRZEWODNIK Społeczny
Różnice w tokenizacji w różnych językach
Różnice w tokenizacji oznaczają, że ta sama wiadomość może przyjąć znacznie więcej tokenów w niektórych językach niż w języku angielskim, ponieważ większość tokenizatorów została zbudowana z tekstu, który jest głównie w języku angielskim.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Ponieważ usługi AI pobierają opłaty za token i ograniczają liczbę tokenów mieszczących się w oknie kontekstowym, osoby posługujące się tymi językami mogą zapłacić więcej, zmieścić mniej tekstu i dłużej czekać na tę samą pracę. To sprawia, że projektowanie tokenizerów jest kwestią uczciwości, a także kwestią techniczną.
Głębokie nurkowanie
Tokenizator dowiaduje się, które fragmenty tekstu należy traktować jako pojedyncze tokeny, badając korpus szkoleniowy. Wspólne ciągi otrzymują własne tokeny; rzadkie ciągi są dzielone na mniejsze części, czasami do pojedynczych bajtów. Kiedy w tym korpusie dominuje angielski i kilka innych języków o dużych zasobach, języki te otrzymują wydajne tokeny dla całych słów i typowych części słów. Języki, które pojawiały się rzadziej lub które korzystają ze skryptów, w których każdy znak zajmuje kilka bajtów w kodowaniu UTF-8, jak wiele skryptów z Azji Południowej, Azji Południowo-Wschodniej i Afryki, są dzielone na znacznie więcej części. Efekt jest mierzalny. Badania opublikowane w 2023 r., w tym praca Petrowa i współpracowników na temat nieuczciwości tokenizatorów, wykazały, że tłumaczenia tego samego tekstu w niektórych językach mogą wymagać kilkukrotnie większej liczby tokenów niż w języku angielskim, przy czym największe luki przekraczają dziesięciokrotność w przypadku niektórych języków i tokenizatorów. Ma to znaczenie na trzy konkretne sposoby. Koszt: cena interfejsu API jest naliczana za token, więc dłuższa liczba tokenów oznacza bezpośredni wzrost ceny tej samej treści. Kontekst: stałe okno kontekstowe zawiera mniej rzeczywistego tekstu, więc dokumenty należy wycinać, a rozmowy szybciej tracą wcześniejsze tury. Szybkość i jakość: więcej tokenów oznacza więcej etapów generowania, a duża fragmentacja może utrudnić modelowi nauczenie się dobrych reprezentacji słów, co może przyczynić się do słabszej wydajności w tych językach. Dostawcy odpowiedzieli częściowo. Kiedy OpenAI wypuścił GPT-4o w 2024 r., wprowadził większy tokenizer i stwierdził, że używa mniej tokenów dla wielu języków innych niż angielski. Większe słowniki i bardziej zrównoważone dane szkoleniowe pomagają, ale nie usuwają całkowicie luki. Powszechnym błędnym przekonaniem jest to, że niektóre języki są po prostu bardziej rozwlekłe. Tłumaczenia różnią się długością, ale duże luki w tokenach wynikają głównie ze sposobu zbudowania tokenizera, a nie z samych języków.
Implementacja w świecie rzeczywistym
Organizacja non-profit zajmująca się ochroną zdrowia tłumaczy tę samą ulotkę dla pacjenta na język angielski, hindi i amharski i stwierdza, że wersje w języku innym niż angielski wykorzystują kilka razy więcej tokenów, w związku z czym jej rachunek za interfejs API dla tych języków jest znacznie wyższy.
Chatbot dla osób mówiących po birmańsku osiąga limit kontekstu po znacznie mniejszej liczbie zwrotów konwersacji niż wersja angielska, więc szybciej zapomina wcześniejsze wiadomości.
Programista sprawdza koreański artykuł pomocy technicznej za pomocą przeglądarki tokenizera i widzi wiele słów podzielonych na krótkie fragmenty, podczas gdy angielski oryginał przeważnie mapuje jeden token na słowo.
Zespół badawczy porównuje starszy i nowszy tokenizer od tego samego dostawcy i stwierdza, że nowszy używa zauważalnie mniej tokenów w swoich dokumentach arabskich i tamilskich.
Przyszłość różnic w tokenizacji między językami
Rośnie liczba słowników tokenizera, a kilku dostawców publikuje obecnie ulepszenia dla tekstów w językach innych niż angielski, więc różnica prawdopodobnie będzie się zmniejszać w przypadku powszechnie używanych języków. Języki o niskich zasobach mogą nadal działać z opóźnieniem, chyba że dane szkoleniowe i projekt tokenizatora celowo je uwzględnią. Badania nad modelami na poziomie bajtów i modelami pogrupowanymi dynamicznie mogą zmniejszyć zależność od stałego słownictwa, chociaż projekty te wiążą się z własnymi kosztami obliczeniowymi. Na razie organizacje obsługujące odbiorców wielojęzycznych powinny mierzyć liczbę tokenów w każdym obsługiwanym przez siebie języku oraz uwzględniać koszty poszczególnych języków i limity kontekstu w ramach planowania dostępności.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Ryzyko i bezpieczeństwo. Zarówno katastrofalne, jak i codzienne szkody spowodowane sztuczną inteligencją zależą od tego, kto rozumie ryzyko i kto może podjąć działania.
- Jaśniejsze decyzje. Umiejętność korzystania z usług publicznych i zawodowych wpływa na to, czy silna polityka bezpieczeństwa jest politycznie możliwa.
- Przebijanie się przez szum. Jasne wyjaśnienia ograniczają wpływ szumu, PR laboratoryjnego i niejasnego teatru etycznego.
Uważaj na
- Traktowanie ryzyka egzystencjalnego jako science-fiction, choć łączy w sobie możliwości.
- Mylenie bezpieczeństwa produktów powierzchniowych z wyrównaniem przy dużej autonomii.
- Pozostawienie odbiorcom nieanglojęzycznym i nieeksperckim jedynie źródeł o niskiej jakości.
Kolejne kroki
- Oddziel ryzyko szkód, niewłaściwego użycia i utraty kontroli/niewspółosiowości produktu.
- Zapytaj, jakie dowody zmieniłyby Twój pogląd na temat terminów i dotkliwości.
- Przedkładaj źródła pierwotne i konkretne oceny nad twierdzenia marketingowe.
- Zidentyfikuj jedną ścieżkę działania: karierę, politykę, finansowanie lub umiejętności – nie tylko świadomość.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Tokenization Disparities Across Languages quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czym są różnice w tokenizacji w różnych językach?
Różnice w tokenizacji oznaczają, że ta sama wiadomość może przyjąć znacznie więcej tokenów w niektórych językach niż w języku angielskim, ponieważ większość tokenizatorów została zbudowana z tekstu, który jest głównie w języku angielskim. Ponieważ usługi AI pobierają opłaty za token i ograniczają liczbę tokenów mieszczących się w oknie kontekstowym, osoby posługujące się tymi językami mogą zapłacić więcej, zmieścić mniej tekstu i dłużej czekać na tę samą pracę. To sprawia, że projektowanie tokenizerów jest kwestią uczciwości, a także kwestią techniczną.
Jaka jest główna przyczyna dużych różnic w liczbie tokenów między językami?
Tokenizatory zapewniają wydajne tokeny ciągom wspólnym w ich korpusie szkoleniowym. Niedostatecznie reprezentowane języki dzielą się na więcej mniejszych części.
Dlaczego skrypty takie jak Devanagari lub Thai często generują więcej tokenów w ramach tokenizatorów opartych na bajtach?
Każdy znak w tych skryptach ma kilka bajtów w formacie UTF-8. Jeśli tokenizator rzadko łączył te sekwencje bajtów, jeden znak może stać się wieloma tokenami.
Który z nich NIE jest jednym z trzech efektów wyższej liczby tokenów wymienionych w przewodniku?
W przewodniku wymieniono koszt, przestrzeń kontekstową oraz szybkość i jakość. Automatyczna odmowa nie jest konsekwencją zliczenia tokenów.
Co w tym kontekście oznacza termin płodność?
Żetony środków płodności na słowo. Większa płodność oznacza, że tekst jest dzielony na więcej części i kosztuje więcej.
Jaką zmianę opisał OpenAI po wydaniu GPT-4o w 2024 roku?
GPT-4o jest wyposażony w większy tokenizator słownictwa, który według OpenAI jest bardziej wydajny w przypadku wielu języków innych niż angielski.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat