PRŮVODCE společností

Rozdíly v tokenizaci mezi jazyky

Rozdíly v tokenizaci znamenají, že stejná zpráva může v některých jazycích pojmout mnohem více tokenů než v angličtině, protože většina tokenizérů byla vytvořena z textu, který je převážně anglický.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost tokenizačních rozdílů mezi jazyky
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Vzhledem k tomu, že služby AI se účtují podle tokenu a omezují počet tokenů, které se vejdou do kontextového okna, mohou mluvčí těchto jazyků platit více, vejít méně textu a čekat déle na stejnou práci. Díky tomu je design tokenizeru problém férovosti i technický.

Hluboký ponor

Tokenizér se studiem cvičného korpusu naučí, se kterými kusy textu zacházet jako s jednotlivými tokeny. Běžné řetězce dostanou své vlastní tokeny; vzácné řetězce jsou rozděleny na menší kousky, někdy až na jednotlivé bajty. Když v tomto korpusu dominuje angličtina a několik dalších vysoce zdrojových jazyků, získají tyto jazyky efektivní tokeny pro celá slova a běžné části slov. Jazyky, které se objevovaly méně často nebo které používají skripty, kde každý znak zabírá několik bajtů v kódování UTF-8, jako je mnoho jihoasijských, jihovýchodních asijských a afrických skriptů, se rozdělí na mnohem více částí. Účinek je měřitelný. Výzkum publikovaný v roce 2023, včetně práce Petrova a kolegů o nespravedlivosti tokenizérů, zjistil, že překlady stejného textu by mohly v některých jazycích vyžadovat několikanásobně více tokenů než v angličtině, přičemž největší mezery u některých jazyků a tokenizérů přesahují desetinásobek. To je důležité ve třech konkrétních ohledech. Cena: Cena API je za token, takže delší počet tokenů znamená přímé zvýšení ceny za stejný obsah. Kontext: okno s pevným kontextem obsahuje méně aktuálního textu, takže dokumenty musí být zkráceny a konverzace ztratí dřívější otáčky. Rychlost a kvalita: více tokenů znamená více generačních kroků a silná fragmentace může modelu ztížit naučit se dobré reprezentace slov, což může přispět ke slabšímu výkonu v těchto jazycích. Poskytovatelé částečně odpověděli. Když společnost OpenAI v roce 2024 vydala GPT-4o, představila větší tokenizér a uvedla, že používá méně tokenů pro mnoho neanglických jazyků. Větší slovní zásoba a vyváženější tréninková data pomáhají, ale mezeru zcela neodstraňují. Obvyklá mylná představa je, že některé jazyky jsou prostě slovnější. Překlady se liší délkou, ale velké mezery v tokenech pocházejí hlavně z toho, jak byl vytvořen tokenizér, nikoli z jazyků samotných.

Real-World Implementace

Zdravotní nezisková organizace přeloží stejný leták pro pacienty do angličtiny, hindštiny a amharštiny a zjistí, že neanglické verze používají několikrát více tokenů, takže její účet za API pro tyto jazyky je mnohem vyšší.

Chatbot pro barmské mluvčí narazí na kontextový limit po mnohem menším počtu otočení konverzace než anglická verze, takže dříve zapomene dřívější zprávy.

Vývojář zkontroluje korejský článek podpory pomocí prohlížeče tokenizérů a uvidí mnoho slov rozdělených do krátkých fragmentů, zatímco anglický originál se většinou mapuje na jeden token na slovo.

Výzkumný tým porovnává starší a novější tokenizér od stejného poskytovatele a zjistí, že novější používá pro své arabské a tamilské dokumenty znatelně méně tokenů.

Budoucnost tokenizačních rozdílů mezi jazyky

Slovníky tokenizerů rostou a několik poskytovatelů nyní zveřejňuje vylepšení pro neanglický text, takže mezera se pravděpodobně bude stále zmenšovat pro široce používané jazyky. Jazyky s nízkými zdroji mohou nadále zaostávat, pokud je trénovací data a návrh tokenizeru záměrně nezahrnují. Výzkum modelů na úrovni bajtů a dynamicky seskupených modelů by mohl snížit závislost na pevném slovníku, ačkoli tyto návrhy mají své vlastní výpočetní náklady. V současnosti by organizace obsluhující vícejazyčné publikum měly měřit počet tokenů v každém podporovaném jazyce a zacházet s limity nákladů a kontextu na jednotlivé jazyky jako součást plánování přístupnosti.

Uvedení do praxe

Proč na tom záleží

  • Riziko a bezpečnost. Katastrofické a každodenní škody AI závisí na tom, kdo rozumí rizikům a kdo může jednat.
  • Jasnější rozhodnutí. Veřejná a odborná gramotnost určuje, zda je silná bezpečnostní politika politicky možná.
  • Prorážením humbuku. Jasná vysvětlení snižují zachytávání humbukem, PR v laboratoři a vágní etické divadlo.

Pozor na

  • Zacházení s existenčním rizikem jako sci-fi, zatímco schopnosti kombinují.
  • Matoucí bezpečnost povrchových produktů se zarovnáním pod vysokou autonomií.
  • Neanglické a neodborné publikum ponechává pouze nekvalitní zdroje.

Další kroky

  1. Oddělte rizika poškození produktu, nesprávného použití a ztráty kontroly/nesouladu.
  2. Zeptejte se, jaké důkazy by změnily váš pohled na časové osy a závažnost.
  3. Upřednostňujte primární zdroje a konkrétní hodnocení před marketingovými tvrzeními.
  4. Identifikujte jednu akční cestu: kariéru, politiku, financování nebo dovednosti – nejen povědomí.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Tokenization Disparities Across Languages quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co jsou tokenizační rozdíly mezi jazyky?

Rozdíly v tokenizaci znamenají, že stejná zpráva může v některých jazycích pojmout mnohem více tokenů než v angličtině, protože většina tokenizérů byla vytvořena z textu, který je převážně anglický. Vzhledem k tomu, že služby AI se účtují podle tokenu a omezují počet tokenů, které se vejdou do kontextového okna, mohou mluvčí těchto jazyků platit více, vejít méně textu a čekat déle na stejnou práci. Díky tomu je design tokenizeru problém férovosti i technický.

Co je hlavní příčinou velkých rozdílů v počtu tokenů mezi jazyky?

Tokenizéry dávají efektivní tokeny řetězcům běžným v jejich tréninkovém korpusu. Nedostatečně zastoupené jazyky jsou rozděleny na více menších částí.

Proč skripty jako Devanagari nebo Thai často produkují více tokenů pod tokenizery založenými na bytech?

Každý znak v těchto skriptech má několik UTF-8 bajtů. Pokud tokenizér zřídka sloučil tyto bajtové sekvence, jeden znak se může stát více tokeny.

Který z nich NENÍ jedním ze tří efektů vyššího počtu žetonů uvedených v průvodci?

Průvodce uvádí cenu, kontextový prostor a rychlost nebo kvalitu. Automatické odmítnutí není důsledkem počtu tokenů.

Co v této souvislosti znamená pojem plodnost?

Plodnost měří tokeny na slovo. Vyšší plodnost znamená, že text je rozdělen na více částí a stojí více.

Jakou změnu popsal OpenAI, když v roce 2024 vydal GPT-4o?

GPT-4o přišel s větším tokenizérem slovní zásoby, o kterém OpenAI řekl, že je efektivnější pro mnoho neanglických jazyků.