DalšíDalší průvodce
Genderové zkreslení v jazykových modelech
Společnost
PRŮVODCE společností
Rozdíly v tokenizaci znamenají, že stejná zpráva může v některých jazycích pojmout mnohem více tokenů než v angličtině, protože většina tokenizérů byla vytvořena z textu, který je převážně anglický.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Vzhledem k tomu, že služby AI se účtují podle tokenu a omezují počet tokenů, které se vejdou do kontextového okna, mohou mluvčí těchto jazyků platit více, vejít méně textu a čekat déle na stejnou práci. Díky tomu je design tokenizeru problém férovosti i technický.
Tokenizér se studiem cvičného korpusu naučí, se kterými kusy textu zacházet jako s jednotlivými tokeny. Běžné řetězce dostanou své vlastní tokeny; vzácné řetězce jsou rozděleny na menší kousky, někdy až na jednotlivé bajty. Když v tomto korpusu dominuje angličtina a několik dalších vysoce zdrojových jazyků, získají tyto jazyky efektivní tokeny pro celá slova a běžné části slov. Jazyky, které se objevovaly méně často nebo které používají skripty, kde každý znak zabírá několik bajtů v kódování UTF-8, jako je mnoho jihoasijských, jihovýchodních asijských a afrických skriptů, se rozdělí na mnohem více částí. Účinek je měřitelný. Výzkum publikovaný v roce 2023, včetně práce Petrova a kolegů o nespravedlivosti tokenizérů, zjistil, že překlady stejného textu by mohly v některých jazycích vyžadovat několikanásobně více tokenů než v angličtině, přičemž největší mezery u některých jazyků a tokenizérů přesahují desetinásobek. To je důležité ve třech konkrétních ohledech. Cena: Cena API je za token, takže delší počet tokenů znamená přímé zvýšení ceny za stejný obsah. Kontext: okno s pevným kontextem obsahuje méně aktuálního textu, takže dokumenty musí být zkráceny a konverzace ztratí dřívější otáčky. Rychlost a kvalita: více tokenů znamená více generačních kroků a silná fragmentace může modelu ztížit naučit se dobré reprezentace slov, což může přispět ke slabšímu výkonu v těchto jazycích. Poskytovatelé částečně odpověděli. Když společnost OpenAI v roce 2024 vydala GPT-4o, představila větší tokenizér a uvedla, že používá méně tokenů pro mnoho neanglických jazyků. Větší slovní zásoba a vyváženější tréninková data pomáhají, ale mezeru zcela neodstraňují. Obvyklá mylná představa je, že některé jazyky jsou prostě slovnější. Překlady se liší délkou, ale velké mezery v tokenech pocházejí hlavně z toho, jak byl vytvořen tokenizér, nikoli z jazyků samotných.
Zdravotní nezisková organizace přeloží stejný leták pro pacienty do angličtiny, hindštiny a amharštiny a zjistí, že neanglické verze používají několikrát více tokenů, takže její účet za API pro tyto jazyky je mnohem vyšší.
Chatbot pro barmské mluvčí narazí na kontextový limit po mnohem menším počtu otočení konverzace než anglická verze, takže dříve zapomene dřívější zprávy.
Vývojář zkontroluje korejský článek podpory pomocí prohlížeče tokenizérů a uvidí mnoho slov rozdělených do krátkých fragmentů, zatímco anglický originál se většinou mapuje na jeden token na slovo.
Výzkumný tým porovnává starší a novější tokenizér od stejného poskytovatele a zjistí, že novější používá pro své arabské a tamilské dokumenty znatelně méně tokenů.
Slovníky tokenizerů rostou a několik poskytovatelů nyní zveřejňuje vylepšení pro neanglický text, takže mezera se pravděpodobně bude stále zmenšovat pro široce používané jazyky. Jazyky s nízkými zdroji mohou nadále zaostávat, pokud je trénovací data a návrh tokenizeru záměrně nezahrnují. Výzkum modelů na úrovni bajtů a dynamicky seskupených modelů by mohl snížit závislost na pevném slovníku, ačkoli tyto návrhy mají své vlastní výpočetní náklady. V současnosti by organizace obsluhující vícejazyčné publikum měly měřit počet tokenů v každém podporovaném jazyce a zacházet s limity nákladů a kontextu na jednotlivé jazyky jako součást plánování přístupnosti.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Rozdíly v tokenizaci znamenají, že stejná zpráva může v některých jazycích pojmout mnohem více tokenů než v angličtině, protože většina tokenizérů byla vytvořena z textu, který je převážně anglický. Vzhledem k tomu, že služby AI se účtují podle tokenu a omezují počet tokenů, které se vejdou do kontextového okna, mohou mluvčí těchto jazyků platit více, vejít méně textu a čekat déle na stejnou práci. Díky tomu je design tokenizeru problém férovosti i technický.
Tokenizéry dávají efektivní tokeny řetězcům běžným v jejich tréninkovém korpusu. Nedostatečně zastoupené jazyky jsou rozděleny na více menších částí.
Každý znak v těchto skriptech má několik UTF-8 bajtů. Pokud tokenizér zřídka sloučil tyto bajtové sekvence, jeden znak se může stát více tokeny.
Průvodce uvádí cenu, kontextový prostor a rychlost nebo kvalitu. Automatické odmítnutí není důsledkem počtu tokenů.
Plodnost měří tokeny na slovo. Vyšší plodnost znamená, že text je rozdělen na více částí a stojí více.
GPT-4o přišel s větším tokenizérem slovní zásoby, o kterém OpenAI řekl, že je efektivnější pro mnoho neanglických jazyků.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Genderové zkreslení v jazykových modelech
Společnost