LegközelebbKövetkező útmutató
Nemi elfogultság a nyelvi modellekben
Társadalom
Társadalom ÚTMUTATÓ
A tokenizációs eltérések azt jelentik, hogy ugyanaz az üzenet bizonyos nyelveken sokkal több tokent vehet igénybe, mint az angolban, mivel a legtöbb tokenizátor többnyire angol szövegből készült.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Mivel az AI-szolgáltatások token alapján számítanak fel, és korlátozzák, hogy hány token fér el egy kontextusablakban, az ilyen nyelveket beszélők többet fizethetnek, kevesebb szöveget illeszthetnek be, és tovább várhatnak ugyanarra a munkára. Ez teszi a tokenizátor tervezését méltányossági és műszaki kérdéssé.
A tokenizáló egy képzési korpusz tanulmányozásával megtanulja, hogy mely szövegrészeket kezelje egyedi tokenként. A közös karakterláncok saját tokeneket kapnak; a ritka karakterláncok kisebb darabokra törnek, néha egyes bájtokra. Amikor a korpuszt az angol és néhány más, nagy erőforrást igénylő nyelv uralja, ezek a nyelvek hatékony tokeneket kapnak a teljes szavakhoz és a gyakori szórészekhez. Azok a nyelvek, amelyek ritkábban jelennek meg, vagy olyan szkripteket használnak, amelyekben minden karakter több bájtot vesz fel UTF-8 kódolásban, például sok dél-ázsiai, délkelet-ázsiai és afrikai szkript, sokkal több részre osztódnak. A hatás mérhető. A 2023-ban közzétett kutatás, beleértve Petrov és kollégáinak a tokenizátorok tisztességtelenségével kapcsolatos munkáját, azt találta, hogy ugyanazon szöveg fordításához néhány nyelven többszörös tokenre lehet szükség, mint az angolban, és a legnagyobb hiányosságok meghaladják a tízszeresét bizonyos nyelvek és tokenizátorok esetében. Ennek három konkrét szempontból van jelentősége. Költség: Az API árképzés tokenenként értendő, így a hosszabb tokenszám közvetlen áremelkedést jelent ugyanazon tartalom esetében. Kontextus: egy rögzített kontextusú ablak kevesebb tényleges szöveget tartalmaz, így a dokumentumokat le kell vágni, és a beszélgetések hamarabb elveszítik a korábbi fordulatokat. Sebesség és minőség: több token több generációs lépést jelent, és az erős töredezettség megnehezítheti a modell számára, hogy megtanulja a szavak jó ábrázolását, ami hozzájárulhat az adott nyelvek gyengébb teljesítményéhez. A szolgáltatók részben válaszoltak. Amikor a OpenAI 2024-ben kiadta a GPT-4o-t, nagyobb tokenizert vezetett be, és azt mondta, hogy kevesebb tokent használ sok nem angol nyelven. A nagyobb szókincsek és a kiegyensúlyozottabb edzésadatok segítenek, de nem szüntetik meg teljesen a hiányt. Elterjedt tévhit, hogy egyes nyelvek egyszerűen szófogadóbbak. A fordítások hossza különbözik, de a nagy token-hézagok főként a tokenizátor felépítéséből fakadnak, nem pedig magukból a nyelvekből.
Egy egészségügyi nonprofit szervezet lefordítja ugyanazt a betegtájékoztatót angolra, hindire és amharára, és úgy találja, hogy a nem angol nyelvű változatok többszörösen több tokent használnak, így az API-számlája ezekre a nyelvekre sokkal magasabb.
A burmai beszélőknek szánt chatbot sokkal kevesebb beszélgetési fordulat után éri el a kontextuskorlátot, mint az angol verzió, így hamarabb felejti el a korábbi üzeneteket.
A fejlesztő egy koreai támogatási cikket ellenőrzi egy tokenizátor-nézegetővel, és azt látja, hogy sok szó rövid töredékekre van felosztva, míg az eredeti angol nyelvű legtöbb szónként egy tokenre van leképezve.
Egy kutatócsoport összehasonlítja egy régebbi és egy újabb tokenizátort ugyanattól a szolgáltatótól, és azt találja, hogy az újabb észrevehetően kevesebb tokent használ arab és tamil dokumentumaihoz.
A Tokenizer szókincse nőtt, és számos szolgáltató most már fejlesztéseket tesz közzé a nem angol nyelvű szövegekre vonatkozóan, így a szakadék valószínűleg tovább szűkül a széles körben beszélt nyelvek esetében. Az alacsony erőforrás-igényű nyelvek továbbra is késhetnek, hacsak a képzési adatok és a tokenizátor tervezése szándékosan nem tartalmazza őket. A bájtszintű és dinamikusan csoportosított modellek kutatása csökkentheti a rögzített szókincstől való függőséget, bár ezeknek a terveknek megvannak a saját számítási költségei. A többnyelvű közönséget kiszolgáló szervezeteknek egyelőre mérniük kell a tokenszámot minden általuk támogatott nyelven, és a nyelvenkénti költség- és kontextuskorlátokat az akadálymentesítési tervezés részeként kell kezelniük.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A tokenizációs eltérések azt jelentik, hogy ugyanaz az üzenet bizonyos nyelveken sokkal több tokent vehet igénybe, mint az angolban, mivel a legtöbb tokenizátor többnyire angol szövegből készült. Mivel az AI-szolgáltatások token alapján számítanak fel, és korlátozzák, hogy hány token fér el egy kontextusablakban, az ilyen nyelveket beszélők többet fizethetnek, kevesebb szöveget illeszthetnek be, és tovább várhatnak ugyanarra a munkára. Ez teszi a tokenizátor tervezését méltányossági és műszaki kérdéssé.
A tokenizátorok hatékony tokeneket adnak a képzési korpuszukban gyakori karakterláncokhoz. Az alulreprezentált nyelvek több, kisebb részre szakadnak.
Ezekben a szkriptekben minden karakter több UTF-8 bájtból áll. Ha a tokenizátor ritkán egyesítette ezeket a bájtsorozatokat, egy karakter több tokenné válhat.
Az útmutató felsorolja a költségeket, a környezeti helyet, valamint a sebességet vagy a minőséget. Az automatikus elutasítás nem a token számlálás következménye.
A termékenység méri a tokeneket szónként. A magasabb termékenység azt jelenti, hogy a szöveg több részre van osztva, és többe kerül.
A GPT-4o egy nagyobb szókincs-tokenizerrel érkezett, amely a OpenAI szerint sok nem angol nyelven hatékonyabb.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Nemi elfogultság a nyelvi modellekben
Társadalom