Kvíz spojený s průvodcem · Střední úroveň

Tokenizační rozdíly mezi jazyky kvíz

Testuje, proč tokenizéry rozdělují některé jazyky do více tokenů, jak to ovlivňuje náklady a kontextová okna a jak auditovat a zmenšovat mezeru.

Související vodicí cestyRozdíly v tokenizaci mezi jazyky
Otázka 1 z 8

Co je hlavní příčinou velkých rozdílů v počtu tokenů mezi jazyky?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co je hlavní příčinou velkých rozdílů v počtu tokenů mezi jazyky?
    • Některé jazyky jsou přirozeně desetkrát delší než angličtina
    • Tokenizéry byly vytvořeny z tréninkového textu převážně anglického a několika dalších jazyků
    • Neanglický text je před tokenizací komprimován
    • Modely účtují dodatečné poplatky za překlad
  2. Proč skripty jako Devanagari nebo Thai často produkují více tokenů pod tokenizery založenými na bytech?
    • Jejich znaky obvykle zabírají tři bajty v UTF-8 a mohou být zřídka sloučeny
    • Jsou vždy psány bez mezer
    • Nejprve jsou převáděny na obrázky
    • Tokenizéry je odmítají a nahrazují angličtinou
  3. Který z nich NENÍ jedním ze tří efektů vyššího počtu žetonů uvedených v průvodci?
    • Vyšší náklady na zprávu
    • Méně textu ve vnitřním okně kontextu
    • Pomalejší generování kvůli více krokům
    • Automatické odmítnutí odpovědět
  4. Co v této souvislosti znamená pojem plodnost?
    • Jak rychle model učí nový jazyk
    • Průměrný počet tokenů vyprodukovaných na slovo
    • Počet jazyků, které model podporuje
    • Velikost trénovací datové sady
  5. Jakou změnu popsal OpenAI, když v roce 2024 vydal GPT-4o?
    • Zastavil poplatky za neanglický text
    • Zcela odstranil svůj tokenizér
    • Zavedl větší tokenizér, který používal méně tokenů pro mnoho neanglických jazyků
    • Omezil GPT-4o pouze na angličtinu
  6. Jaký je nejlepší první krok pro plánování nákladů na vícejazyčnou aplikaci?
    • Předpokládejte, že každý jazyk stojí stejně jako angličtina
    • Tokenizujte reprezentativní přeložené dokumenty pomocí přesného tokenizéru vašeho modelu a porovnejte počty
    • Vyberte nejlevnější model bez ohledu na jazyk
    • Nejprve přeložte všechny uživatelské zprávy do angličtiny bez testování
  7. Jaký kompromis přichází s větším slovníkem tokenizéru?
    • Dělá zpracování anglického textu nemožným
    • Zvětšuje velikost vrstev embedding a výstupu
    • Odstraňuje potřebu tréninkových dat
    • Vždy snižuje kvalitu modelu
  8. Podle průvodce, proč je 'některé jazyky jsou prostě složitější' omyl?
    • Všechny překlady mají přesně stejnou délku
    • Složitost nemá žádný vliv na nic
    • Velké rozdíly v počtu tokenů pocházejí hlavně z návrhu tokenizátoru, ne ze samotných jazyků
    • Tokenizátory počítají pouze mezery