Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Tokenizációs különbségek a nyelvek között kvíz

Megvizsgálja, hogy a tokenizálók miért osztanak fel néhány nyelvet több tokenre, hogyan befolyásolja ez a költségeket és a kontextusablakokat, és hogyan lehet auditálni és csökkenteni a különbséget.

kérdés 1 -ból 8

Mi a fő oka a nyelvek közötti nagy tokenszám-különbségeknek?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a fő oka a nyelvek közötti nagy tokenszám-különbségeknek?
    • Egyes nyelvek természetesen tízszer szavasabbak, mint az angol
    • A tokenizátorokat az angol és néhány más nyelv által dominált képzési szövegből építették fel
    • A nem angol szöveget a tokenizálás előtt tömörítjük
    • A modellek külön díjat számítanak fel a fordításért
  2. Miért állítanak elő gyakran több tokent a bájt alapú tokenizátorok alatt az olyan szkriptek, mint a Devanagari vagy a Thai?
    • Karaktereik általában három bájtot foglalnak el UTF-8-ban, és ritkán egyesíthetők
    • Mindig szóköz nélkül írják őket
    • Először képekké konvertálják őket
    • A tokenizátorok elutasítják őket, és angolra cserélik őket
  3. Ezek közül melyik NEM az egyike a magasabb tokenszámnak az útmutatóban megnevezett három hatásának?
    • Magasabb üzenetenkénti költség
    • Kevesebb szöveg illeszkedik a kontextus ablakba
    • Lassabb generáció több lépésből
    • A válasz automatikus megtagadása
  4. Mit jelent ebben az összefüggésben a termékenység kifejezés?
    • Milyen gyorsan tanul egy modell egy új nyelvet
    • A szónként előállított tokenek átlagos száma
    • A modell által támogatott nyelvek száma
    • A képzési adatkészlet mérete
  5. Milyen változást írt le a OpenAI, amikor 2024-ben kiadta a GPT-4o-t?
    • Leállította a díjat a nem angol szövegért
    • Teljesen eltávolította a tokenizert
    • Bevezetett egy nagyobb tokenizert, amely kevesebb tokent használt sok nem angol nyelven
    • A GPT-4o-t csak angolra korlátozta
  6. Mi a legjobb első lépés a többnyelvű alkalmazás költségeinek megtervezéséhez?
    • Tegyük fel, hogy minden nyelv ugyanannyiba kerül, mint az angol
    • Tokenizálja a reprezentatív lefordított dokumentumokat a modell pontos tokenizátorával, és hasonlítsa össze a számokat
    • Nyelvtől függetlenül válassza a legolcsóbb modellt
    • Először fordítsa le az összes felhasználói üzenetet angolra, tesztelés nélkül
  7. Milyen kompromisszumot jelent a tokenizátor szókincsének bővítése?
    • Lehetetlenné teszi az angol szöveg feldolgozását
    • Növeli a beágyazási és kimeneti réteg méretét
    • Megszünteti a képzési adatok szükségességét
    • Ez mindig rontja a modell minőségét
  8. Az útmutató szerint miért tévhit az „egyes nyelvek csak szótlanabbak”?
    • Minden fordítás pontosan egyforma hosszúságú
    • A szókimondás semmire nincs hatással
    • A nagy token hézagok főként a tokenizátor tervezéséből származnak, nem magukból a nyelvekből
    • A tokenizátorok csak a szóközöket számolják