Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Usimbaji Tokeni na Jozi ya Byte

Vitambulisho vya tokeni za majaribio, miunganisho ya BPE kulingana na marudio, ufikiaji wa kiwango cha baiti, mpangilio wa kuunganisha na kwa nini hesabu za tokeni hutofautiana na hesabu za maneno.

Njia za mwongozo zinazohusianaUwekaji Tokeni na Usimbaji wa Jozi ya Byte
Swali 1 ya 8

Uwekaji ishara hutoa nini kwa modeli ya lugha kusoma?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Uwekaji ishara hutoa nini kwa modeli ya lugha kusoma?
    • Tokeni, ambazo ni vitambulisho kamili vilivyopangwa kwa vipande vya maandishi
    • Mawimbi ghafi ya sauti
    • Gridi za pixel
    • Nambari ya mashine iliyojumuishwa
  2. Je, usimbaji wa Byte Pair hujengaje msamiati wake?
    • Kwa kugawa tokeni moja kwa neno zima katika kamusi
    • Kwa kuunganisha mara kwa mara jozi za karibu za mara kwa mara
    • Kwa kupanga wahusika nasibu
    • Kwa kutafsiri maandishi katika lugha nyingine kwanza
  3. Ni tatizo gani ambalo njia za maneno madogo kama BPE hutatua ikilinganishwa na tokeni ya kiwango cha maneno?
    • Wanafanya kila sentensi haswa ishara moja
    • Wanaondoa hitaji la msamiati wowote
    • Hushughulikia maneno adimu au yasiyoonekana kwa kuyagawanya katika vipande vinavyoweza kutumika tena
    • Wanafanya kazi kwa Kiingereza tu
  4. Ni faida gani ya BPE ya kiwango kidogo, kama inavyotumika katika mifano ya GPT?
    • Inatumia tokeni chache kuliko mbinu nyingine yoyote kwa lugha zote
    • Inaondoa hitaji la kufundisha mfano
    • Inasimba herufi za Kiingereza pekee
    • Inaweza kuwakilisha maandishi yoyote ya Unicode, ikijumuisha emoji na lugha yoyote, bila hitilafu nyingi za msamiati
  5. Kwa nini hesabu ya ishara ya mfano mara nyingi hutofautiana na idadi ya maneno katika sentensi?
    • Nafasi, herufi kubwa na maneno adimu hubadilisha jinsi maandishi yanavyogawanyika, na neno moja linaweza kuwa ishara kadhaa
    • Ishara huhesabiwa katika lugha ya nasibu
    • Kila neno daima ni ishara mbili
    • Hesabu za ishara hutegemea tu uakifishaji
  6. Algorithm ya Usimbaji ya Byte Pair ilikopwa kutoka kwa uwanja gani hapo awali?
    • Utoaji wa picha
    • Ukandamizaji wa data
    • Uorodheshaji wa hifadhidata
    • Crystalgraphy
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet