Tillbaka till alla frågesporterGuidelänkat frågesportMedium Nivå6 Frågor

Tokenisering och byteparkodningsquiz

Testa vad du vet om hur text blir tokens och hur BPE bygger ett ordförråd.

Fråga 1 av 6Rätt: 0

Vad producerar tokenisering för en språkmodell att läsa?