Termen de glosar AI

Ce este Tokenizare?

Definiție

Procesul de împărțire a textului în jetoane pentru introducerea modelului.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

Fereastra de contextCantitatea maximă de jetoane de intrare pe care un model de limbă poate procesa simultan.BPE (codare pereche de octeți)Un algoritm de tokenizare a subcuvintelor care îmbină cele mai frecvente perechi de caractere în simboluri reutilizabile.CodificatorComponenta unui model care transformă intrarea în reprezentări latente.Model multimodalUn model care poate procesa sau genera mai multe tipuri de date, cum ar fi text, imagine și audio.OCR (recunoaștere optică a caracterelor)Tehnologie care convertește textul în imagini sau scanează în text care poate fi citit de mașină.SentencePieceUn tokenizer agnostic de limbă care învață unitățile de subcuvinte direct din textul brut fără a împărți în prealabil spațiile albe.

Aflați mai multe în ghidurile noastre gratuite

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Vezi și

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning