Termen de glosar AI

Ce este BPE (codare pereche de octeți)?

Definiție

Un algoritm de tokenizare a subcuvintelor care îmbină cele mai frecvente perechi de caractere în simboluri reutilizabile.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

TokenizareProcesul de împărțire a textului în jetoane pentru introducerea modelului.OCR (recunoaștere optică a caracterelor)Tehnologie care convertește textul în imagini sau scanează în text care poate fi citit de mașină.Eșantionarea top-kO strategie de decodare care prelevează numai din cele k cele mai probabile simboluri următoare.Propagarea inversăAlgoritmul de antrenament de bază care actualizează ponderile modelului prin propagarea erorilor de predicție înapoi prin rețea.Bi-encoderUn model care codifică interogările și documentele în vectori separați, astfel încât acestea să poată fi comparate rapid la scară.Căutare fasciculUn algoritm de decodare care păstrează primele câteva secvențe candidate la fiecare pas pentru a găsi rezultate cu probabilitate mai mare.

Aflați mai multe în ghidurile noastre gratuite

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Vezi și

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker