Ce este BPE (Byte Pair Encoding)? Definiţie | AI Understanding

Definiție

Un algoritm de tokenizare a subcuvintelor care îmbină cele mai frecvente perechi de caractere în simboluri reutilizabile.

Termeni înrudiți

Procesul de împărțire a textului în jetoane pentru introducerea modelului.

OCR (recunoaștere optică a caracterelor)

Tehnologie care convertește textul în imagini sau scanează în text care poate fi citit de mașină.

Eșantionarea top-k

O strategie de decodare care prelevează numai din cele k cele mai probabile simboluri următoare.

Propagarea inversă

Algoritmul de antrenament de bază care actualizează ponderile modelului prin propagarea erorilor de predicție înapoi prin rețea.

Un model care codifică interogările și documentele în vectori separați, astfel încât acestea să poată fi comparate rapid la scară.

Căutare fascicul

Un algoritm de decodare care păstrează primele câteva secvențe candidate la fiecare pas pentru a găsi rezultate cu probabilitate mai mare.

Aflați mai multe în ghidurile noastre gratuite

ByteDance Doubao CycleGAN Unpaired Translation Tokenizer-Free Byte-Level Models Instant-NGP Hash Encoding

Vezi și

Sliding Window Attention SentencePiece ALiBi ANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSW Positional Encoding Reranker

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite