What is BPE (Byte Pair Encoding)? Definition | AI Understanding

Definisi

Algoritma tokenisasi subkata yang menggabungkan pasangan aksara yang paling kerap menjadi token boleh guna semula.

Istilah berkaitan

Proses pembahagian teks kepada token untuk input model.

OCR (Pengecaman Aksara Optik)

Teknologi yang menukar teks dalam imej atau mengimbas kepada teks yang boleh dibaca mesin.

Persampelan Top-k

Strategi penyahkodan yang hanya mengambil sampel daripada k kemungkinan besar token seterusnya.

Penyebaran balik

Algoritma latihan teras yang mengemas kini berat model dengan menyebarkan ralat ramalan ke belakang melalui rangkaian.

Model yang mengekod pertanyaan dan dokumen ke dalam vektor yang berasingan supaya ia boleh dibandingkan dengan cepat pada skala.

Algoritma penyahkodan yang mengekalkan beberapa jujukan calon teratas pada setiap langkah untuk mencari output berkemungkinan lebih tinggi.

Ketahui lebih lanjut dalam panduan percuma kami

ByteDance Doubao CycleGAN Unpaired Translation Tokenizer-Free Byte-Level Models Instant-NGP Hash Encoding

See also

Sliding Window Attention SentencePiece ALiBi ANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSW Positional Encoding Reranker

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma