Istilah Glosarium AI

Apa itu BPE (Pengkodean Pasangan Byte)?

Definisi

Algoritme tokenisasi subkata yang menggabungkan pasangan karakter paling sering menjadi token yang dapat digunakan kembali.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

TokenisasiProses pemisahan teks menjadi token untuk masukan model.OCR (Pengenalan Karakter Optik)Teknologi yang mengubah teks dalam gambar atau pindaian menjadi teks yang dapat dibaca mesin.Pengambilan Sampel Top-kStrategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.Propagasi mundurAlgoritme pelatihan inti yang memperbarui bobot model dengan menyebarkan kesalahan prediksi ke belakang melalui jaringan.Bi-EncoderModel yang mengkodekan kueri dan dokumen ke dalam vektor terpisah sehingga dapat dibandingkan dengan cepat dalam skala besar.Pencarian SinarAlgoritme penguraian kode yang menyimpan beberapa urutan kandidat teratas di setiap langkah untuk menemukan keluaran dengan probabilitas lebih tinggi.

Pelajari lebih lanjut di panduan gratis kami

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Lihat juga

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker