Istilah Glosarium AI

Apa itu Tokenisasi?

Definisi

Proses pemisahan teks menjadi token untuk masukan model.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Jendela KonteksJumlah maksimum token masukan yang dapat diproses model bahasa sekaligus.BPE (Pengkodean Pasangan Byte)Algoritme tokenisasi subkata yang menggabungkan pasangan karakter paling sering menjadi token yang dapat digunakan kembali.Pembuat enkodeKomponen model yang mengubah masukan menjadi representasi laten.Model MultimodaModel yang dapat memproses atau menghasilkan beberapa tipe data seperti teks, gambar, dan audio.OCR (Pengenalan Karakter Optik)Teknologi yang mengubah teks dalam gambar atau pindaian menjadi teks yang dapat dibaca mesin.Potongan KalimatTokenizer tanpa bahasa yang mempelajari unit subkata langsung dari teks mentah tanpa terlebih dahulu membagi spasi.

Pelajari lebih lanjut di panduan gratis kami

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Lihat juga

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning