Apa itu Tokenisasi?

Jumlah maksimum token masukan yang dapat diproses model bahasa sekaligus.

Algoritme tokenisasi subkata yang menggabungkan pasangan karakter paling sering menjadi token yang dapat digunakan kembali.

Komponen model yang mengubah masukan menjadi representasi laten.

Model yang dapat memproses atau menghasilkan beberapa tipe data seperti teks, gambar, dan audio.

Teknologi yang mengubah teks dalam gambar atau pindaian menjadi teks yang dapat dibaca mesin.

Tokenizer tanpa bahasa yang mempelajari unit subkata langsung dari teks mentah tanpa terlebih dahulu membagi spasi.