Istilah Glosari AI

Apakah Tokenisasi?

Definisi

Proses pembahagian teks kepada token untuk input model.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

Tetingkap KonteksJumlah maksimum token input model bahasa boleh diproses sekaligus.BPE (Pengekodan Pasangan Byte)Algoritma tokenisasi subkata yang menggabungkan pasangan aksara yang paling kerap menjadi token boleh guna semula.PengekodKomponen model yang mengubah input kepada perwakilan terpendam.Model MultimodalModel yang boleh memproses atau menjana berbilang jenis data seperti teks, imej dan audio.OCR (Pengecaman Aksara Optik)Teknologi yang menukar teks dalam imej atau mengimbas kepada teks yang boleh dibaca mesin.Potongan AyatTokenizer agnostik bahasa yang mempelajari unit subkata terus daripada teks mentah tanpa membahagikan pada ruang kosong.

Ketahui lebih lanjut dalam panduan percuma kami

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Lihat juga

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning