What is Token? Definition | AI Understanding

Definisi

Sepotong teks yang diproses oleh model bahasa, seperti sekeping perkataan atau simbol.

Istilah berkaitan

Sistem AI yang menghasilkan kandungan baharu seperti teks, imej, audio, video atau kod.

Model Bahasa Besar (LLM)

Model bahasa yang dilatih mengenai korpora teks besar-besaran untuk menjana dan menganalisis teks.

Model Multimodal

Model yang boleh memproses atau menjana berbilang jenis data seperti teks, imej dan audio.

Tokenizer agnostik bahasa yang mempelajari unit subkata terus daripada teks mentah tanpa membahagikan pada ruang kosong.

Penanda aras masalah perkataan matematik sekolah gred yang digunakan untuk menilai penaakulan langkah demi langkah dalam model bahasa.

Proses pembahagian teks kepada token untuk input model.

Ketahui lebih lanjut dalam panduan percuma kami

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

See also

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma