Învață Știri Unelte Joburi Misiune

Termen de glosar AI

Ce este Jeton?

Definiție

O bucată de text procesată de modele de limbaj, cum ar fi un cuvânt sau un simbol.

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite

IA generativăSisteme AI care produc conținut nou, cum ar fi text, imagini, audio, video sau cod.Model de limbă mare (LLM)Un model de limbaj instruit pe corpuri de text masive pentru a genera și analiza text.Model multimodalUn model care poate procesa sau genera mai multe tipuri de date, cum ar fi text, imagine și audio.SentencePieceUn tokenizer agnostic de limbă care învață unitățile de subcuvinte direct din textul brut fără a împărți în prealabil spațiile albe.GSM8KUn punct de referință al problemelor de cuvinte de matematică din școală, folosit pentru a evalua raționamentul pas cu pas în modelele lingvistice.TokenizareProcesul de împărțire a textului în jetoane pentru introducerea modelului.

Aflați mai multe în ghidurile noastre gratuite

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

Vezi și

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model