What is Token? Definition | AI Understanding

Ufafanuzi

Sehemu ya maandishi yaliyochakatwa na miundo ya lugha, kama vile kipande cha neno au ishara.

Masharti yanayohusiana

AI ya uzalishaji

Mifumo ya AI ambayo hutoa maudhui mapya kama vile maandishi, picha, sauti, video, au msimbo.

Muundo wa Lugha Kubwa (LLM)

Muundo wa lugha uliofunzwa kwenye shirika kubwa la maandishi ili kuunda na kuchanganua maandishi.

Mfano wa Multimodal

Muundo ambao unaweza kuchakata au kutoa aina nyingi za data kama vile maandishi, picha na sauti.

Kiashiria cha kutojua lugha ambacho hujifunza vizio vya neno ndogo moja kwa moja kutoka kwa maandishi ghafi bila kugawanyika mapema kwenye nafasi nyeupe.

Kigezo cha matatizo ya neno la hesabu la shule ya sekondari kinachotumiwa kutathmini hoja za hatua kwa hatua katika miundo ya lugha.

Mchakato wa kugawanya maandishi katika ishara kwa uingizaji wa mfano.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

See also

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Vinjari Kamusi kamili ya AI Gundua miongozo yote ya bure ya AI