What is Tokenization? Definition | AI Understanding

Ufafanuzi

Mchakato wa kugawanya maandishi katika ishara kwa uingizaji wa mfano.

Masharti yanayohusiana

Dirisha la Muktadha

Kiwango cha juu cha tokeni za ingizo ambazo muundo wa lugha unaweza kuchakata mara moja.

BPE (Usimbaji Jozi wa Byte)

Kanuni ya tokeni ya neno ndogo ambayo inaunganisha jozi za herufi zinazopatikana mara nyingi zaidi kuwa tokeni zinazoweza kutumika tena.

Kipengele cha muundo kinachobadilisha ingizo kuwa uwakilishi fiche.

Mfano wa Multimodal

Muundo ambao unaweza kuchakata au kutoa aina nyingi za data kama vile maandishi, picha na sauti.

OCR (Utambuaji wa Tabia za Macho)

Teknolojia inayobadilisha maandishi katika picha au kuchanganua hadi maandishi yanayosomeka na mashine.

Kiashiria cha kutojua lugha ambacho hujifunza vizio vya neno ndogo moja kwa moja kutoka kwa maandishi ghafi bila kugawanyika mapema kwenye nafasi nyeupe.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

SentencePiece Tokenization WordPiece Tokenization Tokenization Subword Tokenization

See also

Token Tool Use Temperature Top-k Sampling System Prompt Top-p (Nucleus) Sampling Synthetic Data Transfer Learning

Vinjari Kamusi kamili ya AI Gundua miongozo yote ya bure ya AI