Muda wa Kamusi ya AI

Uwekaji alama ni nini?

Ufafanuzi

Mchakato wa kugawanya maandishi katika ishara kwa uingizaji wa mfano.

Vinjari Kamusi kamili ya AIGundua miongozo yote ya bure ya AI

Masharti yanayohusiana

Dirisha la MuktadhaKiwango cha juu cha tokeni za ingizo ambazo muundo wa lugha unaweza kuchakata mara moja.BPE (Usimbaji Jozi wa Byte)Kanuni ya tokeni ya neno ndogo ambayo inaunganisha jozi za herufi zinazopatikana mara nyingi zaidi kuwa tokeni zinazoweza kutumika tena.KisimbajiKipengele cha muundo kinachobadilisha ingizo kuwa uwakilishi fiche.Mfano wa MultimodalMuundo ambao unaweza kuchakata au kutoa aina nyingi za data kama vile maandishi, picha na sauti.OCR (Utambuaji wa Tabia za Macho)Teknolojia inayobadilisha maandishi katika picha au kuchanganua hadi maandishi yanayosomeka na mashine.SentensiPieceKiashiria cha kutojua lugha ambacho hujifunza vizio vya neno ndogo moja kwa moja kutoka kwa maandishi ghafi bila kugawanyika mapema kwenye nafasi nyeupe.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Tazama pia

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning