Muda wa Kamusi ya AI

Ishara ni nini?

Ufafanuzi

Sehemu ya maandishi yaliyochakatwa na miundo ya lugha, kama vile kipande cha neno au ishara.

Vinjari Kamusi kamili ya AIGundua miongozo yote ya bure ya AI

Masharti yanayohusiana

AI ya uzalishajiMifumo ya AI ambayo hutoa maudhui mapya kama vile maandishi, picha, sauti, video, au msimbo.Muundo wa Lugha Kubwa (LLM)Muundo wa lugha uliofunzwa kwenye shirika kubwa la maandishi ili kuunda na kuchanganua maandishi.Mfano wa MultimodalMuundo ambao unaweza kuchakata au kutoa aina nyingi za data kama vile maandishi, picha na sauti.SentensiPieceKiashiria cha kutojua lugha ambacho hujifunza vizio vya neno ndogo moja kwa moja kutoka kwa maandishi ghafi bila kugawanyika mapema kwenye nafasi nyeupe.GSM8KKigezo cha matatizo ya neno la hesabu la shule ya sekondari kinachotumiwa kutathmini hoja za hatua kwa hatua katika miundo ya lugha.Uwekaji alamaMchakato wa kugawanya maandishi katika ishara kwa uingizaji wa mfano.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

Tazama pia

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model