एआई शब्दावली शब्द

टोकन क्या है?

परिभाषा

भाषा मॉडल द्वारा संसाधित पाठ का एक टुकड़ा, जैसे शब्द टुकड़ा या प्रतीक।

जेनरेटिव एआईएआई सिस्टम जो टेक्स्ट, चित्र, ऑडियो, वीडियो या कोड जैसी नई सामग्री तैयार करते हैं।बड़े भाषा मॉडल (एलएलएम)पाठ उत्पन्न करने और उसका विश्लेषण करने के लिए विशाल पाठ निगम पर प्रशिक्षित एक भाषा मॉडल।मल्टीमॉडल मॉडलएक मॉडल जो टेक्स्ट, छवि और ऑडियो जैसे कई डेटा प्रकारों को संसाधित या उत्पन्न कर सकता है।वाक्य टुकड़ाएक भाषा-अज्ञेयवादी टोकननाइज़र जो रिक्त स्थान पर पूर्व-विभाजन के बिना कच्चे पाठ से सीधे सबवर्ड इकाइयों को सीखता है।GSM8Kभाषा मॉडल में चरण-दर-चरण तर्क का मूल्यांकन करने के लिए ग्रेड-स्कूल गणित शब्द समस्याओं का एक बेंचमार्क उपयोग किया जाता है।टोकनीकरणमॉडल इनपुट के लिए टेक्स्ट को टोकन में विभाजित करने की प्रक्रिया।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

यह भी देखें