क्या है? टोकन?

एआई सिस्टम जो टेक्स्ट, चित्र, ऑडियो, वीडियो या कोड जैसी नई सामग्री तैयार करते हैं।

पाठ उत्पन्न करने और उसका विश्लेषण करने के लिए विशाल पाठ निगम पर प्रशिक्षित एक भाषा मॉडल।

एक मॉडल जो टेक्स्ट, छवि और ऑडियो जैसे कई डेटा प्रकारों को संसाधित या उत्पन्न कर सकता है।

एक भाषा-अज्ञेयवादी टोकननाइज़र जो रिक्त स्थान पर पूर्व-विभाजन के बिना कच्चे पाठ से सीधे सबवर्ड इकाइयों को सीखता है।

भाषा मॉडल में चरण-दर-चरण तर्क का मूल्यांकन करने के लिए ग्रेड-स्कूल गणित शब्द समस्याओं का एक बेंचमार्क उपयोग किया जाता है।

मॉडल इनपुट के लिए टेक्स्ट को टोकन में विभाजित करने की प्रक्रिया।