एआई शब्दावली शब्द

क्या है? वाक्य टुकड़ा?

परिभाषा

एक भाषा-अज्ञेयवादी टोकननाइज़र जो रिक्त स्थान पर पूर्व-विभाजन के बिना कच्चे पाठ से सीधे सबवर्ड इकाइयों को सीखता है।

संबंधित शर्तें

क्लिप
एक मल्टीमॉडल मॉडल आर्किटेक्चर जो पाठ और छवियों के बीच साझा प्रतिनिधित्व सीखता है।
सतत सीखना
प्रशिक्षण दृष्टिकोण जो एक मॉडल को पूर्व ज्ञान को भूले बिना नए डेटा से सीखते रहने देते हैं।
संदर्भ में सीखना
प्रॉम्प्ट में सीधे दिए गए उदाहरणों से पैटर्न का पालन करने की एक मॉडल की क्षमता।
आशय वर्गीकरण
किसी टेक्स्ट क्वेरी से उसे सही ढंग से रूट करने के लिए उपयोगकर्ता के उद्देश्य की भविष्यवाणी करना।
बड़े भाषा मॉडल (एलएलएम)
पाठ उत्पन्न करने और उसका विश्लेषण करने के लिए विशाल पाठ निगम पर प्रशिक्षित एक भाषा मॉडल।
टोकन
भाषा मॉडल द्वारा संसाधित पाठ का एक टुकड़ा, जैसे शब्द टुकड़ा या प्रतीक।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

SentencePiece Tokenization

यह भी देखें

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
संपूर्ण AI शब्दावली ब्राउज़ करेंसभी निःशुल्क एआई गाइडों का अन्वेषण करें