आगेअगली गाइड
फाइन-ट्यूनिंग बनाम आरएजी बनाम प्रॉम्प्टिंग
भाषा ए.आई
तकनीकी गाइड
निरंतर प्रीट्रेनिंग एक बेस मॉडल को बड़ी मात्रा में कच्चे डोमेन टेक्स्ट पर समान अगले-टोकन उद्देश्य के साथ प्रशिक्षित करती रहती है, जबकि व्यवहार को आकार देने के लिए निर्देश और प्रतिक्रिया जोड़े जैसे लेबल वाले उदाहरणों के छोटे क्यूरेटेड सेट पर ट्रेनों को फाइन-ट्यूनिंग करती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
विकल्प मायने रखता है क्योंकि पहला मुख्य रूप से बदलता है कि एक मॉडल किसी डोमेन और उसकी भाषा के बारे में क्या जानता है, दूसरा मुख्य रूप से बदलता है कि वह कैसे प्रतिक्रिया देता है, और आवश्यक डेटा और गणना बहुत भिन्न होती है।
Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.
कोड Llama को कोड के एक बड़े संग्रह पर Llama 2 को प्रशिक्षित करके बनाया गया था, और इसके कुछ वेरिएंट को Python और निम्नलिखित निर्देशों के लिए आगे प्रशिक्षित किया गया था।
लाखों गैर-सूचीबद्ध अनुबंधों और फाइलिंग वाली एक कानूनी-तकनीक कंपनी ने मॉडल की कानूनी भाषा को संभालने में सुधार करने के लिए पूर्व-प्रशिक्षण जारी रखा, फिर कुछ हजार एनोटेटेड क्लॉज-निष्कर्षण उदाहरणों पर सुधार किया।
एक बैंक एक चैटबॉट चाहता है जो एक निश्चित JSON प्रारूप में एक निर्धारित टोन के साथ उत्तर दे; पर्यवेक्षित फ़ाइन-ट्यूनिंग, या यहां तक कि सावधानीपूर्वक संकेत देना, पर्याप्त है क्योंकि मॉडल पहले से ही सामान्य सामग्री को जानता है।
ईपीएफएल के मेडिट्रॉन मॉडल ने किसी भी कार्य-विशिष्ट फाइन-ट्यूनिंग से पहले चिकित्सा कागजात और नैदानिक दिशानिर्देशों पर निरंतर प्रीट्रेनिंग के माध्यम से Llama 2 को चिकित्सा में अनुकूलित किया।
सक्षम ओपन बेस मॉडल की लगातार रिलीज ने अधिक संगठनों के लिए निरंतर प्रीट्रेनिंग को व्यावहारिक बना दिया है, हालांकि इसके लिए अभी भी पर्याप्त डेटा और गणना की आवश्यकता है। सक्रिय अनुसंधान क्षेत्रों में भूलने की समस्या को कम करना, डोमेन अनुकूलन को सस्ता बनाना और अलग-अलग प्रशिक्षित मॉडलों से वजन का संयोजन करना शामिल है। व्यवहार में, कई टीमें पूरी तरह से पूर्व-प्रशिक्षण के बजाय पुनर्प्राप्ति के साथ हल्की फ़ाइन-ट्यूनिंग जोड़ती रहेंगी, उन डोमेन के लिए भारी विकल्प को आरक्षित रखें जिनकी भाषा सामान्य वेब डेटा द्वारा खराब रूप से कवर की गई है।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
निरंतर प्रीट्रेनिंग एक बेस मॉडल को बड़ी मात्रा में कच्चे डोमेन टेक्स्ट पर समान अगले-टोकन उद्देश्य के साथ प्रशिक्षित करती रहती है, जबकि व्यवहार को आकार देने के लिए निर्देश और प्रतिक्रिया जोड़े जैसे लेबल वाले उदाहरणों के छोटे क्यूरेटेड सेट पर ट्रेनों को फाइन-ट्यूनिंग करती है। विकल्प मायने रखता है क्योंकि पहला मुख्य रूप से बदलता है कि एक मॉडल किसी डोमेन और उसकी भाषा के बारे में क्या जानता है, दूसरा मुख्य रूप से बदलता है कि वह कैसे प्रतिक्रिया देता है, और आवश्यक डेटा और गणना बहुत भिन्न होती है।
निरंतर प्रीट्रेनिंग कच्चे पाठ पर अगले टोकन की भविष्यवाणी करती है, जबकि फाइन-ट्यूनिंग शीघ्र और प्रतिक्रिया जोड़े से सीखती है।
प्रॉम्प्ट को छुपाने का मतलब है कि मॉडल सीखता है कि दिए गए इनपुट में क्या उत्पादन करना है, न कि इनपुट को पुन: उत्पन्न करना।
सामान्य डेटा को शामिल करने से मॉडल को डोमेन सीखने के दौरान सामान्य कौशल को ख़राब होने से बचाने में मदद मिलती है।
कोड Llama एक निरंतर पूर्व-प्रशिक्षण उदाहरण है, जिसमें कुछ वेरिएंट को Python और निर्देशों के लिए आगे प्रशिक्षित किया गया है।
फ़ाइन-ट्यूनिंग नए तथ्यों को धीरे-धीरे सीखती है और मतिभ्रम को बढ़ा सकती है, इसलिए जानकारी बदलने के लिए पुनर्प्राप्ति अक्सर बेहतर होती है।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
फाइन-ट्यूनिंग बनाम आरएजी बनाम प्रॉम्प्टिंग
भाषा ए.आई