গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

অবিরত প্রিট্রেনিং বনাম ফাইন-টিউনিং কুইজ

অবিরত প্রাক-প্রশিক্ষণ এবং সূক্ষ্ম-টিউনিং, বিপর্যয়কর ভুলে যাওয়া এবং পুনরায় খেলার মধ্যে ডেটা এবং উদ্দেশ্য পার্থক্য পরীক্ষা করে এবং যখন পুনরুদ্ধার আরও ভাল হয়।

প্রশ্ন 1 এর 8

অবিরত প্রাক-প্রশিক্ষণ এবং তত্ত্বাবধানকৃত ফাইন-টিউনিংয়ের মধ্যে প্রধান ডেটা পার্থক্য কী?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. অবিরত প্রাক-প্রশিক্ষণ এবং তত্ত্বাবধানকৃত ফাইন-টিউনিংয়ের মধ্যে প্রধান ডেটা পার্থক্য কী?
    • Both use only labeled question and answer pairs
    • Continued pretraining uses raw domain text; fine-tuning uses curated labeled examples
    • Fine-tuning uses more data than continued pretraining
    • Continued pretraining uses only images
  2. তত্ত্বাবধানে থাকা ফাইন-টিউনিংয়ে, ক্ষতি সাধারণত কোথায় গণনা করা হয়?
    • On every token including the prompt
    • Only on the prompt tokens
    • On randomly chosen tokens
    • Only on the response tokens
  3. ক্রমাগত pretraining মধ্যে রিপ্লে কি?
    • Mixing some general data into training to limit forgetting
    • Running the same batch twice
    • Restarting training from scratch
    • Replaying user conversations at inference time
  4. কোড Llama কিভাবে নির্মিত হয়েছিল?
    • From scratch on code only
    • By prompt engineering Llama 2
    • By continuing to train Llama 2 on a large code corpus
    • By fine-tuning on a few hundred coding questions
  5. যে তথ্যগুলি প্রায়শই পরিবর্তিত হয় তার জন্য, গাইডটি প্রায়শই ফাইন-টিউনিংয়ের চেয়ে কোন পদ্ধতির পরামর্শ দেয়?
    • Continued pretraining every day
    • Retrieval of up-to-date documents
    • Raising the sampling temperature
    • Training a larger tokenizer
  6. Which statement about BloombergGPT is correct according to the guide?
    • It was continued pretraining of Llama 2
    • It was created only with LoRA
    • It was a prompt-engineered GPT-3
    • It was trained from scratch on financial and general data
  7. What did the 2020 paper Don't Stop Pretraining show?
    • A second phase of pretraining on in-domain text improved RoBERTa on domain tasks
    • Pretraining should always stop after one epoch
    • Fine-tuning is useless for classification
    • Domain text harms every model
  8. Why re-warm the learning rate at the start of continued pretraining?
    • To reset the tokenizer
    • To freeze the base weights
    • Resuming at a high rate destabilizes training while too low a rate learns little
    • To skip the need for domain data