গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
অবিরত প্রিট্রেনিং বনাম ফাইন-টিউনিং কুইজ
অবিরত প্রাক-প্রশিক্ষণ এবং সূক্ষ্ম-টিউনিং, বিপর্যয়কর ভুলে যাওয়া এবং পুনরায় খেলার মধ্যে ডেটা এবং উদ্দেশ্য পার্থক্য পরীক্ষা করে এবং যখন পুনরুদ্ধার আরও ভাল হয়।
প্রশ্ন 1 এর 8
অবিরত প্রাক-প্রশিক্ষণ এবং তত্ত্বাবধানকৃত ফাইন-টিউনিংয়ের মধ্যে প্রধান ডেটা পার্থক্য কী?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- অবিরত প্রাক-প্রশিক্ষণ এবং তত্ত্বাবধানকৃত ফাইন-টিউনিংয়ের মধ্যে প্রধান ডেটা পার্থক্য কী?
- Both use only labeled question and answer pairs
- Continued pretraining uses raw domain text; fine-tuning uses curated labeled examples
- Fine-tuning uses more data than continued pretraining
- Continued pretraining uses only images
- তত্ত্বাবধানে থাকা ফাইন-টিউনিংয়ে, ক্ষতি সাধারণত কোথায় গণনা করা হয়?
- On every token including the prompt
- Only on the prompt tokens
- On randomly chosen tokens
- Only on the response tokens
- ক্রমাগত pretraining মধ্যে রিপ্লে কি?
- Mixing some general data into training to limit forgetting
- Running the same batch twice
- Restarting training from scratch
- Replaying user conversations at inference time
- কোড Llama কিভাবে নির্মিত হয়েছিল?
- From scratch on code only
- By prompt engineering Llama 2
- By continuing to train Llama 2 on a large code corpus
- By fine-tuning on a few hundred coding questions
- যে তথ্যগুলি প্রায়শই পরিবর্তিত হয় তার জন্য, গাইডটি প্রায়শই ফাইন-টিউনিংয়ের চেয়ে কোন পদ্ধতির পরামর্শ দেয়?
- Continued pretraining every day
- Retrieval of up-to-date documents
- Raising the sampling temperature
- Training a larger tokenizer
- Which statement about BloombergGPT is correct according to the guide?
- It was continued pretraining of Llama 2
- It was created only with LoRA
- It was a prompt-engineered GPT-3
- It was trained from scratch on financial and general data
- What did the 2020 paper Don't Stop Pretraining show?
- A second phase of pretraining on in-domain text improved RoBERTa on domain tasks
- Pretraining should always stop after one epoch
- Fine-tuning is useless for classification
- Domain text harms every model
- Why re-warm the learning rate at the start of continued pretraining?
- To reset the tokenizer
- To freeze the base weights
- Resuming at a high rate destabilizes training while too low a rate learns little
- To skip the need for domain data