แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบกฎหมายการปรับขนาด Chinchilla
ทดสอบการค้นพบงบประมาณการฝึกอบรม Chinchilla ตัวอย่าง 70B/1.4T สัดส่วนการปรับขนาด การคำนวณโดยประมาณ และความแตกต่างจากการเพิ่มประสิทธิภาพการปรับใช้
คำถาม 1 ของ 8
การค้นพบของ Chinchilla ว่าพารามิเตอร์และโทเค็นควรปรับขนาดในสัดส่วนที่ใกล้เคียงกันหมายความว่าอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การค้นพบของ Chinchilla ว่าพารามิเตอร์และโทเค็นควรปรับขนาดในสัดส่วนที่ใกล้เคียงกันหมายความว่าอย่างไร
- ทั้งสองควรเติบโตพร้อมกับเลขชี้กำลังการปรับขนาดที่เทียบเคียงได้ภายใต้วัตถุประสงค์ด้านการประมวลผลการฝึกอบรมที่ศึกษา
- จำนวนโทเค็นที่เป็นตัวเลขต้องเท่ากับจำนวนพารามิเตอร์
- ข้อมูลการฝึกอบรมไม่ส่งผลต่อการสูญเสียที่ติดตั้ง
- การปรับใช้ทุกครั้งจะต้องเลือกโมเดลที่ใหญ่ที่สุดที่เป็นไปได้
- การทดลอง Chinchilla พารามิเตอร์ 70B, โทเค็น 1.4T แสดงให้เห็นอัตราส่วนโทเค็นต่อพารามิเตอร์เท่าใด
- หนึ่งโทเค็นต่อพารามิเตอร์
- ประมาณสองพันโทเค็นต่อพารามิเตอร์
- โทเค็นการฝึกอบรมประมาณยี่สิบรายการต่อพารามิเตอร์
- อัตราส่วนที่กำหนดโดยจำนวน GPU เท่านั้น
- Chinchilla รุ่นใดมีประสิทธิภาพเหนือกว่าแม้จะมีขนาดเล็กกว่ามาก
- GPT-2
- โกเฟอร์
- เบิร์ต
- แมมบ้า
- Chinchilla บอกเป็นนัยถึงโมเดลอย่าง GPT-3 ในขณะนั้นอย่างไร
- พวกเขาถูกฝึกมากเกินไป
- พวกเขามีการคำนวณน้อยเกินไป
- พวกเขาใช้โทเค็นไนเซอร์ผิด
- พวกเขาได้รับการฝึกฝนน้อยเมื่อเทียบกับขนาดของพวกเขา
- การคำนวณโดยประมาณในการวิเคราะห์ Chinchilla เป็นอย่างไร
- สัดส่วนกับจำนวน GPU เท่านั้น
- เป็นอิสระจากขนาดข้อมูล
- โทเค็นการฝึกอบรมตามสัดส่วนกับพารามิเตอร์
- สัดส่วนกับขนาดคำศัพท์
- เหตุใดวัตถุประสงค์การใช้งานจึงอาจสนับสนุนโมเดลขนาดเล็กที่ได้รับการฝึกฝนโดยใช้ข้อมูลเพิ่มเติม แทนที่จะใช้การประมวลผลเพื่อการฝึกอบรมเพียงอย่างเดียวอย่างเหมาะสมที่สุด
- ค่าใช้จ่ายในการอนุมานซ้ำๆ อาจมีความสำคัญควบคู่ไปกับงบประมาณการฝึกอบรมเบื้องต้น
- การอนุมานไม่มีค่าใช้จ่ายทรัพยากรสำหรับโมเดลใดๆ
- การศึกษาของ Chinchilla พิสูจน์ว่าความสัมพันธ์ทุกระดับไม่เป็นความจริง
- ข้อมูลเพิ่มเติมจะช่วยลดทั้งการฝึกอบรมและการให้บริการให้เป็นศูนย์เสมอ
- ภายใต้การประมาณว่าการประมวลผลการฝึกอบรมเป็นสัดส่วนกับ N คูณ D แล้ว D จะต้องเปลี่ยนแปลงอย่างไรหาก N เพิ่มขึ้นเป็นสองเท่าในขณะที่งบประมาณการประมวลผลนั้นคงที่
- D ต้องเพิ่มเป็นสองเท่าด้วย
- D ต้องเพิ่มเป็นสี่เท่า
- D จะต้องไม่เปลี่ยนแปลง
- D จะต้องลดลงประมาณครึ่งหนึ่ง
- คำสามประเภทใดที่ปรากฏในการสูญเสียพาราเมตริกของ Chinchilla
- เฉพาะ GPU ที่นับ ราคาไฟฟ้า และวินาทีที่ผ่านไป
- คำพื้นฐานที่ลดไม่ได้ การสนับสนุนขนาดโมเดล และการสนับสนุนขนาดข้อมูล
- เฉพาะขนาดคำศัพท์ ขนาดไฟล์ และชื่อรุ่นเท่านั้น
- มีเพียงโทเค็นเชิงเส้นเท่านั้นที่นับโดยไม่มีคำศัพท์เกี่ยวกับขนาดโมเดล