แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบกฎหมายการปรับขนาด Chinchilla

ทดสอบการค้นพบงบประมาณการฝึกอบรม Chinchilla ตัวอย่าง 70B/1.4T สัดส่วนการปรับขนาด การคำนวณโดยประมาณ และความแตกต่างจากการเพิ่มประสิทธิภาพการปรับใช้

เส้นทางแนะนำที่เกี่ยวข้องกฎหมายมาตราส่วนของชินชิลล่า
คำถาม 1 ของ 8

การค้นพบของ Chinchilla ว่าพารามิเตอร์และโทเค็นควรปรับขนาดในสัดส่วนที่ใกล้เคียงกันหมายความว่าอย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การค้นพบของ Chinchilla ว่าพารามิเตอร์และโทเค็นควรปรับขนาดในสัดส่วนที่ใกล้เคียงกันหมายความว่าอย่างไร
    • ทั้งสองควรเติบโตพร้อมกับเลขชี้กำลังการปรับขนาดที่เทียบเคียงได้ภายใต้วัตถุประสงค์ด้านการประมวลผลการฝึกอบรมที่ศึกษา
    • จำนวนโทเค็นที่เป็นตัวเลขต้องเท่ากับจำนวนพารามิเตอร์
    • ข้อมูลการฝึกอบรมไม่ส่งผลต่อการสูญเสียที่ติดตั้ง
    • การปรับใช้ทุกครั้งจะต้องเลือกโมเดลที่ใหญ่ที่สุดที่เป็นไปได้
  2. การทดลอง Chinchilla พารามิเตอร์ 70B, โทเค็น 1.4T แสดงให้เห็นอัตราส่วนโทเค็นต่อพารามิเตอร์เท่าใด
    • หนึ่งโทเค็นต่อพารามิเตอร์
    • ประมาณสองพันโทเค็นต่อพารามิเตอร์
    • โทเค็นการฝึกอบรมประมาณยี่สิบรายการต่อพารามิเตอร์
    • อัตราส่วนที่กำหนดโดยจำนวน GPU เท่านั้น
  3. Chinchilla รุ่นใดมีประสิทธิภาพเหนือกว่าแม้จะมีขนาดเล็กกว่ามาก
    • GPT-2
    • โกเฟอร์
    • เบิร์ต
    • แมมบ้า
  4. Chinchilla บอกเป็นนัยถึงโมเดลอย่าง GPT-3 ในขณะนั้นอย่างไร
    • พวกเขาถูกฝึกมากเกินไป
    • พวกเขามีการคำนวณน้อยเกินไป
    • พวกเขาใช้โทเค็นไนเซอร์ผิด
    • พวกเขาได้รับการฝึกฝนน้อยเมื่อเทียบกับขนาดของพวกเขา
  5. การคำนวณโดยประมาณในการวิเคราะห์ Chinchilla เป็นอย่างไร
    • สัดส่วนกับจำนวน GPU เท่านั้น
    • เป็นอิสระจากขนาดข้อมูล
    • โทเค็นการฝึกอบรมตามสัดส่วนกับพารามิเตอร์
    • สัดส่วนกับขนาดคำศัพท์
  6. เหตุใดวัตถุประสงค์การใช้งานจึงอาจสนับสนุนโมเดลขนาดเล็กที่ได้รับการฝึกฝนโดยใช้ข้อมูลเพิ่มเติม แทนที่จะใช้การประมวลผลเพื่อการฝึกอบรมเพียงอย่างเดียวอย่างเหมาะสมที่สุด
    • ค่าใช้จ่ายในการอนุมานซ้ำๆ อาจมีความสำคัญควบคู่ไปกับงบประมาณการฝึกอบรมเบื้องต้น
    • การอนุมานไม่มีค่าใช้จ่ายทรัพยากรสำหรับโมเดลใดๆ
    • การศึกษาของ Chinchilla พิสูจน์ว่าความสัมพันธ์ทุกระดับไม่เป็นความจริง
    • ข้อมูลเพิ่มเติมจะช่วยลดทั้งการฝึกอบรมและการให้บริการให้เป็นศูนย์เสมอ
  7. ภายใต้การประมาณว่าการประมวลผลการฝึกอบรมเป็นสัดส่วนกับ N คูณ D แล้ว D จะต้องเปลี่ยนแปลงอย่างไรหาก N เพิ่มขึ้นเป็นสองเท่าในขณะที่งบประมาณการประมวลผลนั้นคงที่
    • D ต้องเพิ่มเป็นสองเท่าด้วย
    • D ต้องเพิ่มเป็นสี่เท่า
    • D จะต้องไม่เปลี่ยนแปลง
    • D จะต้องลดลงประมาณครึ่งหนึ่ง
  8. คำสามประเภทใดที่ปรากฏในการสูญเสียพาราเมตริกของ Chinchilla
    • เฉพาะ GPU ที่นับ ราคาไฟฟ้า และวินาทีที่ผ่านไป
    • คำพื้นฐานที่ลดไม่ได้ การสนับสนุนขนาดโมเดล และการสนับสนุนขนาดข้อมูล
    • เฉพาะขนาดคำศัพท์ ขนาดไฟล์ และชื่อรุ่นเท่านั้น
    • มีเพียงโทเค็นเชิงเส้นเท่านั้นที่นับโดยไม่มีคำศัพท์เกี่ยวกับขนาดโมเดล