แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบกฎหมายการปรับขนาดสำหรับโครงข่ายประสาทเทียม

ทดสอบว่ากฎการสเกลเชิงประจักษ์เชื่อมโยงการสูญเสียของโมเดลภาษาเข้ากับพารามิเตอร์, ข้อมูล, และการคำนวณอย่างไรและการพยากรณ์ของพวกมันใช้ได้กับอะไร

คำถาม 1 ของ 8

What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
    • Approximate power-law relationships over the tested ranges
    • A sudden guaranteed drop to zero
    • A fixed increase in loss for every larger model
    • Random oscillation with no measurable trend
  2. กฎหมายมาตราส่วนดั้งเดิมเกี่ยวข้องกับการสูญเสียปริมาณสามปริมาณใด
    • ขนาดแบทช์ การออกกลางคัน และยุคสมัย
    • พารามิเตอร์โมเดล ขนาดชุดข้อมูล และการคำนวณ
    • อัตราการเรียนรู้ น้ำหนักลดลง และความลึก
    • จำนวน GPU หน่วยความจำ และเวลาแฝง
  3. How can a scaling-law fit help when planning a larger training run?
    • It guarantees the final benchmark score
    • It eliminates the need for validation
    • It can inform an extrapolation from smaller experiments, subject to the tested setup
    • It predicts results exactly for any dataset or architecture
  4. คำคงที่ (ลดไม่ได้) ในสูตรการสูญเสียกฎหมายมาตราส่วนแสดงถึงอะไร
    • ข้อบกพร่องของซอฟต์แวร์
    • อัตราการเรียนรู้
    • จำนวน GPU
    • เอนโทรปีที่แท้จริงของข้อมูลที่ไม่มีแบบจำลองใดสามารถเอาชนะได้
  5. Why can absolute loss reductions become smaller as compute keeps increasing under a power-law fit?
    • The reducible loss term shrinks while the loss approaches its floor
    • The data is removed after each compute increase
    • The model stops using parameters
    • Power laws require loss to increase over time
  6. เทรนด์ใดที่กำลังผลักดันขอบเขตที่นอกเหนือไปจากการปรับขนาด 'ใหญ่กว่าดีกว่า' แบบธรรมดา
    • GPU เป็นอิสระ
    • ความขาดแคลนข้อมูลคุณภาพสูงบวกกับข้อจำกัดด้านพลังงานและต้นทุน
    • ปรากฏข้อความคุณภาพสูงไม่จำกัด
    • เส้นโค้งการสูญเสียกลายเป็นเส้นแนวตั้งตรง
  7. What did the original Kaplan study say about architecture details such as width and depth within its tested range?
    • They always dominated model size, data, and compute
    • They made loss independent of data
    • They had relatively small effects compared with the studied scaling variables
    • They guaranteed the same performance for all architectures
  8. What compute-allocation tendency did the original Kaplan paper report?
    • Every model should be trained to zero loss
    • Small models always use less compute at equal loss
    • Training data has no effect on compute allocation
    • Large models could be more sample-efficient and compute-efficient training could stop before convergence