แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบกฎหมายการปรับขนาดสำหรับโครงข่ายประสาทเทียม
ทดสอบว่ากฎการสเกลเชิงประจักษ์เชื่อมโยงการสูญเสียของโมเดลภาษาเข้ากับพารามิเตอร์, ข้อมูล, และการคำนวณอย่างไรและการพยากรณ์ของพวกมันใช้ได้กับอะไร
คำถาม 1 ของ 8
What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
- Approximate power-law relationships over the tested ranges
- A sudden guaranteed drop to zero
- A fixed increase in loss for every larger model
- Random oscillation with no measurable trend
- กฎหมายมาตราส่วนดั้งเดิมเกี่ยวข้องกับการสูญเสียปริมาณสามปริมาณใด
- ขนาดแบทช์ การออกกลางคัน และยุคสมัย
- พารามิเตอร์โมเดล ขนาดชุดข้อมูล และการคำนวณ
- อัตราการเรียนรู้ น้ำหนักลดลง และความลึก
- จำนวน GPU หน่วยความจำ และเวลาแฝง
- How can a scaling-law fit help when planning a larger training run?
- It guarantees the final benchmark score
- It eliminates the need for validation
- It can inform an extrapolation from smaller experiments, subject to the tested setup
- It predicts results exactly for any dataset or architecture
- คำคงที่ (ลดไม่ได้) ในสูตรการสูญเสียกฎหมายมาตราส่วนแสดงถึงอะไร
- ข้อบกพร่องของซอฟต์แวร์
- อัตราการเรียนรู้
- จำนวน GPU
- เอนโทรปีที่แท้จริงของข้อมูลที่ไม่มีแบบจำลองใดสามารถเอาชนะได้
- Why can absolute loss reductions become smaller as compute keeps increasing under a power-law fit?
- The reducible loss term shrinks while the loss approaches its floor
- The data is removed after each compute increase
- The model stops using parameters
- Power laws require loss to increase over time
- เทรนด์ใดที่กำลังผลักดันขอบเขตที่นอกเหนือไปจากการปรับขนาด 'ใหญ่กว่าดีกว่า' แบบธรรมดา
- GPU เป็นอิสระ
- ความขาดแคลนข้อมูลคุณภาพสูงบวกกับข้อจำกัดด้านพลังงานและต้นทุน
- ปรากฏข้อความคุณภาพสูงไม่จำกัด
- เส้นโค้งการสูญเสียกลายเป็นเส้นแนวตั้งตรง
- What did the original Kaplan study say about architecture details such as width and depth within its tested range?
- They always dominated model size, data, and compute
- They made loss independent of data
- They had relatively small effects compared with the studied scaling variables
- They guaranteed the same performance for all architectures
- What compute-allocation tendency did the original Kaplan paper report?
- Every model should be trained to zero loss
- Small models always use less compute at equal loss
- Training data has no effect on compute allocation
- Large models could be more sample-efficient and compute-efficient training could stop before convergence