Закони за мащабиране за тест за невронни мрежи

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какъв модел са направили Kaplan et al. отчет за загуба на езиков модел, тъй като размерът на модела, данните или изчисленията се увеличават?
   • Approximate power-law relationships over the tested ranges
   • A sudden guaranteed drop to zero
   • A fixed increase in loss for every larger model
   • Random oscillation with no measurable trend
2. Кои три величини са свързани със загубата на оригиналните закони за мащабиране?
   • Размер на партидата, отпадане и епохи
   • Параметри на модела, размер на набора от данни и изчисление
   • Скорост на учене, намаляване на теглото и дълбочина
   • Брой GPU, памет и латентност
3. Как може да помогне при планирането на по-голямо тренировъчно изпълнение законът за мащабиране?
   • It guarantees the final benchmark score
   • It eliminates the need for validation
   • It can inform an extrapolation from smaller experiments, subject to the tested setup
   • It predicts results exactly for any dataset or architecture
4. Какво представлява постоянният (нередуцируем) член във формула за загуба на закон за мащабиране?
   • Софтуерна грешка
   • Скоростта на учене
   • Броят на графичните процесори
   • Вътрешната ентропия на данните, която никой модел не може да победи
5. Защо абсолютните намаления на загубите могат да станат по-малки, тъй като изчисленията продължават да нарастват при съответствие със степенния закон?
   • The reducible loss term shrinks while the loss approaches its floor
   • The data is removed after each compute increase
   • The model stops using parameters
   • Power laws require loss to increase over time
6. Коя тенденция тласка полето отвъд обикновеното мащабиране „по-голямото е по-добро“?
   • Графичните процесори стават безплатни
   • Недостиг на висококачествени данни плюс ограничения на енергията и разходите
   • Показва се неограничен висококачествен текст
   • Криви на загуби, превръщащи се в прави вертикални линии
7. What did the original Kaplan study say about architecture details such as width and depth within its tested range?
   • They always dominated model size, data, and compute
   • They made loss independent of data
   • They had relatively small effects compared with the studied scaling variables
   • They guaranteed the same performance for all architectures
8. What compute-allocation tendency did the original Kaplan paper report?
   • Every model should be trained to zero loss
   • Small models always use less compute at equal loss
   • Training data has no effect on compute allocation
   • Large models could be more sample-efficient and compute-efficient training could stop before convergence