Исследователи Apple сообщают о законе масштабирования для моделей обучения с ограниченными данными
Исследование более 2000 прогонов обучения языковой модели показало, что скудные целевые данные можно повторять в смесях 15–20 раз, при этом наилучшая скорость зависит от масштаба и вычислений.