ДалееСледующее руководство
Законы масштабирования шиншиллы
Языковой ИИ
Техническое РУКОВОДСТВО
Исследования масштабирования при ограниченных данных изучают, как распределять ресурсы обучения, когда количество пригодных уникальных данных ограничено.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Повторение корпуса увеличивает количество обработанных токенов без создания того же объёма новой информации. Полезный план различает уникальные токены, повторные экспозиции, размер модели и доказательства из отложенной оценки.
A training budget may permit more computation than the available corpus can use efficiently in a single pass. This happens in small domains, restricted language collections, and projects with a fixed set of approved documents. The question becomes how much to repeat the data, how large a model to train, and whether acquiring or improving data is more valuable than extending the run. Keep two token counts. Unique tokens describe the available corpus after the chosen processing and duplicate treatment. Processed tokens count every training exposure. With ten billion unique tokens and three complete passes, the run processes thirty billion tokens. The arithmetic tracks work, not thirty billion distinct pieces of evidence. A tokenizer or filtering change can also change the token count, so preserve the counting method when comparing experiments. The study Scaling Data-Constrained Language Models explicitly investigates this setting. Its experiments found that a limited amount of repetition could approach the loss achieved with additional unique data, while further repetition eventually offered diminishing value. The reported finding of small loss differences through roughly four epochs belongs to that study’s tested conditions; it is not a universal instruction to train every corpus four times. The work proposes a fitted scaling model that accounts for the reduced value of repeated data. Use that result to design a local experiment, not to skip one. Compare model sizes and repetition schedules under a stated compute budget, retain held-out data, and measure relevant task performance alongside loss. Keep evaluation examples out of training and check duplicate overlap. If later checkpoints improve training loss but worsen validation results, investigate memorization or mismatch rather than assuming more compute must help. Consider data quality, coverage, and permission to use candidate additions before enlarging the corpus.
Гипотетическая команда имеет десять миллиардов уникальных токенов и проводит три полных эпохи. Она фиксирует тридцать миллиардов обработанных токенов, при этом количество уникальных данных остаётся десять миллиардов.
Два эксперимента обрабатывают одинаковое общее количество токенов: один использует больше уникальных документов, а другой повторяет меньший корпус. Команда сравнивает потерю на отложенной выборке, а не предполагает, что одинаковое количество токенов означает одинаковое обучение.
Группа добавляет код в текстовый корпус в качестве потенциальной смеси данных, затем проверяет как текстовые задачи, так и задачи с кодом, вместо того чтобы предполагать, что каждый добавленный токен полезен для всех случаев использования.
Исследователь наблюдает, как тренировочная ошибка падает, а ошибка на отложенной выборке растёт после большего количества повторений. Команда сохраняет более раннюю контрольную точку и исследует ситуацию, прежде чем тратить оставшиеся вычислительные ресурсы.
Поскольку организации обучаются на специализированных и отобранных наборах данных, графики повторений и смеси данных останутся практическими вариантами дизайна. Лучше подобранные модели могут помочь в приоритизации экспериментов, но их предсказания следует проверять, когда меняются домен, архитектура, токенизатор или фильтры качества. Записывайте уникальные и обработанные токены отдельно, сохраняйте происхождение данных для обучения и оценки, и сравнивайте контрольные точки через значимые интервалы бюджета. Улучшенный прогноз полезен, когда он помогает избежать непродуктивного запуска; он не отменяет необходимости измерять, выполняет ли полученная модель поставленные задачи.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Законы масштабирования, ограниченные данными, изучают, как распределять ресурсы обучения, когда количество пригодных уникальных данных ограничено. Повторное использование корпуса увеличивает количество обработанных токенов, не создавая столько же новой информации. Полезный план различает уникальные токены, повторные экспозиции, размер модели и доказательства из отложенной оценки.
Повторные проходы добавляют экспозиции в обучении без увеличения уникального размера корпуса: 10 млрд × 3 = 30 млрд.
Руководство различает уникальную информацию от повторных воздействий и рекомендует оценивать полученные модели.
Руководство ограничивает заявленные небольшие различия в потерях конфигурациями исследования и призывает к локальным экспериментам.
Эффективные данные суммируют оцененную ценность обучения под подогнанной моделью; это не физический счёт корпуса.
Плохое поведение на отложенной выборке является поводом для исследования и сравнения контрольных точек, а не слепого добавления вычислений.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Законы масштабирования шиншиллы
Языковой ИИ