РУКОВОДСТВО ПО ОСНОВАМ

Эталонное загрязнение

Загрязнение бенчмарка происходит, когда вопросы или ответы из оценочного бенчмарка попадают в обучающие данные модели, поэтому высокий балл может отражать заучивание, а не реальные способности.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее загрязнения бенчмарков
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, потому что показатели в рейтингах влияют на исследовательские заявления и решения о покупке, а загрязненные оценки завышают представления о том, как модель будет справляться с задачами, которые она никогда не видела.

Глубокое погружение

Large language models are trained on web-scale text that includes GitHub, arXiv papers, forums and tutorial sites. Popular benchmarks are public by design, so their questions, answers and discussions of them get copied across the web and swept into training data. Contamination can be direct, where the exact test item appears, or indirect, through paraphrases, translations, solution write-ups, or synthetic data generated by another model that had seen the benchmark. It can also enter during fine-tuning if instruction datasets were assembled from benchmark-like sources. A useful distinction is between seeing only the question and seeing the question with its answer. The second is more damaging, because the model can recall the answer instead of working it out. The result is an inflated score that does not transfer to new problems. Lab awareness is not new. The GPT-3 paper (2020) ran a 13-gram overlap analysis between its benchmarks and training data and acknowledged that a bug left some overlaps in place. When training data is available, overlap search is the most direct check. When it is not, researchers use indirect methods: prompting the model with the start of a test item to see if it completes the rest verbatim; membership inference methods such as Min-K% Prob (Shi and colleagues, 2023), which look at how confidently a model predicts a text's tokens; comparing scores on original items against rewritten or newly written equivalents; and time-based splits that compare problems created before and after the training cutoff. Two misconceptions are common. First, overlap does not always raise scores much; some studies find modest effects on certain tasks. Second, finding no exact overlap does not prove a benchmark is clean, because paraphrased or translated copies slip past string matching. Mitigations include private held-out test sets, canary strings, regularly refreshed benchmarks such as LiveBench and LiveCodeBench, decontamination filters, and publishing contamination analyses alongside results.

Реальная реализация

Задачи математического бенчмарка публикуются на форумах с подробными решениями; веб-сканирование собирает эти страницы, и модель, обученная на них, позже воспроизводит точные ответы, включая особенность в исходной формулировке.

Исследователи из Scale AI создали GSM1k — новые задачи по математике начальной школы, соответствующие GSM8K по стилю и сложности, и обнаружили, что некоторые модели показали заметно более низкие результаты на новом наборе, что является признаком переобучения на публичном бенчмарке.

Бенчмарк по программированию, который указывает дату публикации каждой задачи, показывает, что модель решает значительно больше задач, опубликованных до даты отсечения обучения, чем после, что является паттерном, который LiveCodeBench был создан, чтобы выявить.

Задачи BIG-bench включают уникальную канареечную строку, чтобы команды данных могли отфильтровать любой документ, содержащий её, из обучающих корпусов и позже проверить, может ли модель воспроизвести её.

Будущее загрязнения бенчмарков

Практика оценки смещается в сторону частных или частично частных тестовых наборов, бенчмарков, которые добавляют новые элементы со временем, и сторонних оценщиков, контролирующих тестовые данные. Это создает реальное противоречие с открытостью, поскольку публичные бенчмарки легко воспроизвести и проверить. Большая прозрачность в отношении обучающих данных значительно упростила бы проверки на загрязнение, но многие разработчики моделей не публикуют полные детали данных. Читателям следует с осторожностью относиться к любому единичному статическому баллу бенчмарка и искать результаты на новых или выделенных данных перед тем, как делать сильные выводы.

Применение на практике

Почему это важно

  • Более четкие решения. Это поможет вам отделить четкие технические заявления от маркетингового языка.
  • Стоимость и бюджет. Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
  • Команда и рабочий процесс. Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.

Следите за

  • Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
  • Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
  • Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.

Следующие шаги

  1. Начните с простого определения желаемого результата.
  2. Перед тестированием выберите один показатель успеха и одно условие отказа.
  3. Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
  4. Документ о том, где помогает Загрязнение бенчмарков, а где лучше подходят более простые методы.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите викторину по Загрязнению бенчмарков

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое Загрязнение бенчмарков?

Загрязнение бенчмарка происходит, когда вопросы или ответы из оценочного бенчмарка попадают в обучающие данные модели, поэтому высокий балл может отражать заучивание, а не реальные способности. Это важно, потому что показатели в рейтингах влияют на исследовательские заявления и решения о покупке, а загрязненные оценки завышают представления о том, как модель будет справляться с задачами, которые она никогда не видела.

Что такое эталонное загрязнение?

Загрязнение означает, что модель могла видеть тестовые материалы во время обучения, поэтому её оценка может отражать заучивание.

Какова цель канареечной строки, включенной в задачи BIG-bench?

Уникальный идентификатор облегчает поиск и удаление текста бенчмарка из корпусов, а также проверку того, заучила ли модель этот текст.

Что показало исследование GSM1k?

Снижение результатов на новых задачах, соответствующих по стилю и сложности, указывает на переобучение на публичном бенчмарке, а не на общие математические навыки.

Какой анализ пересечений провели авторы статьи о GPT-3?

Авторы GPT-3 проверили пересечения 13-грамм и признали наличие ошибки, из-за которой некоторые пересечения не были удалены.

В чем заключается основная идея Min-K% Prob?

Метод усредняет самые низкие k процентов лог-вероятностей токенов; заученный текст получает необычно высокие оценки, потому что мало что в нем удивляет модель.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →