Что случилось
MarkTechPost сообщает, что исследователи из Meta FAIR, Оксфордского университета и Университетского колледжа Лондона представили модели предпочтений исследований ИИ, или RPM, для выбора, какие эксперименты должен проводить исследовательский агент ИИ. По данным оценки AIRS-Bench, RPM улучшили средние нормализованные показатели и достигли базового уровня случайного выбора примерно за 15 часов вместо 24.
MarkTechPost сообщает, что RPM ранжируют невыполненные эксперименты-кандидаты, а не прогнозируют их абсолютные оценки. Сообщаемая система использует эволюционный каркас поиска по дереву под названием AIRA-dojo. Агент параллельно генерирует 15 детей-кандидатов, попарно сравнивает их в турнире на выбывание и казнит только победителя. В сравнениях используются ранее исследованные узлы контекста и их оценки проверки.
В статье описаны два варианта. RPM, предназначенный только для вывода, оценивает планы кандидатов, код и историю поиска с помощью замороженной предварительно обученной языковой модели. Агент RPM дополнительно проводит небольшие пилотные эксперименты в клонированной среде, содержащей один графический процессор H200, используя Python, bash и инструмент отправки. MarkTechPost сообщает, что агентный селектор использовался только для этапов «Черновик» и «Улучшение», тогда как выбор «Отладка» стал случайным, поскольку пилотные проекты потребляли бюджет времени агента.
На AIRS-Bench, который MarkTechPost описывает как содержащий 20 общедоступных текстовых и табличных задач, средние нормализованные оценки составили 0,684 для случайного выбора, 0,711 для RPM только для вывода и 0,729 для агентного RPM. Сообщается, что в установке использовался Qwen3.6-27B как для операторов эксперимента, так и для RPM, с 10 затравками и 24 часами на один H200 на задачу.
MarkTechPost сообщает, что оба варианта RPM достигли базового уровня случайного выбора примерно за 15 часов: 14,88 часов для только вывода и 15,50 часов для агентного выбора. В статье также сообщается о результатах 94,1% на WinoGrande и 95,7% на SVAMP, описывая их как новые современные результаты. Эти цифры и сравнения являются утверждениями в предоставленном отчете, а не независимо подтвержденными результатами.
В статье говорится, что платформа AIRA-dojo и AIRS-Bench имеют открытый исходный код и что Qwen3.6-27B доступен в виде открытых весов. Он не предоставляет ссылку прямого доступа, условия лицензирования, размещенные услуги, сведения о коммерческой поддержке или цены. В поставляемом материале также не установлено, что система готова к общепроизводственному использованию.
Подробности об источнике: marktechpost.com ↗
Почему это важно
Если полученные результаты подтвердятся, выбор экспериментов перед их выполнением может сделать исследования с помощью ИИ более эффективными в вычислениях. Этот подход устраняет практическое узкое место: исследовательские агенты могут генерировать множество потенциальных экспериментов, но тестирование каждого из них обходится дорого. Доказательства по-прежнему ограничены заявленным эталоном и не получили независимого подтверждения в предоставленных материалах.
Сообщаемая работа направлена на решение проблемы распределения ресурсов в исследованиях ИИ, а не просто на улучшение контрольных показателей модели. Агенту, который может генерировать больше идей, чем команда может себе позволить протестировать, нужен надежный способ решить, какие эксперименты заслуживают вычислений. Таким образом, уровень отбора может повлиять на производительность исследований, особенно если обучение или оценка занимают часы или дни.
Сообщенное сравнение показывает, что некоторая выгода была получена от выбора среди кандидатов, поскольку для операторов эксперимента и RPM использовалась одна и та же магистраль Qwen3.6-27B. MarkTechPost сообщает об относительном увеличении на 6,0% с 0,684 до 0,711 для выбора только для вывода и увеличении на 6,6% до 0,729 для агентного выбора, но предоставленная статья не обеспечивает достаточной методологической детализации для оценки статистической устойчивости за пределами заявленных доверительных интервалов.
Есть смысловые ограничения. AIRS-Bench решает 20 общедоступных текстовых и табличных задач, а в экспериментах использовалась одна установка H200, поэтому результаты не могут быть перенесены в более крупные исследовательские программы, другое оборудование или научные области. В отчете не содержится независимого повторения, тематического исследования внедрения или доказательств того, что этот подход улучшает реальные открытия, а не контрольные результаты.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Что посмотреть дальше
Следите за исходными документами, кодом и артефактами тестов; репликация на дополнительных задачах; и данные о том, сохраняются ли преимущества при использовании различных моделей, операторов, оборудования и областей исследований. Доступ к указанным компонентам с открытым исходным кодом описан, но цены, доступность на хостинге и производственная поддержка не документированы.
Наиболее полезной следующей проверкой будет то, публикуют ли исследователи основную статью, журналы реализации и оценки, а также воспроизводят ли внешние команды сообщаемые оценки и экономию времени. В предоставленном отчете указываются компоненты с открытым исходным кодом, но не проверяется независимая проверка их доступности или удобства использования.
Будущие оценки должны протестировать различные модели магистральной сети, методы генерации кандидатов, семейства задач и бюджеты вычислений. Сообщаемый агентный дизайн также использует короткие пилотные эксперименты и намеренно завышенный оставшийся бюджет — варианты, которые могут повлиять на результаты и заслуживают проверки при обычном учете ресурсов.
Потенциальные пользователи должны относиться к указанным инструментам как к исследовательским компонентам, а не как к документированному коммерческому продукту. Источник не указывает цену, условия уровня обслуживания, требования к установке или заявление об общей доступности. Это также не показывает, могут ли RPM безопасно проводить эксперименты, неудачи которых являются дорогостоящими или чьи показатели проверки ненадежны.
Сообщенные результаты WinoGrande и SVAMP требуют проверки на соответствие указанным предыдущим исходным показателям. В статье не содержится независимого тестирования, подробной статистической разбивки или достаточной информации, чтобы определить, насколько широко обобщаются эти достижения.