Агрегація суміші агентів
Змішування агентів (MoA) — це техніка, за якої кілька мовних моделей готують відповіді, а потім модель агрегатора об’єднує їхні найкращі ідеї в одну вдосконалену відповідь.
Огляд
It lets a team of open models rival or beat a single top-tier model.
Глибоке занурення
Представлений у статті 2024 року від Together AI, Mixture-of-Agents організовує кілька LLM у рівні. На першому рівні кілька моделей «пропонентів» незалежно відповідають на запит. Їхні результати потім об’єднуються та передаються на наступний рівень, де моделі знову відповідають, тепер залежно від усіх попередніх чернеток. Після одного або кількох таких раундів остаточна модель «агрегатора» синтезує все в одну відповідь. Основне розуміння, яке автори називають «співпрацею LLM», полягає в тому, що моделі дають кращі відповіді, коли показують відповіді колег, навіть недосконалі. У тесті AlpacaEval 2.0 MoA, створений повністю з моделей з відкритим вихідним кодом, як повідомляється, перевищив оцінку GPT-4 Omni, демонструючи, що ретельне агрегування різноманітних, дешевших моделей може перемогти єдину граничну систему.
Технічне розуміння
MoA відрізняється від голосування простою більшістю: замість того, щоб вибрати одну відповідь, агрегатор зчитує відповіді всіх кандидатів як контекст і генерує новий синтез, змішуючи сильні сторони та фільтруючи помилки. Різноманітність серед пропонентів допомагає, тому змішування різних модельних сімей є цінним. Структура багаторівнева, як глибока мережа, де «нейрони» кожного шару є цілими викликами LLM. Компромісом є затримка та вартість: кожен рівень примножує кількість викликів висновку, тому MoA витрачає більше обчислень для підвищення якості.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє агрегування суміші агентів
Очікуйте, що агрегування у стилі MoA буде поширюватися, оскільки висновки стануть дешевшими, а оркестровка буде зрілою. Напрямки дослідження включають вивчення того, яким пропонентам довіряти для кожного запиту (маршрутизація), зменшення штрафу за затримку шляхом паралельного запуску пропонентів і раннього скорочення слабких, а також поєднання MoA з агентами, що використовують інструменти, щоб агрегатор об’єднував не лише текст, але дії та отримані докази. У міру того, як відкриті моделі поширюються, їх розумне поєднання стає все більш практичним шляхом до граничного рівня якості без єдиної гігантської моделі.
Реалізація в реальному світі
Поєднання трьох різних моделей відкритого чату як пропонентів, а потім використання сильного агрегатора для отримання однієї вишуканої відповіді служби підтримки клієнтів.
Підвищення показників виконання інструкцій у тестах у стилі AlpacaEval, використовуючи лише моделі з відкритим кодом.
Об’єднання різноманітних пропозицій коду з кількох моделей в єдину, більш надійну реалізацію функції.
Запуск конвеєра відкритих ваг, що наближається до найвищої якості для розгортання, що враховує конфіденційність, де дані не можуть залишити сервери компанії.
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Суміш глибин
Часті запитання
What is Mixture-of-Agents Aggregation?
Змішування агентів (MoA) — це техніка, за якої кілька мовних моделей готують відповіді, а потім модель агрегатора об’єднує їхні найкращі ідеї в одну вдосконалену відповідь. Це дозволяє команді відкритих моделей змагатися або перемогти одну модель вищого рівня.
Яка роль моделі агрегатора в Mixture-of-Agents?
Агрегатор зчитує всі відповіді кандидатів і генерує одну об’єднану відповідь вищої якості.
На яку ключову властивість LLM покладається документ MoA?
Автори помічають, що моделі покращують свої відповіді, коли вони обумовлені чернетками інших моделей, навіть недосконалих.
Чим MoA відрізняється від голосування простою більшістю?
На відміну від голосування, MoA не просто вибирає одну існуючу відповідь; це генерує свіжу відповідь, яка поєднує кандидатів.
Чому різноманітність серед моделей пропонентів є цінною в MoA?
Різноманітні пропозиції охоплюють більше, надаючи агрегатору багатший набір ідей для об’єднання та помилок для фільтрації.
Яка основна практична вартість підходу MoA?
Кожен рівень додає більше LLM викликів, тому MoA обмінює додаткові обчислення та час на покращену якість відповіді.