Agregacja mieszanin agentów
Mieszanka agentów (MoA) to technika, w której kilka modeli językowych opracowuje odpowiedzi, a następnie model agregatorowy łączy ich najlepsze pomysły w jedną ulepszoną odpowiedź.
Przegląd
It lets a team of open models rival or beat a single top-tier model.
Głębokie nurkowanie
Wprowadzony w artykule z 2024 r. opublikowanym przez Together AI, Mixture-of-Agents organizuje wiele LLM w warstwy. W pierwszej warstwie kilka modeli „proponujących” niezależnie odpowiada na pytanie. Ich wyniki są następnie łączone i przekazywane do następnej warstwy, gdzie modele ponownie odpowiadają, teraz uwarunkowane na wszystkich poprzednich wersjach roboczych. Po jednej lub większej liczbie takich rund ostateczny model „agregujący” syntetyzuje wszystko w jedną odpowiedź. Podstawowe spostrzeżenie, które autorzy nazywają „współpracą LLM”, polega na tym, że modele dają lepsze odpowiedzi, gdy pokazuje się im odpowiedzi innych osób, nawet te niedoskonałe. W teście AlpacaEval 2.0 MoA zbudowany w całości z modeli open source podobno przekroczył wynik GPT-4 Omni, pokazując, że ostrożna agregacja różnorodnych, tańszych modeli może pokonać pojedynczy system graniczny.
Wgląd techniczny
MoA różni się od zwykłego głosowania większością: zamiast wybierać jedną odpowiedź, agregator odczytuje odpowiedzi wszystkich kandydatów jako kontekst i generuje nową syntezę, łącząc mocne strony i filtrując błędy. Różnorodność wśród oferentów pomaga, dlatego cenne jest mieszanie różnych rodzin modeli. Struktura jest warstwowa, jak głęboka sieć, w której „neurony” każdej warstwy to całe wywołania LLM. Kompromisem są opóźnienia i koszty: każda warstwa zwielokrotnia liczbę wywołań wnioskowania, więc MoA zużywa więcej mocy obliczeniowej, aby podnieść jakość.
Wpływ strategiczny
Szybkość i skala
Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
Dostęp i zasięg
Rozszerza dostęp w różnych językach i stylach komunikacji.
Jaśniejsze decyzje
Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Przyszłość agregacji mieszanin agentów
Należy się spodziewać, że agregacja w stylu MoA będzie się rozprzestrzeniać w miarę jak wnioskowanie stanie się tańsze, a struktury orkiestracji dojrzeją. Kierunki badań obejmują nauczenie się, którym wnioskodawcom można ufać na zapytanie (routowanie), zmniejszenie kary za opóźnienia poprzez równoległe uruchamianie propozycji i wczesne usuwanie słabych, a także łączenie MoA z agentami korzystającymi z narzędzi, tak aby agregator łączył nie tylko tekst, ale działania i odzyskane dowody. W miarę rozprzestrzeniania się otwartych modeli inteligentne ich łączenie staje się coraz bardziej praktyczną ścieżką do najwyższej jakości bez jednego gigantycznego modelu.
Implementacja w świecie rzeczywistym
Połączenie trzech różnych modeli otwartego czatu jako proponujących, a następnie użycie silnego agregatora w celu uzyskania jednej dopracowanej odpowiedzi obsługi klienta.
Zwiększanie wyników zgodnie z instrukcjami w testach porównawczych w stylu AlpacaEval przy użyciu wyłącznie modeli typu open source.
Łączenie różnorodnych sugestii kodu z kilku modeli w jedną, bardziej niezawodną implementację funkcji.
Uruchamianie potoku o otwartej wadze, który zbliża się do granicznej jakości w przypadku wdrożenia wrażliwego na prywatność, w którym dane nie mogą opuścić serwerów firmy.
Zagrożenia i poręcze
Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Plan wdrożenia
Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Mieszanka głębin
Często zadawane pytania
What is Mixture-of-Agents Aggregation?
Mieszanka agentów (MoA) to technika, w której kilka modeli językowych opracowuje odpowiedzi, a następnie model agregatorowy łączy ich najlepsze pomysły w jedną ulepszoną odpowiedź. Pozwala zespołowi otwartych modeli rywalizować lub pokonać pojedynczy model z najwyższej półki.
Jaka jest rola modelu agregatora w przypadku Mixture-of-Agents?
Agregator odczytuje odpowiedzi wszystkich kandydatów i generuje jedną połączoną odpowiedź o wyższej jakości.
Na jakiej kluczowej właściwości LLM opiera się dokument MoA?
Autorzy zauważają, że modele poprawiają swoje odpowiedzi, gdy są uwarunkowane projektami innych modeli, nawet niedoskonałymi.
Czym różni się MoA od głosowania zwykłą większością głosów?
W przeciwieństwie do głosowania, MoA nie wybiera tylko jednej istniejącej odpowiedzi; generuje świeżą reakcję, która łączy kandydatów.
Dlaczego różnorodność modeli wnioskodawców jest cenna w MoA?
Zróżnicowani proponenci obejmują większy obszar, dając agregatorowi bogatszy zestaw pomysłów do połączenia i błędów do filtrowania.
Jaki jest główny koszt praktyczny podejścia przyjętego w ramach MoA?
Każda warstwa dodaje więcej wywołań LLM, więc MoA poświęca dodatkową moc obliczeniową i czas na lepszą jakość odpowiedzi.