Aggregatie van mengsels van agenten
Mixture-of-Agents (MoA) is een techniek waarbij verschillende taalmodellen antwoorden opstellen en vervolgens een aggregatormodel hun beste ideeën samenvoegt tot één verbeterd antwoord.
Overzicht
It lets a team of open models rival or beat a single top-tier model.
Diepe duik
Mixture-of-Agents, geïntroduceerd in een paper uit 2024 van Together AI, organiseert meerdere LLM's in lagen. In de eerste laag beantwoorden verschillende 'voorsteller'-modellen elk onafhankelijk de vraag. Hun outputs worden vervolgens samengevoegd en doorgegeven aan de volgende laag, waar modellen opnieuw reageren, nu afhankelijk van alle eerdere concepten. Na een of meer van dergelijke rondes synthetiseert een definitief 'aggregator'-model alles in één antwoord. Het kerninzicht, dat de auteurs de 'samenwerkingskracht van LLM's' noemen, is dat modellen betere reacties produceren als ze de antwoorden van collega's laten zien, zelfs als deze niet perfect zijn. Op de AlpacaEval 2.0-benchmark overtrof een MoA die volledig was opgebouwd uit open-sourcemodellen naar verluidt de score van GPT-4 Omni, wat aantoont dat een zorgvuldige aggregatie van diverse, goedkopere modellen een enkel grenssysteem kan verslaan.
Technisch inzicht
MoA verschilt van stemming bij gewone meerderheid: in plaats van één antwoord te kiezen, leest de aggregator alle reacties van kandidaten als context en genereert een nieuwe synthese, waarbij sterke punten worden gecombineerd en fouten worden gefilterd. Diversiteit onder de indieners helpt, dus het mixen van verschillende modelfamilies is waardevol. De structuur is gelaagd, als een diep netwerk waarbij de 'neuronen' van elke laag hele LLM-oproepen zijn. De afweging is latentie en kosten: elke laag vermenigvuldigt het aantal inferentieoproepen, waardoor MoA meer rekenkracht besteedt om de kwaliteit te verbeteren.
Strategische impact
Speed and scale
Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
Access and reach
Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
Clearer decisions
Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.
De toekomst van aggregatie van mengsels van agenten
Verwacht dat aggregatie in MoA-stijl zich zal verspreiden naarmate inferentie goedkoper wordt en orkestratieframeworks volwassener worden. Onderzoeksrichtingen omvatten onder meer het leren welke indieners per zoekopdracht kunnen vertrouwen (routing), het verminderen van de latentiestraf door de indieners parallel te laten lopen en zwakke voorstellen vroegtijdig te snoeien, en het combineren van MoA met tool-gebruikende agenten, zodat de aggregator niet alleen tekst, maar ook acties en opgehaald bewijs samenvoegt. Naarmate open modellen zich steeds meer verspreiden, wordt het op intelligente wijze samenbrengen ervan een steeds praktischer pad naar kwaliteit op grensniveau zonder één enkel gigantisch model.
Implementatie in de echte wereld
Door drie verschillende open chat-modellen te combineren als voorstellers en vervolgens een sterke aggregator te gebruiken om één gepolijst klantondersteuningsantwoord te produceren.
Verbetering van de scores voor het volgen van instructies op benchmarks in AlpacaEval-stijl met alleen open-sourcemodellen.
Het samenvoegen van diverse codesuggesties uit verschillende modellen tot één enkele, robuustere functie-implementatie.
Het runnen van een pijplijn met open gewichten die de grens van kwaliteit benadert voor een privacygevoelige implementatie waarbij gegevens de servers van een bedrijf niet kunnen verlaten.
Risico's en vangrails
Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.
Implementatie routekaart
Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Mengsel van diepten
Frequently asked questions
What is Mixture-of-Agents Aggregation?
Mixture-of-Agents (MoA) is een techniek waarbij verschillende taalmodellen antwoorden opstellen en vervolgens een aggregatormodel hun beste ideeën samenvoegt tot één verbeterd antwoord. Het laat een team van open modellen concurreren of een enkel topmodel verslaan.
Wat is de rol van het aggregatormodel in Mixture-of-Agents?
De aggregator leest alle reacties van kandidaten en genereert één samengevoegd antwoord van hogere kwaliteit.
Op welke belangrijke eigenschap van LLM's is het MoA-papier gebaseerd?
De auteurs merken op dat modellen hun antwoorden verbeteren als ze afhankelijk zijn van de concepten van andere modellen, zelfs van imperfecte modellen.
Hoe verschilt MoA van stemming bij gewone meerderheid?
In tegenstelling tot stemmen selecteert MoA niet slechts één bestaand antwoord; het genereert een frisse reactie die de kandidaten bij elkaar brengt.
Waarom is diversiteit tussen de indienermodellen waardevol in MoA?
Gevarieerde indieners bestrijken meer terreinen, waardoor de aggregator een rijkere reeks ideeën krijgt om te combineren en fouten om te filteren.
Wat zijn de belangrijkste praktische kosten van de MoA-aanpak?
Elke laag voegt meer LLM-oproepen toe, zodat MoA extra rekenkracht en tijd inruilt voor een betere antwoordkwaliteit.