Oversikt
Mixture-of-Agents (MoA) er en teknikk der flere språkmodeller lager utkast til svar og deretter en aggregatormodell smelter sammen sine beste ideer til en forbedret respons. Den lar et team med åpne modeller konkurrere med eller slå en enkelt toppmodell.
Mixture-of-Agents Aggregation er en del av språk-AI-stakken som brukes til å lese, generere, klassifisere og transformere tekst og tale i skala.
Dypdykk
Introdusert i et papir fra Together AI fra 2024, organiserer Mixture-of-Agents flere LLM-er i lag. I det første laget svarer flere «forslagsstiller»-modeller uavhengig av hverandre på spørsmålet. Utgangene deres blir deretter sammenkoblet og overlevert til neste lag, hvor modellene igjen svarer, nå betinget av alle de tidligere utkastene. Etter en eller flere slike runder, syntetiserer en endelig 'aggregator'-modell alt til ett enkelt svar. Kjerneinnsikten, som forfatterne kaller "samarbeidsevnen til LLM-er", er at modeller gir bedre svar når de vises svar fra kolleger, til og med ufullkomne. På AlpacaEval 2.0-benchmark overgikk et MoA bygget utelukkende fra åpen kildekode-modeller GPT-4 Omnis poengsum, noe som demonstrerer at nøye sammenslåing av forskjellige, billigere modeller kan slå et enkelt grensesystem.
Teknisk innsikt
MoA skiller seg fra stemmegivning med simpelt flertall: i stedet for å velge ett svar, leser aggregatoren alle kandidatsvarene som kontekst og genererer en ny syntese, blander styrker og filtreringsfeil. Mangfold blant forslagsstillere hjelper, så det er verdifullt å blande ulike modellfamilier. Strukturen er lagdelt, som et dypt nettverk der hvert lags 'nevroner' er hele LLM-anrop. Avveiningen er ventetid og kostnad: hvert lag multipliserer antall slutningsanrop, slik at MoA bruker mer beregning for å løfte kvalitet.
Mestring av blanding av agenter
Mixture-of-Agents (MoA) er en teknikk der flere språkmodeller lager utkast til svar og deretter en aggregatormodell smelter sammen sine beste ideer til en forbedret respons. Den lar et team med åpne modeller konkurrere med eller slå en enkelt toppmodell. Mixture-of-Agents Aggregation er en del av språk-AI-stakken som brukes til å lese, generere, klassifisere og transformere tekst og tale i skala. For å bygge dyp forståelse, behandle Mixture-of-Agents Aggregation som en driftsmodell, ikke en enkelt funksjon: definer ønskede resultater, klargjør forutsetninger, og separer hva systemet kan gjøre pålitelig fra det som fortsatt krever ekspertvurdering.
I praksis vil sterke team som bruker Mixture-of-Agents Aggregation-design, spørre, hente og vurdere looper som ett integrert kommunikasjonssystem. De dokumenterer eksplisitte suksesskriterier, tester mot realistiske data og arbeidsflyter, og itererer basert på observerte feilmønstre i stedet for engangsresultater. Det er her teoretisk forståelse blir til varig kapasitet på tvers av produkt, policy og drift.
Språkarbeidsflyter kan bevege seg raskere uten å ofre konsistens. Samtidig kan hallusinerte fakta stille inn rapporter, støttestrømmer eller forskningsresultater. Den mest robuste tilnærmingen er å kombinere eksperimenteringshastighet med styringsdisiplin: kjøre piloter, fange bevis, publisere beslutningslogger og kontinuerlig oppdatere sikkerhetstiltak ettersom modellens atferd, brukerforventninger og regulatoriske krav utvikler seg.
Strategisk innvirkning
Språkarbeidsflyter kan bevege seg raskere uten å ofre konsistens.
Språkarbeidsflyter kan bevege seg raskere uten å ofre konsistens. I høykvalitetsimplementeringer blir dette oversatt til målbare driftsregler, eierskapsgrenser og tilbakevendende gjennomgangsritualer, slik at team kan skalere tillit i stedet for å skalere tvetydighet.
Det utvider tilgangen på tvers av språk og kommunikasjonsstiler.
Det utvider tilgangen på tvers av språk og kommunikasjonsstiler. I høykvalitetsimplementeringer blir dette oversatt til målbare driftsregler, eierskapsgrenser og tilbakevendende gjennomgangsritualer, slik at team kan skalere tillit i stedet for å skalere tvetydighet.
Lag kan bruke mer tid på dømmekraft mens automatisering håndterer repetisjon.
Lag kan bruke mer tid på dømmekraft mens automatisering håndterer repetisjon. I høykvalitetsimplementeringer blir dette oversatt til målbare driftsregler, eierskapsgrenser og tilbakevendende gjennomgangsritualer, slik at team kan skalere tillit i stedet for å skalere tvetydighet.
Real-World Implementering
Kombinere tre forskjellige åpne chat-modeller som forslagsstillere, og deretter bruke en sterk aggregator for å produsere ett polert kundestøttesvar.
Øke poengsummene for instruksjonsfølging på benchmarks i AlpacaEval-stil ved å bruke bare åpen kildekode-modeller.
Sammenslåing av forskjellige kodeforslag fra flere modeller til en enkelt, mer robust funksjonsimplementering.
Kjører en pipeline med åpen vekt som nærmer seg grensekvalitet for en personvernsensitiv distribusjon der data ikke kan forlate bedriftens servere.
Implementeringsmønstre
Mixture-of-Agents Aggregasjon i praksis
Kombinere tre forskjellige åpne chat-modeller som forslagsstillere, og deretter bruke en sterk aggregator for å produsere ett polert kundestøttesvar.
Ved å kombinere tre forskjellige åpne chat-modeller som forslagsstillere, og deretter bruke en sterk aggregator for å produsere ett polert kundestøttesvar, får teamene vanligvis bedre resultater når de definerer kvalitetsterskler på forhånd, holder en menneskelig eskaleringsbane for kantsaker og sporer både produktivitetsgevinster og feilkostnader over tid.
Mixture-of-Agents Aggregasjon i praksis
Øke poengsummene for instruksjonsfølging på benchmarks i AlpacaEval-stil ved å bruke bare åpen kildekode-modeller.
Øke instruksjonsfølgende skårer på benchmarks i AlpacaEval-stil ved å bruke bare åpen kildekode-modeller Team får vanligvis bedre resultater når de definerer kvalitetsterskler på forhånd, holder en menneskelig eskaleringsbane for kantsaker og sporer både produktivitetsgevinster og feilkostnader over tid.
Mixture-of-Agents Aggregasjon i praksis
Sammenslåing av forskjellige kodeforslag fra flere modeller til en enkelt, mer robust funksjonsimplementering.
Sammenslåing av ulike kodeforslag fra flere modeller til én enkelt, mer robust funksjonsimplementering Teams får vanligvis bedre resultater når de definerer kvalitetsterskler på forhånd, holder en menneskelig eskaleringsbane for kantsaker og sporer både produktivitetsgevinster og feilkostnader over tid.
Mixture-of-Agents Aggregasjon i praksis
Kjører en pipeline med åpen vekt som nærmer seg grensekvalitet for en personvernsensitiv distribusjon der data ikke kan forlate bedriftens servere.
Kjøre en pipeline med åpen vekt som nærmer seg grensekvalitet for en personvernsensitiv distribusjon der data ikke kan forlate en bedrifts servere Team får vanligvis bedre resultater når de definerer kvalitetsterskler på forhånd, holder en menneskelig eskaleringsbane for edge-saker og sporer både produktivitetsgevinster og feilkostnader over tid.
Risikoer og rekkverk
Hallusinerte fakta kan stille inn rapporter, støttestrømmer eller forskningsresultater.
Umiddelbar følsomhet kan skape inkonsistente resultater på tvers av lignende forespørsler.
Sensitive tekstdata kan bli eksponert hvis tilgangskontrollene er svake.
Veikart for implementering
Definer utdataformat, tone og kvalitetsstandarder før utrulling.
Definer utdataformat, tone og kvalitetsstandarder før utrulling. Behandle hvert trinn som en bevisport: Hvis kriteriene ikke oppfylles, sett utrullingen på pause, lukk gapet og utvid bruken først.
Bakgrunnssvar med pålitelige kilder når nøyaktighet er viktig.
Bakgrunnssvar med pålitelige kilder når nøyaktighet er viktig. Behandle hvert trinn som en bevisport: Hvis kriteriene ikke oppfylles, sett utrullingen på pause, lukk gapet og utvid bruken først.
Hold et sjekkpunkt for menneskelig vurdering for utganger med høy innsats.
Hold et sjekkpunkt for menneskelig vurdering for utganger med høy innsats. Behandle hvert trinn som en bevisport: Hvis kriteriene ikke oppfylles, sett utrullingen på pause, lukk gapet og utvid bruken først.
Spor feilmønstre og tren opp meldinger eller arbeidsflyter regelmessig.
Spor feilmønstre og tren opp meldinger eller arbeidsflyter regelmessig. Behandle hvert trinn som en bevisport: Hvis kriteriene ikke oppfylles, sett utrullingen på pause, lukk gapet og utvid bruken først.