Aggregation von Agentenmischungen
Mixture-of-Agents (MoA) ist eine Technik, bei der mehrere Sprachmodelle Antworten entwerfen und dann ein Aggregatormodell ihre besten Ideen zu einer verbesserten Antwort zusammenführt.
Übersicht
It lets a team of open models rival or beat a single top-tier model.
Tiefer Einblick
Mixture-of-Agents wurde in einem Artikel von Together AI aus dem Jahr 2024 vorgestellt und organisiert mehrere LLMs in Schichten. In der ersten Ebene beantworten mehrere „Proposer“-Modelle jeweils unabhängig voneinander die Aufforderung. Ihre Ausgaben werden dann verkettet und an die nächste Ebene übergeben, wo die Modelle erneut reagieren, nun abhängig von allen vorherigen Entwürfen. Nach einer oder mehreren dieser Runden fasst ein abschließendes „Aggregator“-Modell alles zu einer einzigen Antwort zusammen. Die Kernerkenntnis, die die Autoren als „Zusammenarbeit von LLMs“ bezeichnen, besteht darin, dass Modelle bessere Antworten liefern, wenn ihnen die Antworten von Gleichaltrigen gezeigt werden, selbst wenn diese unvollständig sind. Beim AlpacaEval 2.0-Benchmark übertraf ein vollständig aus Open-Source-Modellen erstelltes MoA Berichten zufolge die Punktzahl von GPT-4 Omni und zeigte damit, dass eine sorgfältige Aggregation verschiedener, billigerer Modelle ein Single-Frontier-System schlagen kann.
Technischer Einblick
MoA unterscheidet sich von einfachen Mehrheitsentscheidungen: Anstatt eine Antwort auszuwählen, liest der Aggregator alle Kandidatenantworten als Kontext und generiert eine neue Synthese, die Stärken kombiniert und Fehler filtert. Die Vielfalt unter den Antragstellern hilft, daher ist die Mischung verschiedener Modellfamilien wertvoll. Die Struktur ist geschichtet, wie ein tiefes Netzwerk, in dem die „Neuronen“ jeder Schicht ganze LLM-Aufrufe sind. Der Kompromiss besteht in Latenz und Kosten: Jede Schicht vervielfacht die Anzahl der Inferenzaufrufe, sodass MoA mehr Rechenleistung aufwendet, um die Qualität zu steigern.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
Zugang und Erreichbarkeit
Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
Klarere Entscheidungen
Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Die Zukunft der Mixture-of-Agents-Aggregation
Erwarten Sie, dass sich die Aggregation im MoA-Stil ausbreitet, da die Inferenz billiger wird und die Orchestrierungs-Frameworks ausgereifter werden. Zu den Forschungsrichtungen gehören das Erlernen, welchen Antragstellern man pro Abfrage vertrauen kann (Routing), die Verringerung der Latenzstrafe durch paralleles Ausführen von Antragstellern und das frühzeitige Aussortieren schwacher Antragsteller sowie die Kombination von MoA mit Tool-verwendenden Agenten, damit der Aggregator nicht nur Text, sondern auch Aktionen und abgerufene Beweise zusammenführt. Mit der zunehmenden Verbreitung offener Modelle wird ihre intelligente Zusammenstellung zu einem immer praktikableren Weg zu Spitzenqualität ohne ein einziges Riesenmodell.
Reale Umsetzung
Kombination von drei verschiedenen offenen Chat-Modellen als Antragsteller und anschließende Verwendung eines starken Aggregators, um eine ausgefeilte Kundensupport-Antwort zu erstellen.
Steigerung der Ergebnisse bei der Befolgung von Anweisungen bei Benchmarks im AlpacaEval-Stil unter ausschließlicher Verwendung von Open-Source-Modellen.
Zusammenführen verschiedener Codevorschläge aus mehreren Modellen in einer einzigen, robusteren Funktionsimplementierung.
Betrieb einer Open-Weights-Pipeline, die Grenzqualität für eine datenschutzrelevante Bereitstellung erreicht, bei der Daten die Server eines Unternehmens nicht verlassen dürfen.
Risiken und Leitplanken
Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Implementierungs-Roadmap
Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Mischung aus Tiefen
Häufig gestellte Fragen
What is Mixture-of-Agents Aggregation?
Mixture-of-Agents (MoA) ist eine Technik, bei der mehrere Sprachmodelle Antworten entwerfen und dann ein Aggregatormodell ihre besten Ideen zu einer verbesserten Antwort zusammenführt. Dadurch kann ein Team offener Modelle mit einem einzelnen Spitzenmodell konkurrieren oder es schlagen.
Welche Rolle spielt das Aggregatormodell in Mixture-of-Agents?
Der Aggregator liest alle Kandidatenantworten und generiert eine zusammengeführte Antwort mit höherer Qualität.
Auf welche Schlüsseleigenschaft von LLMs stützt sich das MoA-Papier?
Die Autoren stellen fest, dass Modelle ihre Antworten verbessern, wenn sie von den Entwürfen anderer Modelle abhängig gemacht werden, auch von unvollkommenen.
Wie unterscheidet sich das MoA von der einfachen Mehrheitsentscheidung?
Im Gegensatz zur Abstimmung wählt das MoA nicht nur eine vorhandene Antwort aus; Es erzeugt eine frische Reaktion, die die Kandidaten vereint.
Warum ist Vielfalt unter den Antragstellermodellen im MoA wertvoll?
Unterschiedliche Antragsteller decken einen größeren Bereich ab und geben dem Aggregator einen umfangreicheren Satz an Ideen zum Zusammenführen und Fehlern zum Filtern.
Was sind die wesentlichen praktischen Kosten des MoA-Ansatzes?
Jede Schicht fügt mehr LLM-Aufrufe hinzu, sodass MoA zusätzliche Rechenleistung und Zeit gegen eine verbesserte Antwortqualität eintauscht.