Als nächstesNächster Leitfaden
Mischung aus Tiefen
Sprach-KI
Sprach-KI-GUIDE
Aggregation von Agentenmischungen
Mixture-of-Agents (MoA) ist eine Technik, bei der mehrere Sprachmodelle Antworten entwerfen und dann ein Aggregatormodell ihre besten Ideen zu einer verbesserten Antwort zusammenführt.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
It lets a team of open models rival or beat a single top-tier model.
Tiefer Einblick
Mixture-of-Agents wurde in einem Artikel von Together AI aus dem Jahr 2024 vorgestellt und organisiert mehrere LLMs in Schichten. In der ersten Ebene beantworten mehrere „Proposer“-Modelle jeweils unabhängig voneinander die Aufforderung. Ihre Ausgaben werden dann verkettet und an die nächste Ebene übergeben, wo die Modelle erneut reagieren, nun abhängig von allen vorherigen Entwürfen. Nach einer oder mehreren dieser Runden fasst ein abschließendes „Aggregator“-Modell alles zu einer einzigen Antwort zusammen. Die Kernerkenntnis, die die Autoren als „Zusammenarbeit von LLMs“ bezeichnen, besteht darin, dass Modelle bessere Antworten liefern, wenn ihnen die Antworten von Gleichaltrigen gezeigt werden, selbst wenn diese unvollständig sind. Beim AlpacaEval 2.0-Benchmark übertraf ein vollständig aus Open-Source-Modellen erstelltes MoA Berichten zufolge die Punktzahl von GPT-4 Omni und zeigte damit, dass eine sorgfältige Aggregation verschiedener, billigerer Modelle ein Single-Frontier-System schlagen kann.
Reale Umsetzung
Kombination von drei verschiedenen offenen Chat-Modellen als Antragsteller und anschließende Verwendung eines starken Aggregators, um eine ausgefeilte Kundensupport-Antwort zu erstellen.
Steigerung der Ergebnisse bei der Befolgung von Anweisungen bei Benchmarks im AlpacaEval-Stil unter ausschließlicher Verwendung von Open-Source-Modellen.
Zusammenführen verschiedener Codevorschläge aus mehreren Modellen in einer einzigen, robusteren Funktionsimplementierung.
Betrieb einer Open-Weights-Pipeline, die Grenzqualität für eine datenschutzrelevante Bereitstellung erreicht, bei der Daten die Server eines Unternehmens nicht verlassen dürfen.
Die Zukunft der Mixture-of-Agents-Aggregation
Erwarten Sie, dass sich die Aggregation im MoA-Stil ausbreitet, da die Inferenz billiger wird und die Orchestrierungs-Frameworks ausgereifter werden. Zu den Forschungsrichtungen gehören das Erlernen, welchen Antragstellern man pro Abfrage vertrauen kann (Routing), die Verringerung der Latenzstrafe durch paralleles Ausführen von Antragstellern und das frühzeitige Aussortieren schwacher Antragsteller sowie die Kombination von MoA mit Tool-verwendenden Agenten, damit der Aggregator nicht nur Text, sondern auch Aktionen und abgerufene Beweise zusammenführt. Mit der zunehmenden Verbreitung offener Modelle wird ihre intelligente Zusammenstellung zu einem immer praktikableren Weg zu Spitzenqualität ohne ein einziges Riesenmodell.
In die Tat umsetzen
Warum es wichtig ist
- Geschwindigkeit und Umfang. Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
- Zugang und Erreichbarkeit. Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
- Klarere Entscheidungen. Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Achten Sie auf
- Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
- Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
- Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Nächste Schritte
- Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
- Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
- Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
- Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the Mixture-of-Agents Aggregation quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
What is Mixture-of-Agents Aggregation?
Mixture-of-Agents (MoA) ist eine Technik, bei der mehrere Sprachmodelle Antworten entwerfen und dann ein Aggregatormodell ihre besten Ideen zu einer verbesserten Antwort zusammenführt. Dadurch kann ein Team offener Modelle mit einem einzelnen Spitzenmodell konkurrieren oder es schlagen.
Welche Rolle spielt das Aggregatormodell in Mixture-of-Agents?
Der Aggregator liest alle Kandidatenantworten und generiert eine zusammengeführte Antwort mit höherer Qualität.
Auf welche Schlüsseleigenschaft von LLMs stützt sich das MoA-Papier?
Die Autoren stellen fest, dass Modelle ihre Antworten verbessern, wenn sie von den Entwürfen anderer Modelle abhängig gemacht werden, auch von unvollkommenen.
Wie unterscheidet sich das MoA von der einfachen Mehrheitsentscheidung?
Im Gegensatz zur Abstimmung wählt das MoA nicht nur eine vorhandene Antwort aus; Es erzeugt eine frische Reaktion, die die Kandidaten vereint.
Warum ist Vielfalt unter den Antragstellermodellen im MoA wertvoll?
Unterschiedliche Antragsteller decken einen größeren Bereich ab und geben dem Aggregator einen umfangreicheren Satz an Ideen zum Zusammenführen und Fehlern zum Filtern.
Was sind die wesentlichen praktischen Kosten des MoA-Ansatzes?
Jede Schicht fügt mehr LLM-Aufrufe hinzu, sodass MoA zusätzliche Rechenleistung und Zeit gegen eine verbesserte Antwortqualität eintauscht.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt