Technischer Leitfaden

Agent Gerüste und Gurte

Ein Agenten-Harness oder Gerüst ist der Code um ein Sprachmodell herum, der es in einen Agenten verwandelt: Es durchläuft die Schleife des Aufrufs des Modells, der Ausführung der angeforderten Tools, der Rückmeldung von Ergebnissen und der Entscheidung, wann gestoppt werden soll.

Hören Sie sich diesen Leitfaden anKI-erzählt · ~3 min

Auf dieser Seite3 Minuten gelesen
  1. Übersicht
  2. Tiefer Einblick
  3. Reale Umsetzung
  4. Die Zukunft von Agentengerüsten und -geschirren
  5. In die Tat umsetzen
  6. Entdecken Sie weiter
  7. Häufig gestellte Fragen

Übersicht

Dies ist wichtig, da der Kabelbaum die Ergebnisse stark beeinflusst, sodass dasselbe Modell bei demselben Benchmark sehr unterschiedlich abschneiden kann, je nachdem, wie seine Tools, sein Kontext und seine Fehlerbehandlung konzipiert sind.

Tiefer Einblick

Ein Sprachmodell allein erzeugt Text. Ein Agent benötigt ein Programm, das das Modell wiederholt fragt, was es tun soll, die Aktion ausführt und dem Modell zeigt, was passiert ist. Dieses Programm ist das Geschirr. Seine Kernbestandteile sind die Schleife, Werkzeugdefinitionen, Werkzeugversand, Kontextverwaltung, Stoppregeln und Fehlerbehandlung. Die Schleife sendet die bisherige Konversation an das Modell. Wenn das Modell ein Tool anfordert, validiert der Harness die Argumente, führt das Tool aus und hängt das Ergebnis an. Wenn das Modell eine endgültige Antwort gibt, endet die Schleife. Stoppregeln fügen Grenzen hinzu: eine maximale Anzahl von Schritten, ein Token- oder Kostenbudget, eine Zeitüberschreitung oder eine Prüfung, z. B. das Bestehen von Tests. Werkzeugdesign hat große Auswirkungen. Das im Jahr 2024 veröffentlichte SWE-Agent-Projekt von Princeton-Forschern argumentierte, dass Agenten eine für Modelle konzipierte Agent-Computer-Schnittstelle mit prägnanten Dateibetrachtern, Suchbefehlen und sofortigem Feedback bei fehlerhaften Bearbeitungen benötigen, und zeigte, dass dadurch bessere Ergebnisse erzielt werden, als dem Modell eine einfache Shell zu geben. Auch die Ausgabeformatierung ist wichtig: Das Abschneiden großer Ausgaben, die klare Zusammenfassung von Fehlern und die Rückgabe strukturierter Ergebnisse tragen dazu bei, dass das Modell korrekt funktioniert. Das Kontextmanagement entscheidet darüber, was das Modell sieht, wenn der Verlauf wächst: aktuelle Schritte beibehalten, ältere zusammenfassen oder Notizen in Dateien speichern. Die Fehlerbehandlung entscheidet darüber, ob ein fehlgeschlagener Werkzeugaufruf den Lauf zum Absturz bringt oder als Information an das Modell zurückgegeben wird, auf die es reagieren kann. Aus diesem Grund benötigen Benchmark-Zahlen einen Kontext. Bei Codierungs-Benchmarks wie SWE-Bench variieren die gemeldeten Ergebnisse für ein Modell je nach Gerüst, Wiederholungsrichtlinien und Schrittlimits. Ein häufiges Missverständnis besteht darin, dass eine Bestenlistenzahl nur das Modell misst; Es misst das Modell plus Gurt plus Einstellungen. Bei Produkten wie Befehlszeilen-Codierungsagenten handelt es sich größtenteils um sorgfältig entwickelte Systeme rund um ein Modell.

Reale Umsetzung

Ein Coding-Agent-Harness stellt dem Modell Tools zur Verfügung, mit denen es Dateien anzeigen, bestimmte Zeilenbereiche bearbeiten und Tests ausführen kann. Anschließend werden Schleifen ausgeführt, bis die Tests erfolgreich sind oder eine Schrittgrenze erreicht ist.

Ein Forschungsassistent stoppt die Schleife nach 20 Werkzeugaufrufen und bittet das Modell um eine Zusammenfassung mit Quellen, um unkontrollierte Kosten zu vermeiden.

Ein Team ersetzt ein rohes Shell-Tool durch einen Dateieditor, der ein kurzes Zeilenfenster anzeigt und Syntaxfehler sofort meldet, und die Erfolgsquote seines Agenten bei internen Aufgaben verbessert sich, ohne das Modell zu ändern.

Ein Customer-Operations-Agent-System fängt jeden Aufruf eines Rückerstattungstools über einem festgelegten Betrag ab und wartet auf die menschliche Genehmigung, bevor er ihn ausführt.

Die Zukunft von Agentengerüsten und -geschirren

Modellanbieter liefern zunehmend ihre eigenen Agentenprodukte und Softwareentwicklungskits aus, wodurch einige Nutzungsmuster wie Toolschemata, Berechtigungen und Kontextkomprimierung standardisiert werden. Protokolle zum Verbinden von Werkzeugen mit Modellen, wie etwa das Model Context Protocol, machen die Werkzeugintegration wiederverwendbar. Die Gestaltung des Kabelbaums dürfte weiterhin eine bedeutende Quelle für Leistungsunterschiede bleiben, und die Auswertungen tendieren dazu, neben dem Modell auch das Gerüst zu melden. Für Bauherren sind eine sorgfältige Werkzeugkonstruktion, klare Stoppregeln und eine gute Protokollierung weiterhin wichtig, unabhängig davon, welches Modell sich darunter befindet.

In die Tat umsetzen

Warum es wichtig ist

  • Kosten und Budget. Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
  • Klarere Entscheidungen. Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
  • Qualitätskontrolle. Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.

Achten Sie auf

  • Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
  • Infrastruktur- und Wartungskosten werden oft unterschätzt.
  • Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.

Nächste Schritte

  1. Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
  2. Benchmark unter realistischen Last- und Datenbedingungen.
  3. Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
  4. Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.

Entdecken Sie weiter

Kostenloser Newsletter

Erhalten Sie die tägliche KI-Briefing

Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.

Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.

Testen Sie sich selbst

Take the Agent Scaffolding and Harnesses quiz

Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.

Quiz starten

Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende

Häufig gestellte Fragen

Was sind Agentengerüste und -geschirre?

Ein Agenten-Harness oder Gerüst ist der Code um ein Sprachmodell herum, der es in einen Agenten verwandelt: Es durchläuft die Schleife des Aufrufs des Modells, der Ausführung der angeforderten Tools, der Rückmeldung von Ergebnissen und der Entscheidung, wann gestoppt werden soll. Dies ist wichtig, da der Kabelbaum die Ergebnisse stark beeinflusst, sodass dasselbe Modell bei demselben Benchmark sehr unterschiedlich abschneiden kann, je nachdem, wie seine Tools, sein Kontext und seine Fehlerbehandlung konzipiert sind.

Was ist ein Agentengeschirr?

Der Harness ist das umgebende Programm, das ein textgenerierendes Modell in einen Agenten verwandelt.

Welches ist ein Beispiel für eine Stoppregel?

Stoppregeln beenden die Schleife basierend auf Grenzwerten wie Schrittanzahl, Budgets, Zeitüberschreitungen oder Erfolgskontrollen.

Welchen Schwerpunkt legte das SWE-Agent-Projekt?

Der SWE-Agent argumentierte, dass für Modelle entwickelte Tools die Ergebnisse gegenüber einer einfachen Shell verbessern.

Warum kann dasselbe Modell in verschiedenen Berichten auf der SWE-Benchmark unterschiedlich abschneiden?

Ein Benchmark-Score misst das gesamte System, nicht nur das Modell.

Wie sollte ein Kabelbaum normalerweise mit einem fehlgeschlagenen Werkzeugaufruf umgehen?

Durch die Rückgabe umsetzbarer Fehler kann das Modell seinen Ansatz korrigieren, anstatt den Lauf zu beenden.