Als nächstesNächster Leitfaden
Codeausführungs-Sandboxen für Agenten
Technisch
Technischer Leitfaden
Ein Agenten-Harness oder Gerüst ist der Code um ein Sprachmodell herum, der es in einen Agenten verwandelt: Es durchläuft die Schleife des Aufrufs des Modells, der Ausführung der angeforderten Tools, der Rückmeldung von Ergebnissen und der Entscheidung, wann gestoppt werden soll.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~3 min
Dies ist wichtig, da der Kabelbaum die Ergebnisse stark beeinflusst, sodass dasselbe Modell bei demselben Benchmark sehr unterschiedlich abschneiden kann, je nachdem, wie seine Tools, sein Kontext und seine Fehlerbehandlung konzipiert sind.
Ein Sprachmodell allein erzeugt Text. Ein Agent benötigt ein Programm, das das Modell wiederholt fragt, was es tun soll, die Aktion ausführt und dem Modell zeigt, was passiert ist. Dieses Programm ist das Geschirr. Seine Kernbestandteile sind die Schleife, Werkzeugdefinitionen, Werkzeugversand, Kontextverwaltung, Stoppregeln und Fehlerbehandlung. Die Schleife sendet die bisherige Konversation an das Modell. Wenn das Modell ein Tool anfordert, validiert der Harness die Argumente, führt das Tool aus und hängt das Ergebnis an. Wenn das Modell eine endgültige Antwort gibt, endet die Schleife. Stoppregeln fügen Grenzen hinzu: eine maximale Anzahl von Schritten, ein Token- oder Kostenbudget, eine Zeitüberschreitung oder eine Prüfung, z. B. das Bestehen von Tests. Werkzeugdesign hat große Auswirkungen. Das im Jahr 2024 veröffentlichte SWE-Agent-Projekt von Princeton-Forschern argumentierte, dass Agenten eine für Modelle konzipierte Agent-Computer-Schnittstelle mit prägnanten Dateibetrachtern, Suchbefehlen und sofortigem Feedback bei fehlerhaften Bearbeitungen benötigen, und zeigte, dass dadurch bessere Ergebnisse erzielt werden, als dem Modell eine einfache Shell zu geben. Auch die Ausgabeformatierung ist wichtig: Das Abschneiden großer Ausgaben, die klare Zusammenfassung von Fehlern und die Rückgabe strukturierter Ergebnisse tragen dazu bei, dass das Modell korrekt funktioniert. Das Kontextmanagement entscheidet darüber, was das Modell sieht, wenn der Verlauf wächst: aktuelle Schritte beibehalten, ältere zusammenfassen oder Notizen in Dateien speichern. Die Fehlerbehandlung entscheidet darüber, ob ein fehlgeschlagener Werkzeugaufruf den Lauf zum Absturz bringt oder als Information an das Modell zurückgegeben wird, auf die es reagieren kann. Aus diesem Grund benötigen Benchmark-Zahlen einen Kontext. Bei Codierungs-Benchmarks wie SWE-Bench variieren die gemeldeten Ergebnisse für ein Modell je nach Gerüst, Wiederholungsrichtlinien und Schrittlimits. Ein häufiges Missverständnis besteht darin, dass eine Bestenlistenzahl nur das Modell misst; Es misst das Modell plus Gurt plus Einstellungen. Bei Produkten wie Befehlszeilen-Codierungsagenten handelt es sich größtenteils um sorgfältig entwickelte Systeme rund um ein Modell.
Ein Coding-Agent-Harness stellt dem Modell Tools zur Verfügung, mit denen es Dateien anzeigen, bestimmte Zeilenbereiche bearbeiten und Tests ausführen kann. Anschließend werden Schleifen ausgeführt, bis die Tests erfolgreich sind oder eine Schrittgrenze erreicht ist.
Ein Forschungsassistent stoppt die Schleife nach 20 Werkzeugaufrufen und bittet das Modell um eine Zusammenfassung mit Quellen, um unkontrollierte Kosten zu vermeiden.
Ein Team ersetzt ein rohes Shell-Tool durch einen Dateieditor, der ein kurzes Zeilenfenster anzeigt und Syntaxfehler sofort meldet, und die Erfolgsquote seines Agenten bei internen Aufgaben verbessert sich, ohne das Modell zu ändern.
Ein Customer-Operations-Agent-System fängt jeden Aufruf eines Rückerstattungstools über einem festgelegten Betrag ab und wartet auf die menschliche Genehmigung, bevor er ihn ausführt.
Modellanbieter liefern zunehmend ihre eigenen Agentenprodukte und Softwareentwicklungskits aus, wodurch einige Nutzungsmuster wie Toolschemata, Berechtigungen und Kontextkomprimierung standardisiert werden. Protokolle zum Verbinden von Werkzeugen mit Modellen, wie etwa das Model Context Protocol, machen die Werkzeugintegration wiederverwendbar. Die Gestaltung des Kabelbaums dürfte weiterhin eine bedeutende Quelle für Leistungsunterschiede bleiben, und die Auswertungen tendieren dazu, neben dem Modell auch das Gerüst zu melden. Für Bauherren sind eine sorgfältige Werkzeugkonstruktion, klare Stoppregeln und eine gute Protokollierung weiterhin wichtig, unabhängig davon, welches Modell sich darunter befindet.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Ein Agenten-Harness oder Gerüst ist der Code um ein Sprachmodell herum, der es in einen Agenten verwandelt: Es durchläuft die Schleife des Aufrufs des Modells, der Ausführung der angeforderten Tools, der Rückmeldung von Ergebnissen und der Entscheidung, wann gestoppt werden soll. Dies ist wichtig, da der Kabelbaum die Ergebnisse stark beeinflusst, sodass dasselbe Modell bei demselben Benchmark sehr unterschiedlich abschneiden kann, je nachdem, wie seine Tools, sein Kontext und seine Fehlerbehandlung konzipiert sind.
Der Harness ist das umgebende Programm, das ein textgenerierendes Modell in einen Agenten verwandelt.
Stoppregeln beenden die Schleife basierend auf Grenzwerten wie Schrittanzahl, Budgets, Zeitüberschreitungen oder Erfolgskontrollen.
Der SWE-Agent argumentierte, dass für Modelle entwickelte Tools die Ergebnisse gegenüber einer einfachen Shell verbessern.
Ein Benchmark-Score misst das gesamte System, nicht nur das Modell.
Durch die Rückgabe umsetzbarer Fehler kann das Modell seinen Ansatz korrigieren, anstatt den Lauf zu beenden.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Codeausführungs-Sandboxen für Agenten
Technisch