VolgendeVolgende gids
Code-uitvoeringssandboxen voor agenten
Technisch
Technische GIDS
Een agentharnas, of scaffold, is de code rond een taalmodel die er een agent van maakt: het voert de lus uit van het aanroepen van het model, het uitvoeren van de gevraagde tools, het terugkoppelen van de resultaten en het beslissen wanneer er moet worden gestopt.
Luister naar deze gidsAI-verteld · ~3 min
Het is belangrijk omdat het harnas de resultaten sterk bepaalt, zodat hetzelfde model heel verschillend kan scoren op dezelfde benchmark, afhankelijk van hoe de tools, context en foutafhandeling zijn ontworpen.
Een taalmodel op zichzelf produceert tekst. Een agent heeft een programma nodig dat het model herhaaldelijk vraagt wat het moet doen, de actie uitvoert en het model laat zien wat er is gebeurd. Dat programma is het harnas. De kernonderdelen zijn de lus, tooldefinities, toolverzending, contextbeheer, stopregels en foutafhandeling. De lus stuurt het gesprek tot nu toe naar het model. Als het model om een tool vraagt, valideert het harnas de argumenten, voert de tool uit en voegt het resultaat toe. Als het model een definitief antwoord geeft, eindigt de lus. Stopregels voegen limieten toe: een maximaal aantal stappen, een token- of kostenbudget, een time-out of een controle zoals het slagen van tests. Gereedschapsontwerp heeft grote gevolgen. Het SWE-agentproject van Princeton-onderzoekers, gepubliceerd in 2024, betoogde dat agenten een agent-computerinterface nodig hebben die is ontworpen voor modellen, met beknopte bestandsviewers, zoekopdrachten en onmiddellijke feedback over slechte bewerkingen, en toonde aan dat dit verbeterde resultaten oplevert ten opzichte van het model een eenvoudige shell geven. De opmaak van de uitvoer is ook van belang: het afkappen van enorme uitvoer, het duidelijk samenvatten van fouten en het retourneren van gestructureerde resultaten zorgen ervoor dat het model correct werkt. Contextbeheer bepaalt wat het model ziet naarmate de geschiedenis groeit: recente stappen behouden, oudere stappen samenvatten of notities opslaan in bestanden. Foutafhandeling bepaalt of een mislukte toolaanroep de run laat crashen of wordt teruggestuurd naar het model als informatie waarop het kan reageren. Daarom hebben benchmarkcijfers context nodig. Op codeerbenchmarks zoals SWE-bench variëren de gerapporteerde scores voor één model per steiger, beleid voor nieuwe pogingen en staplimieten. Een veel voorkomende misvatting is dat een scorebordnummer alleen het model meet; het meet het model plus harnas plus instellingen. Producten zoals codeermiddelen voor de opdrachtregel zijn voor een groot deel zorgvuldig ontworpen harnassen rond een model.
Een codeermiddelharnas geeft het model tools om bestanden te bekijken, specifieke lijnbereiken te bewerken en tests uit te voeren, en vervolgens te herhalen totdat de tests slagen of een staplimiet wordt bereikt.
Een harnas van een onderzoeksassistent stopt de lus na twintig tooloproepen en vraagt het model om een samenvatting met bronnen, waardoor op hol geslagen kosten worden voorkomen.
Een team vervangt een ruwe shell-tool door een bestandseditor die een kort venster met regels toont en syntaxisfouten onmiddellijk rapporteert, en het slagingspercentage van hun agent bij interne taken verbetert zonder het model te veranderen.
Een Customer Operations-agent onderschept elke oproep voor een terugbetalingstool boven een bepaald bedrag en pauzeert voor menselijke goedkeuring voordat deze wordt uitgevoerd.
Modelaanbieders leveren steeds vaker hun eigen agentproducten en softwareontwikkelingskits, die bepaalde harnaspatronen standaardiseren, zoals toolschema's, machtigingen en contextverdichting. Protocollen voor het verbinden van tools met modellen, zoals het Model Context Protocol, maken toolintegratie beter herbruikbaar. Het ontwerp van het harnas zal waarschijnlijk een betekenisvolle bron van prestatieverschillen blijven, en evaluaties gaan in de richting van het rapporteren van het schavot naast het model. Voor bouwers zullen een zorgvuldig gereedschapsontwerp, duidelijke stopregels en goede logboekregistratie van belang blijven, ongeacht welk model eronder zit.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Een agentharnas, of scaffold, is de code rond een taalmodel die er een agent van maakt: het voert de lus uit van het aanroepen van het model, het uitvoeren van de gevraagde tools, het terugkoppelen van de resultaten en het beslissen wanneer er moet worden gestopt. Het is belangrijk omdat het harnas de resultaten sterk bepaalt, zodat hetzelfde model heel verschillend kan scoren op dezelfde benchmark, afhankelijk van hoe de tools, context en foutafhandeling zijn ontworpen.
Het harnas is het omringende programma dat een tekstgenererend model in een agent verandert.
Door regels te stoppen, wordt de lus beëindigd op basis van limieten zoals het aantal stappen, budgetten, time-outs of succescontroles.
SWE-agent voerde aan dat tools die voor modellen zijn ontworpen de resultaten verbeteren over een gewone schaal.
Een benchmarkscore meet het hele systeem, niet alleen het model.
Door bruikbare fouten te retourneren, kan het model zijn aanpak corrigeren in plaats van de run te beëindigen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Code-uitvoeringssandboxen voor agenten
Technisch