Plan-en-oplossen-prompts
Plan-and-Solve (PS)-prompts vertellen een taalmodel om eerst een expliciet plan te bedenken en dit vervolgens stap voor stap uit te voeren, waarbij de fouten worden verholpen die de eenvoudige 'laten we stap voor stap nadenken'-prompts achterlaten.
Overzicht
It is a simple prompt tweak that meaningfully boosts multi-step reasoning without any extra training.
Diepe duik
Plan-and-Solve-prompts, geïntroduceerd in een ACL-paper uit 2023 door Lei Wang en collega's, was een reactie op een specifieke zwakte in de 'zero-shot'-gedachteketen: modellen slaan vaak stappen over, berekenen de vraag verkeerd of interpreteren deze verkeerd. PS vervangt de enkele instructie 'Laten we stap voor stap nadenken' door een tweedelige richtlijn: 'Laten we eerst het probleem begrijpen en een plan bedenken om het op te lossen. Laten we dan het plan uitvoeren en het probleem stap voor stap oplossen.' Een verbeterde variant, PS+, voegt herinneringen toe om relevante variabelen te extraheren, tussenresultaten te berekenen en op cijfers te letten. Op benchmarks als GSM8K en SVAMP heeft PS+ een groot deel van de kloof gedicht met een paar korte gedachtegangen, terwijl er geen uitgewerkte voorbeelden in de prompt nodig waren.
Technisch inzicht
Het mechanisme zit puur in de prompt: door te vragen om een plan voordat het wordt uitgevoerd, verschuift PS de autoregressieve generatie van het model, zodat het eerst subdoelen op hoog niveau produceert, die vervolgens de gedetailleerde redeneerfiches bepalen die volgen. Deze scheiding vermindert 'missing-step' en rekenfouten. PS+ stuurt de aandacht verder door variabelen en tussenliggende grootheden expliciet te benoemen, en fungeert daarbij als een zelfgegenereerd schavot in plaats van te vertrouwen op handgeschreven voorbeelden.
Strategische impact
Cost and budget
Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
Clearer decisions
Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
Quality control
Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
De toekomst van Plan-and-Solve-prompts
Plan-and-solve-denken is nu ingebed in agentframeworks en 'redeneringsmodellen' die planning en uitvoering van nature scheiden. Verwacht dat planningsprompts zullen samengaan met het gebruik van tools, zelfverificatie en boomzoekmethoden, en een intern standaardgedrag zullen worden in getrainde redeneringsmodellen in plaats van een handmatige prompt. De blijvende les is dat het ontbinden van een taak alvorens te handelen een goedkope, breed overdraagbare betrouwbaarheidswinst is.
Implementatie in de echte wereld
Het oplossen van meerstaps wiskundewoordproblemen op de lagere school (GSM8K), waarbij het model eerst de hoeveelheden opsomt en ze vervolgens in volgorde berekent.
Begeleiden van een codeerassistent bij het schetsen van functies en randgevallen voordat er implementatiecode wordt geschreven.
Het structureren van een klantondersteuningsagent om eerst het onderliggende doel van de gebruiker te identificeren en vervolgens de stappen voor oplossing te volgen.
Een complex data-analyseverzoek opsplitsen in 'plan de queries' gevolgd door 'uitvoeren en combineren van resultaten'-fasen.
Risico's en vangrails
Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
Infrastructuur- en onderhoudskosten worden vaak onderschat.
De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Implementatie routekaart
Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
Benchmark onder realistische belasting- en gegevensomstandigheden.
Instrumentbewaking op fouten, drift en gebruikersimpact.
Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plan-and-Solve Prompting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Van minst tot meest suggestief
Frequently asked questions
What is Plan-and-Solve Prompting?
Plan-and-Solve (PS)-prompts vertellen een taalmodel om eerst een expliciet plan te bedenken en dit vervolgens stap voor stap uit te voeren, waarbij de fouten worden verholpen die de eenvoudige 'laten we stap voor stap nadenken'-prompts achterlaten. Het is een eenvoudige snelle aanpassing die het redeneren in meerdere stappen op betekenisvolle wijze stimuleert zonder enige extra training.
Welke kernverandering brengt Plan-and-Solve-prompts teweeg in de standaard zero-shot-gedachteketen?
PS prompting splitst de instructie op in het bedenken van een plan en het vervolgens stap voor stap uitvoeren, in plaats van de enkele regel 'Laten we stap voor stap nadenken'.
Welke specifieke zwakke punten van de simpele gedachtegang moest Plan-and-Solve aanpakken?
De auteurs richtten zich op fouten in de ontbrekende stappen en reken-/rekenfouten die vaak tot nulschotten leiden.
Wat voegt de verbeterde PS+-variant toe aan de basis Plan-and-Solve-prompt?
PS+ voegt gedetailleerde herinneringen toe om relevante variabelen te extraheren, tussenresultaten te berekenen en op de cijfers te letten, waardoor het zelf gegenereerde schavot wordt aangescherpt.
Op welk type benchmark werd Plan-and-Solve prominent beoordeeld?
PS en PS+ zijn getest op benchmarks voor wiskundig redeneren, zoals GSM8K en SVAMP, naast andere datasets voor redeneren.
Waarom helpt het genereren van een plan vóór de gedetailleerde stappen een autoregressief model?
Omdat het genereren autoregressief is, worden de plantokens op hoog niveau context die de daaropvolgende stapsgewijze redenering begeleidt, waardoor het aantal overgeslagen stappen wordt verminderd.