Výzva naplánuj a vyřeš
Výzva Plan-and-Solve (PS) říká jazykovému modelu, aby nejprve navrhl explicitní plán a pak ho krok za krokem provedl, čímž napraví chyby, které za sebou zanechá obyčejná výzva „přemýšlejme krok za krokem“.
Přehled
It is a simple prompt tweak that meaningfully boosts multi-step reasoning without any extra training.
Hluboký ponor
Nabádání Plan-and-Solve, představené v dokumentu ACL z roku 2023 od Lei Wanga a kolegů, bylo reakcí na konkrétní slabinu v řetězu myšlenek s nulovým záběrem: modely často přeskakují kroky, špatně počítají nebo špatně čtou otázku. PS nahrazuje jedinou instrukci „Přemýšlejme krok za krokem“ dvoudílnou direktivou: „Nejprve pochopme problém a navrhneme plán jeho řešení. Pak pojďme provést plán a vyřešit problém krok za krokem.“ Vylepšená varianta, PS+, přidává připomenutí pro extrahování relevantních proměnných, výpočet mezivýsledků a věnování pozornosti číslům. V benchmarcích, jako jsou GSM8K a SVAMP, PS+ zaplnilo velkou část mezery několika myšlenkovými řetězci, přičemž ve výzvě nepotřebovalo žádné funkční příklady.
Technický přehled
Mechanismus je čistě ve výzvě: tím, že PS požádá o plán před provedením, posune autoregresivní generování modelu tak, že nejprve vytvoří dílčí cíle na vysoké úrovni, které pak podmiňují tokeny podrobného uvažování, které následují. Toto oddělení snižuje „chybějící kroky“ a chyby ve výpočtech. PS+ dále nasměruje pozornost explicitním pojmenováním proměnných a mezilehlých veličin a funguje jako samovytvářené lešení, spíše než se spoléhat na ručně psané příklady.
Strategický dopad
Cena a rozpočet
Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
Jasnější rozhodnutí
Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
Kontrola kvality
Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.
Budoucnost nabádání plánuj a řeš
Myšlení typu „plánuj a řeš“ je nyní zapečeno do rámců agentů a modelů „uvažování“, které nativně oddělují plánování od provádění. Očekávejte, že se výzvy k plánování sloučí s metodami používání nástrojů, sebeověřováním a hledáním ve stromech a stanou se interním výchozím chováním v modelech trénovaných k rozumu spíše než ruční výzvou. Trvalou lekcí je, že rozložit úkol před jednáním je levný, široce přenosný zisk spolehlivosti.
Real-World Implementace
Řešení vícestupňových školních matematických slovních úloh (GSM8K), kde model nejprve uvádí množství a poté je počítá v pořadí.
Vedení asistenta kódování k nastínění funkcí a okrajových případů před napsáním jakéhokoli implementačního kódu.
Strukturování agenta zákaznické podpory, aby nejprve identifikoval základní cíl uživatele a poté seřadil kroky řešení.
Rozdělení složitého požadavku na analýzu dat na „plánování dotazů“ následované fázemi „spouštění a kombinování výsledků“.
Rizika a zábradlí
Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
Náklady na infrastrukturu a údržbu jsou často podceňovány.
Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.
Plán implementace
Před implementací definujte cíle latence, kvality a nákladů.
Benchmark za realistických podmínek zatížení a dat.
Monitorování chyb, posunu a dopadu na uživatele.
Před škálováním připravte cesty vrácení zpět a reakce na incidenty.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plan-and-Solve Prompting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Nejméně náročné
Často kladené otázky
What is Plan-and-Solve Prompting?
Výzva Plan-and-Solve (PS) říká jazykovému modelu, aby nejprve navrhl explicitní plán a pak ho krok za krokem provedl, čímž napraví chyby, které za sebou zanechá obyčejná výzva „přemýšlejme krok za krokem“. Jde o jednoduché rychlé vyladění, které smysluplně podporuje uvažování ve více krocích bez dalšího tréninku.
Jakou zásadní změnu přináší pobídka Plan-and-Solve do standardního nulového myšlenkového řetězce?
Výzva PS rozděluje instrukce na vymýšlení plánu a jeho provedení krok za krokem, namísto jediného řádku „Pojďme myslet krok za krokem“.
Kterým konkrétním slabým stránkám prostého myšlenkového řetězce byl plán Plan-and-Solve navržen tak, aby se vypořádal?
Autoři se zaměřili na chyby v chybějících krocích a na aritmetické/výpočtové chyby, které často produkovaly nulové myšlenkové řetězce.
Co vylepšená varianta PS+ přidává k základní výzvě Plan-and-Solve?
PS+ přidává podrobné připomenutí pro extrakci relevantních proměnných, výpočet mezivýsledků a věnujte pozornost číslům, čímž se zostřuje vlastní vytvořené lešení.
Na jakém typu benchmarku byl plán Plan-and-Solve prominentně hodnocen?
PS a PS+ byly testovány na benchmarcích matematického uvažování, jako jsou GSM8K a SVAMP, mimo jiné uvažovací datové sady.
Proč generování plánu před podrobnými kroky pomáhá autoregresivnímu modelu?
Protože generování je autoregresivní, tokeny plánu na vysoké úrovni se stávají kontextem, který vede následné uvažování krok za krokem a snižuje počet vynechaných kroků.