Automatisk promptoptimalisering og DSPy

Håndinnstilte meldinger har en kjent svakhet. Ordlyd som fungerer for én modell, datasett eller versjon kan stille og rolig slutte å fungere på en annen, og endringer vurderes vanligvis på bare en håndfull eksempler. Automatisk promptoptimalisering erstatter den løkken med et søk. Du gir tre ting: - En oppgave. - Et sett med innganger, ideelt sett med forventede utganger. – En beregning, for eksempel eksakt samsvar eller en rubrikk scoret av en annen modell. Optimalisatoren genererer kandidatmeldinger, kjører dem, scorer dem og beholder vinnerne. Tidlige eksempler gjorde ideen konkret. APE (Automatic Prompt Engineer, Zhou et al., 2022) hadde en modell som foreslår mange instruksjoner fra input-output-eksempler, og beholdt deretter de høyest scorende. OPRO (Optimization by PROmpting, Yang et al., Google DeepMind, 2023) brukte en LLM som optimaliserer. Meta-prompten oppførte tidligere instruksjoner med poengsummen deres, og modellen foreslo nye. OPRO fant instruksjoner som "Ta pusten dypt og jobb med dette problemet trinn-for-trinn," som scoret bra for én bestemt modell på matematikk på grunnskolen. Optimalisert formulering kan være uintuitiv og spesifikk for en modell. DSPy går videre ved å endre hvordan programmer skrives. Den ble utviklet ved Stanford NLP av Omar Khattab og samarbeidspartnere og introdusert i 2023. Du erklærer hva hvert trinn gjør med en signatur, for eksempel "spørsmål, kontekst -> svar", og kombinerer moduler som Predict eller ChainOfThought. En optimizer (tidligere kalt en teleprompter), som BootstrapFewShot eller MIPROv2, "kompilerer" deretter programmet ved å velge demonstrasjoner og instruksjoner for hver modul for å maksimere metrikken din. Tre misoppfatninger er verdt å rette opp: - Disse verktøyene fjerner menneskelig dømmekraft. Det gjør de ikke, fordi metrikken og eksemplene definerer "bedre". - Optimaliserte meldinger er trygge å stole på. De kan overpasse et lite datasett. – Optimalisering er gratis. Det koster ekte API-kall, noen ganger mange.