Kontextteknik

Snabb ingenjörskonst fokuserar på att formulera en enda begäran. Kontextteknik tar en bredare syn. Modellen får en sekvens av polletter, och allt i den tävlar om utrymmet och om modellens uppmärksamhet. Den sekvensen inkluderar vanligtvis en systemprompt, verktygsdefinitioner, hämtade passager, tidigare svängar, verktygsutgångar och ibland långtidsminne. Termen blev vanlig 2025, när teambyggande agenter upptäckte att många misslyckanden kom från att modellen hade fel information, för mycket av den eller motstridig information, snarare än från dålig frasering. Flera principer följer. För det första slår relevans volymen. Vissa modeller accepterar hundratusentals tokens, men de använder inte varje token lika bra. 'Lost in the middle'-studien (Liu et al., 2023) fann att modeller ofta använder information i början och slutet av en lång input bättre än information begravd i mitten. För det andra är sammanhang en budget. Varje token kostar pengar och lägger till latens, och irrelevant material kan distrahera modellen. För det tredje, struktur hjälper. Tydliga avsnitt, märkta dokument och konsekventa format gör det lättare för modellen att hitta det som är viktigt. Vanliga tekniker inkluderar: - hämtningsförstärkt generation, som bara hämtar de relevanta passagerna - just-in-time-laddning, där en agent har lätta referenser som filnamn eller ID:n och använder verktyg för att hämta fullständigt innehåll när det behövs - strukturerad anteckningsskrivning som håller tillstånd utanför fönstret - komprimering av långa historiker - subagenter som utforskar i sitt eget sammanhang och återvändande koncentrerar sig bara för att hitta nya kontexter. uppmaning. Formulering är en del av det, men det mesta av arbetet är systemdesign: att bestämma vad som ska hämtas, sammanfattas eller släppas, och i vilken ordning det visas. En annan missuppfattning är att ett större fönster tar bort behovet av detta. Ett större fönster sänker trycket, men kostnads- och uppmärksamhetsgränser kvarstår.