Nyelvi AI ÚTMUTATÓ

Kontextusmérnökség

A kontextustervezés az a gyakorlat, hogy eldöntjük, mit lát a nyelvi modell az egyes lépésekben (utasítások, letöltött dokumentumok, eszközdefiníciók és eredmények, beszélgetéstörténet és memória), és beillesztjük egy korlátozott kontextusablakba.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A kontextustervezés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez tovább megy, mint a gyors megfogalmazás. Ez azért fontos, mert a kimenet minősége nagymértékben függ attól, hogy mi van az ablakban, és az ügynököknél és a hosszú feladatoknál ez a kontextus minden hívásnál kóddal kerül összeállításra, nem pedig egy személy által egyszer begépelt.

Mély merülés

Az azonnali tervezés egyetlen kérés megfogalmazására összpontosít. A kontextustervezés tágabb látókört kínál. A modell egy sorozat jelzőt kap, és minden benne versenyez a helyért és a modell figyelméért. Ez a szekvencia általában tartalmaz egy rendszerpromptot, szerszámdefiníciókat, visszakeresett szakaszokat, korábbi fordulatokat, szerszámkimeneteket és néha hosszú távú memóriát. A kifejezés 2025-ben vált általánossá, amikor az ügynököket építő csapatok úgy találták, hogy sok meghibásodás inkább abból ered, hogy a modell rossz, túl sok vagy ellentmondó információt tartalmazott, nem pedig a rossz megfogalmazásból. Számos alapelv következik. Először is, a relevancia meghaladja a hangerőt. Egyes modellek több százezer tokent fogadnak el, de nem használnak minden tokent egyformán jól. Az „elveszett a közepén” tanulmány (Liu et al., 2023) azt találta, hogy a modellek gyakran jobban használják fel a hosszú bemenet elején és végén található információkat, mint a közepébe temetett információkat. Másodszor, a kontextus a költségvetés. Minden token pénzbe kerül, és növeli a késleltetést, és az irreleváns anyagok elvonhatják a modell figyelmét. Harmadszor, a szerkezet segít. Az áttekinthető szakaszok, a címkézett dokumentumok és a konzisztens formátumok megkönnyítik a modell számára a fontos dolgok megtalálását. A gyakori technikák közé tartoznak a következők: - lekéréssel kiegészített generálás, amely csak a releváns részeket kéri le - éppen időben történő betöltés, ahol az ügynök könnyű hivatkozásokat tartalmaz, például fájlneveket vagy azonosítókat, és szükség esetén eszközöket használ a teljes tartalom lekérésére - strukturált jegyzetkészítés, amely az állapotot az ablakon kívül tartja - hosszú előzmények tömörítése - egy új, hibás kontextusban feltárt név és visszaadás az alügynökök. felszólítás. A szövegezés az egyik része, de a munka nagy része a rendszertervezés: annak eldöntése, hogy mi kerüljön lekérésre, összefoglalásra vagy eldobásra, és milyen sorrendben jelenjen meg. Egy másik tévhit az, hogy a nagyobb ablak szükségtelenné teszi ezt. Egy nagyobb ablak csökkenti a nyomást, de a költségek és a figyelem korlátai megmaradnak.

Valós megvalósítás

Az ügyfélszolgálati robot csak a három legrelevánsabb súgócikket, valamint az ügyfél tervszintjét kéri le. Nem illeszti be a teljes tudásbázist minden kérésbe.

A kódoló ügynök a fájl elérési utak és függvényaláírások listájával kezdődik, majd egy fájlolvasó eszközzel csak akkor tölti be a teljes fájlokat, amikor szüksége van rájuk.

Az értekezlet-asszisztens a döntéseket és a műveleti elemeket egy strukturált jegyzetfájlba menti, és a következő munkamenetben újra betölti a fájlt, ahelyett, hogy minden korábbi átiratot újra lejátszana.

Egy csapat módosítja az adatbázis-eszközt, így az 5000 nyers JSON-sor helyett szűrt összegzést ad vissza sorszámmal. Ez megakadályozza, hogy az ügynök ablaka megteljen olyan adatokkal, amelyeket soha nem fog használni.

A kontextustervezés jövője

A környezeti ablakok gyorsan növekedtek, és a modellek egyre jobban tudják használni a hosszú bemeneteket. A költségek, a késleltetés és a figyelem korlátai továbbra is fontossá teszik annak kiválasztását, hogy mi kerüljön be. Ennek a munkának a nagyobb része a keretrendszerekbe és platformokra költözik, és számos szolgáltató már kínál beépített memóriaeszközöket, automatikus tömörítést és felügyelt visszakeresést. A készség valószínűleg elmozdul a kontextus kézzel történő összeállításáról a szabályzatok tervezésére arra vonatkozóan, hogy az ügynöknek mire kell emlékeznie, lekérni vagy elfelejtenie, majd tesztelni ezeket a házirendeket. Nyitott kérdés, hogy a jövőbeni modelltervek nem igényelnek-e kevésbé gondos gondozást. Jelenleg a szándékosan megtervezett környezet az egyik legmegbízhatóbb módja a modellkimenet javításának.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltse ki a Context Engineering kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Context Engineering?

A kontextustervezés az a gyakorlat, hogy eldöntjük, mit lát a nyelvi modell az egyes lépésekben (utasítások, letöltött dokumentumok, eszközdefiníciók és eredmények, beszélgetéstörténet és memória), és beillesztjük egy korlátozott kontextusablakba. Ez tovább megy, mint a gyors megfogalmazás. Ez azért fontos, mert a kimenet minősége nagymértékben függ attól, hogy mi van az ablakban, és az ügynököknél és a hosszú feladatoknál ez a kontextus minden hívásnál kóddal kerül összeállításra, nem pedig egy személy által egyszer begépelt.

Mi különbözteti meg legjobban a kontextustervezést az azonnali tervezéstől?

A kontextustervezés a modell által kapott teljes tokenszekvenciát megtervezendő dologként kezeli: utasításokat, letöltött szövegrészeket, eszközdefiníciókat és kimeneteket, előzményeket és memóriát. Az azonnali megfogalmazás csak az egyik része.

Mit sugall a „középen elveszett” kutatás a hosszú bemenetekkel kapcsolatban?

Liu et al. (2023) azt találta, hogy a teljesítmény gyakran csökken, ha a releváns információ egy hosszú kontextus közepén van. Ez az egyik oka annak, hogy a relevancia és az elhelyezés fontosabb, mint a puszta mennyiség.

Miért írja le az útmutató a kontextust költségvetésként?

Az ablakban lévő tokenek valós költségekkel járnak az árban és a válaszidőben. Az irreleváns tokenek a relevánsakkal is versenyeznek a modell figyelméért, ezért ezeket tudatosan kell elkölteni.

Mi az a just-in-time betöltés?

Ahelyett, hogy mindent előre betöltene, az ügynök mutatókat tart, és csak akkor tölti be a teljes tartalmat, ha egy lépés megköveteli. Így az ablak karcsú marad.

Miért hasznos a stabil tartalmakat, például a rendszerutasításokat és az eszközdefiníciókat az elején rögzített sorrendben elhelyezni?

Az azonnali gyorsítótárazást támogató szolgáltatók újra felhasználhatnak egy előtagot, amely bájt-azonos marad a hívások során. Ezt lehetővé teszi, ha a stabil tartalmat helyezi az első helyre, a változó beszélgetést pedig az utolsó helyre.