LegközelebbKövetkező útmutató
Hosszú kontextus vs RAG
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A kontextustervezés az a gyakorlat, hogy eldöntjük, mit lát a nyelvi modell az egyes lépésekben (utasítások, letöltött dokumentumok, eszközdefiníciók és eredmények, beszélgetéstörténet és memória), és beillesztjük egy korlátozott kontextusablakba.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez tovább megy, mint a gyors megfogalmazás. Ez azért fontos, mert a kimenet minősége nagymértékben függ attól, hogy mi van az ablakban, és az ügynököknél és a hosszú feladatoknál ez a kontextus minden hívásnál kóddal kerül összeállításra, nem pedig egy személy által egyszer begépelt.
Az azonnali tervezés egyetlen kérés megfogalmazására összpontosít. A kontextustervezés tágabb látókört kínál. A modell egy sorozat jelzőt kap, és minden benne versenyez a helyért és a modell figyelméért. Ez a szekvencia általában tartalmaz egy rendszerpromptot, szerszámdefiníciókat, visszakeresett szakaszokat, korábbi fordulatokat, szerszámkimeneteket és néha hosszú távú memóriát. A kifejezés 2025-ben vált általánossá, amikor az ügynököket építő csapatok úgy találták, hogy sok meghibásodás inkább abból ered, hogy a modell rossz, túl sok vagy ellentmondó információt tartalmazott, nem pedig a rossz megfogalmazásból. Számos alapelv következik. Először is, a relevancia meghaladja a hangerőt. Egyes modellek több százezer tokent fogadnak el, de nem használnak minden tokent egyformán jól. Az „elveszett a közepén” tanulmány (Liu et al., 2023) azt találta, hogy a modellek gyakran jobban használják fel a hosszú bemenet elején és végén található információkat, mint a közepébe temetett információkat. Másodszor, a kontextus a költségvetés. Minden token pénzbe kerül, és növeli a késleltetést, és az irreleváns anyagok elvonhatják a modell figyelmét. Harmadszor, a szerkezet segít. Az áttekinthető szakaszok, a címkézett dokumentumok és a konzisztens formátumok megkönnyítik a modell számára a fontos dolgok megtalálását. A gyakori technikák közé tartoznak a következők: - lekéréssel kiegészített generálás, amely csak a releváns részeket kéri le - éppen időben történő betöltés, ahol az ügynök könnyű hivatkozásokat tartalmaz, például fájlneveket vagy azonosítókat, és szükség esetén eszközöket használ a teljes tartalom lekérésére - strukturált jegyzetkészítés, amely az állapotot az ablakon kívül tartja - hosszú előzmények tömörítése - egy új, hibás kontextusban feltárt név és visszaadás az alügynökök. felszólítás. A szövegezés az egyik része, de a munka nagy része a rendszertervezés: annak eldöntése, hogy mi kerüljön lekérésre, összefoglalásra vagy eldobásra, és milyen sorrendben jelenjen meg. Egy másik tévhit az, hogy a nagyobb ablak szükségtelenné teszi ezt. Egy nagyobb ablak csökkenti a nyomást, de a költségek és a figyelem korlátai megmaradnak.
Az ügyfélszolgálati robot csak a három legrelevánsabb súgócikket, valamint az ügyfél tervszintjét kéri le. Nem illeszti be a teljes tudásbázist minden kérésbe.
A kódoló ügynök a fájl elérési utak és függvényaláírások listájával kezdődik, majd egy fájlolvasó eszközzel csak akkor tölti be a teljes fájlokat, amikor szüksége van rájuk.
Az értekezlet-asszisztens a döntéseket és a műveleti elemeket egy strukturált jegyzetfájlba menti, és a következő munkamenetben újra betölti a fájlt, ahelyett, hogy minden korábbi átiratot újra lejátszana.
Egy csapat módosítja az adatbázis-eszközt, így az 5000 nyers JSON-sor helyett szűrt összegzést ad vissza sorszámmal. Ez megakadályozza, hogy az ügynök ablaka megteljen olyan adatokkal, amelyeket soha nem fog használni.
A környezeti ablakok gyorsan növekedtek, és a modellek egyre jobban tudják használni a hosszú bemeneteket. A költségek, a késleltetés és a figyelem korlátai továbbra is fontossá teszik annak kiválasztását, hogy mi kerüljön be. Ennek a munkának a nagyobb része a keretrendszerekbe és platformokra költözik, és számos szolgáltató már kínál beépített memóriaeszközöket, automatikus tömörítést és felügyelt visszakeresést. A készség valószínűleg elmozdul a kontextus kézzel történő összeállításáról a szabályzatok tervezésére arra vonatkozóan, hogy az ügynöknek mire kell emlékeznie, lekérni vagy elfelejtenie, majd tesztelni ezeket a házirendeket. Nyitott kérdés, hogy a jövőbeni modelltervek nem igényelnek-e kevésbé gondos gondozást. Jelenleg a szándékosan megtervezett környezet az egyik legmegbízhatóbb módja a modellkimenet javításának.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A kontextustervezés az a gyakorlat, hogy eldöntjük, mit lát a nyelvi modell az egyes lépésekben (utasítások, letöltött dokumentumok, eszközdefiníciók és eredmények, beszélgetéstörténet és memória), és beillesztjük egy korlátozott kontextusablakba. Ez tovább megy, mint a gyors megfogalmazás. Ez azért fontos, mert a kimenet minősége nagymértékben függ attól, hogy mi van az ablakban, és az ügynököknél és a hosszú feladatoknál ez a kontextus minden hívásnál kóddal kerül összeállításra, nem pedig egy személy által egyszer begépelt.
A kontextustervezés a modell által kapott teljes tokenszekvenciát megtervezendő dologként kezeli: utasításokat, letöltött szövegrészeket, eszközdefiníciókat és kimeneteket, előzményeket és memóriát. Az azonnali megfogalmazás csak az egyik része.
Liu et al. (2023) azt találta, hogy a teljesítmény gyakran csökken, ha a releváns információ egy hosszú kontextus közepén van. Ez az egyik oka annak, hogy a relevancia és az elhelyezés fontosabb, mint a puszta mennyiség.
Az ablakban lévő tokenek valós költségekkel járnak az árban és a válaszidőben. Az irreleváns tokenek a relevánsakkal is versenyeznek a modell figyelméért, ezért ezeket tudatosan kell elkölteni.
Ahelyett, hogy mindent előre betöltene, az ügynök mutatókat tart, és csak akkor tölti be a teljes tartalmat, ha egy lépés megköveteli. Így az ablak karcsú marad.
Az azonnali gyorsítótárazást támogató szolgáltatók újra felhasználhatnak egy előtagot, amely bájt-azonos marad a hívások során. Ezt lehetővé teszi, ha a stabil tartalmat helyezi az első helyre, a változó beszélgetést pedig az utolsó helyre.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Hosszú kontextus vs RAG
Nyelvi AI