LegközelebbKövetkező útmutató
AI irodalom ismeretek középiskolás tanulók számára
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Az „elveszett a közepén” hatás a nyelvi modellek azon tendenciája, hogy az információt akkor használják fel a legjobban, ha az egy hosszú bevitel elején vagy végén jelenik meg, miközben figyelmen kívül hagyják a közepén eltemetett tényeket.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert korlátozza, hogy mennyire bízhatunk meg hosszú kontextusú modellekben a letöltött dokumentumokkal.
Liu és stanfordi kollégái 2023-as tanulmányában azonosították a hatást, amikor a modellek sok dokumentumot kaptak, és arra kérték, hogy egy olyan választ adjanak, amely tartalmazza a kulcsfontosságú tényt. A pontosság U-alakú görbét alkotott: a legmagasabb, ha a megfelelő szakasz a prompt elején vagy végén volt, és észrevehetően alacsonyabb, amikor a közepén ült. Ez még a hosszú kontextusra képesként forgalmazott modellekre is igaz. A következmény éles a visszakereséssel kiegészített generáció esetében: ha több tucat szövegrészletet tölt be egy promptba, az nem garantálja, hogy a modell egyenletesen olvassa be azokat. A pozíció, nem csak a jelenlét határozza meg, hogy egy modell figyelembe veszi-e a tényt. A munka a hosszú szövegkörnyezetet a hatékony használat, nem pedig a nyers ablakméret kérdéseként fogalmazta meg.
Egy RAG-rendszer 20 dokumentumot kér le, de kihagyja a választ, mert a 20/10. passzusban landolt.
A mérnökök úgy rangsorolják át a keresési eredményeket, hogy a legrelevánsabb részt az első vagy az utolsó helyen helyezzék el a promptban.
A hosszú dokumentum-összefoglaló alulsúlyozza azokat a kulcsfontosságú részleteket, amelyek a szerződés felénél jelennek meg.
A „tű a szénakazalban” benchmark különböző mélységekben rejt egy tényt, hogy feltérképezze a modell helyzeti pontosságát.
A kutatók figyelemmódosításokkal, pozíció-tudatos tréninggel és intelligensebb visszakereséssel próbálják kezelni a hatást, amely a legrelevánsabb szövegrészeket a prompt széleihez sorolja át. Az értékelő csomagok mostantól tartalmazzák a „tű a szénakazalban” teszteket a különböző pozíciókban a hatékony kontextus mérésére. Az architektúrák javulásával az U-görbe ellaposodik, de a szakemberek folyamatosan olyan csővezetékeket fognak tervezni, amelyek kritikus bizonyítékokat helyeznek el oda, ahol a modellek valójában látszanak, nem pedig egységes figyelemre bíznak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az „elveszett a közepén” hatás a nyelvi modellek azon tendenciája, hogy az információt akkor használják fel a legjobban, ha az egy hosszú bevitel elején vagy végén jelenik meg, miközben figyelmen kívül hagyják a közepén eltemetett tényeket. Ez azért fontos, mert korlátozza, hogy mennyire bízhatunk meg hosszú kontextusú modellekben a letöltött dokumentumokkal.
The paper observed a U-shaped pattern with weaker performance in the middle.
The study evaluated long-context use with retrieval-style tasks.
The study found performance can depend on the position of relevant information.
The guide says stuffing passages does not ensure they are used evenly.
The paper observes that position affects effective use, not simply presence.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AI irodalom ismeretek középiskolás tanulók számára
Nyelvi AI