DalšíDalší průvodce
Lekce o gramotnosti AI pro střední školu
Jazyk AI
Jazyk AI GUIDE
Efekt „ztraceno uprostřed“ je tendence jazykových modelů využívat informace nejlépe, když se objeví na začátku nebo na konci dlouhého vstupu, a přitom přehlížet fakta pohřbená uprostřed.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože to omezuje, do jaké míry můžeme důvěřovat modelům s dlouhým kontextem se získanými dokumenty.
Ve studii z roku 2023, kterou Liu a kolegové ze Stanfordu identifikovali ve studii, se účinek objevil, když modely dostaly mnoho dokumentů a požádali o odpověď pomocí jednoho, který obsahoval klíčový fakt. Přesnost tvořila křivku ve tvaru písmene U: nejvyšší, když byla příslušná pasáž na začátku nebo na konci výzvy, a znatelně nižší, když byla uprostřed. To platilo i pro modely prodávané jako schopné dlouhého kontextu. Implikace je jasná pro generování s rozšířeným načítáním: nacpání desítek pasáží do výzvy nezaručuje, že je model přečte rovnoměrně. Pozice, nejen přítomnost, utváří, zda model dbá na skutečnost. Práce přeformulovala dlouhý kontext jako otázku efektivního použití, nikoli hrubé velikosti okna.
Systém RAG načte 20 dokumentů, ale chybí mu odpověď, protože přistál v pasáži 10 z 20.
Inženýři přehodnotí výsledky vyhledávání tak, aby nejrelevantnější část ve výzvě umístili jako první nebo poslední.
Shrnovač dlouhých dokumentů podceňuje klíčové detaily, které se objevují uprostřed smlouvy.
Benchmark „jehla v kupce sena“ skrývá fakt v různé hloubce, aby zmapoval poziční přesnost modelu.
Výzkumníci řeší tento efekt úpravami pozornosti, tréninkem zaměřeným na pozici a chytřejším vyhledáváním, které přeřadí nejrelevantnější pasáže k okrajům výzvy. Hodnotící sady nyní zahrnují testy „jehla v kupce sena“ napříč pozicemi k měření efektivního kontextu. Jak se architektury zlepšují, křivka U se zplošťuje, ale praktici budou nadále navrhovat potrubí, která umístí kritické důkazy tam, kde modely skutečně vypadají, než aby důvěřovali jednotné pozornosti.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Efekt „ztraceno uprostřed“ je tendence jazykových modelů využívat informace nejlépe, když se objeví na začátku nebo na konci dlouhého vstupu, a přitom přehlížet fakta pohřbená uprostřed. Je to důležité, protože to omezuje, do jaké míry můžeme důvěřovat modelům s dlouhým kontextem se získanými dokumenty.
The paper observed a U-shaped pattern with weaker performance in the middle.
The study evaluated long-context use with retrieval-style tasks.
The study found performance can depend on the position of relevant information.
The guide says stuffing passages does not ensure they are used evenly.
The paper observes that position affects effective use, not simply presence.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Lekce o gramotnosti AI pro střední školu
Jazyk AI