DalšíDalší průvodce
Indukční hlavy v transformátorech
Jazyk AI
Jazyk AI GUIDE
Transformátor je architektura neuronové sítě, která využívá pozornost ke kombinování informací napříč sekvencí.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je základem mnoha jazykových a multimodálních modelů. Architektura poskytuje způsob, jak zpracovávat reprezentace; to samo o sobě nezakládá faktičnost, porozumění nebo bezpečné chování.
Pozornost počítá, kolik informací by jedna pozice měla převzít z jiných pozic. V běžné formulaci naučené projekce vytvářejí dotazy, klíče a hodnoty. Porovnání klíčů dotazu určují váhy používané ke kombinování hodnot. Více hlav pro pozornost umožňuje několik takových kombinací ve vrstvě. Vrstva transformátoru také zahrnuje další operace, jako je dopředná síť, normalizace a zbytková připojení. Informace o poloze jsou potřebné, protože na pořadí slov nebo jiných prvků sekvence záleží. Konkrétní implementace se liší v tom, jak reprezentují polohu a uspořádání těchto operací. Původní transformátor z roku 2017 používal pro překlad návrh kodéru-dekodéru. Pozdější modely používají uspořádání pouze kodér, pouze dekodér nebo kodér-dekodér pro různé účely. Kauzální jazykový model brání pozici, aby se během predikce dalšího tokenu věnovala budoucím tokenům. Toto omezení se liší od obousměrného zpracování kompletního vstupu. Pozor na dlouhé sekvence může být výpočetně nákladný. Praktické systémy používají různé optimalizace, ale inzerovaný kontextový limit nedokazuje, že model spolehlivě využívá každou část dlouhého dokumentu. Vyzkoušejte vyhledávání, uvažování a instrukce ve skutečných délkách, které vaše aplikace potřebuje.
04Zpracovaný příklad
Vezměme si vymyšlený text „Robot přesunul bednu, protože blokovala dveře.“
Slovo „to“ může vyžadovat kontext k vyřešení. Mechanismus pozornosti může při výpočtu reprezentace kombinovat informace z jiných pozic.
Změňte větu na „Robot přesunul bednu, protože potřebovala nabít“. Otestujte interpretaci celého modelu spíše než předpokládejte, že graf pozornosti prokazuje správné referenční rozlišení.
Co ukazuje
Tento příklad ilustruje kontextové zpracování bez tvrzení, že každý transformátor řeší nejednoznačnost správně.
Kódovat dokument pro klasifikaci.
Generujte odpověď jeden po druhém pomocí kauzální pozornosti.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Ne. Transformátory mohou podporovat klasifikaci, překlad, vyhledávání, vidění, zvuk a další úkoly; chatbot je aplikace postavená na modelech a dalších systémech.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Indukční hlavy v transformátorech
Jazyk AI