Jazyk AI GUIDE

Transformátory

Transformátor je architektura neuronové sítě, která využívá pozornost ke kombinování informací napříč sekvencí.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Klíčové věci
  3. Hluboký ponor
  4. Sledujte odkaz prostřednictvím kontextu
  5. Real-World Implementace
  6. Uvedení do praxe
  7. Zdroje a další čtení
  8. Pokračujte v objevování
  9. Často kladené otázky

Přehled

Je základem mnoha jazykových a multimodálních modelů. Architektura poskytuje způsob, jak zpracovávat reprezentace; to samo o sobě nezakládá faktičnost, porozumění nebo bezpečné chování.

Klíčové věci

  1. Pozornost kombinuje informace napříč pozicemi.
  2. Varianty architektury slouží různým cílům školení.
  3. Schopnost dlouhodobého kontextu vyžaduje testování specifické pro daný úkol.

Hluboký ponor

Pozornost počítá, kolik informací by jedna pozice měla převzít z jiných pozic. V běžné formulaci naučené projekce vytvářejí dotazy, klíče a hodnoty. Porovnání klíčů dotazu určují váhy používané ke kombinování hodnot. Více hlav pro pozornost umožňuje několik takových kombinací ve vrstvě. Vrstva transformátoru také zahrnuje další operace, jako je dopředná síť, normalizace a zbytková připojení. Informace o poloze jsou potřebné, protože na pořadí slov nebo jiných prvků sekvence záleží. Konkrétní implementace se liší v tom, jak reprezentují polohu a uspořádání těchto operací. Původní transformátor z roku 2017 používal pro překlad návrh kodéru-dekodéru. Pozdější modely používají uspořádání pouze kodér, pouze dekodér nebo kodér-dekodér pro různé účely. Kauzální jazykový model brání pozici, aby se během predikce dalšího tokenu věnovala budoucím tokenům. Toto omezení se liší od obousměrného zpracování kompletního vstupu. Pozor na dlouhé sekvence může být výpočetně nákladný. Praktické systémy používají různé optimalizace, ale inzerovaný kontextový limit nedokazuje, že model spolehlivě využívá každou část dlouhého dokumentu. Vyzkoušejte vyhledávání, uvažování a instrukce ve skutečných délkách, které vaše aplikace potřebuje.

04Zpracovaný příklad

Sledujte odkaz prostřednictvím kontextu

  1. Vezměme si vymyšlený text „Robot přesunul bednu, protože blokovala dveře.“

  2. Slovo „to“ může vyžadovat kontext k vyřešení. Mechanismus pozornosti může při výpočtu reprezentace kombinovat informace z jiných pozic.

  3. Změňte větu na „Robot přesunul bednu, protože potřebovala nabít“. Otestujte interpretaci celého modelu spíše než předpokládejte, že graf pozornosti prokazuje správné referenční rozlišení.

Co ukazuje

Tento příklad ilustruje kontextové zpracování bez tvrzení, že každý transformátor řeší nejednoznačnost správně.

Real-World Implementace

Kódovat dokument pro klasifikaci.

Generujte odpověď jeden po druhém pomocí kauzální pozornosti.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Jazykové pracovní postupy se mohou pohybovat rychleji, aniž by byla obětována konzistentnost.
  • Přístup a dosah. Rozšiřuje přístup napříč jazyky a komunikačními styly.
  • Jasnější rozhodnutí. Týmy mohou strávit více času úsudkem, zatímco automatizace zvládne opakování.

Pozor na

  • Halucinovaná fakta mohou tiše vstupovat do zpráv, podpůrných toků nebo výstupů výzkumu.
  • Citlivost na výzvy může způsobit nekonzistentní výsledky napříč podobnými požadavky.
  • Citlivá textová data mohou být vystavena, pokud je řízení přístupu slabé.

Další kroky

  1. Před zavedením definujte výstupní formát, tón a standardy kvality.
  2. Pozemní reakce s důvěryhodnými zdroji, kdykoli záleží na přesnosti.
  3. Udržujte kontrolní bod lidské kontroly pro vysoce důležité výstupy.
  4. Sledujte vzorce selhání a pravidelně opakujte výzvy nebo pracovní postupy.

Zdroje a další čtení

  1. Vaswani and colleaguesPozornost je vše, co potřebujete

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Transformers quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Jsou všichni transformátory chatboti?

Ne. Transformátory mohou podporovat klasifikaci, překlad, vyhledávání, vidění, zvuk a další úkoly; chatbot je aplikace postavená na modelech a dalších systémech.