ChatGPT a LLM
Velký jazykový model (LLM) je model vyškolený pro práci se vzory v jazyce, často předpovídáním tokenů z kontextu.
Přehled
Chatbot jako ChatGPT je aplikace kolem modelů a dalších systémů; model a kompletní produkt nejsou totéž.
Klíčové věci
- Oddělte produkt chatbota od modelu, který používá.
- Generování dalšího tokenu a ověřování faktů jsou různé procesy.
- Zkontrolujte důkazy za důležitými tvrzeními, včetně zjevně přesvědčivých citací.
Hluboký ponor
Text se převádí na tokeny, které mohou představovat slova, části slov nebo jiné jednotky. Autoregresivní jazykový model využívá aktuální kontext k vytváření skóre pro možné další tokeny. Generování vybere token a pokračuje z rozšířeného kontextu. Výsledkem může být užitečná próza, kód nebo strukturovaný text, ale tento proces automaticky neověřuje fakta. Mnoho moderních LLM používá architektury transformátorů. Pozornost umožňuje modelu kombinovat informace z různých pozic v sekvenci. Původní transformátorový papír je užitečným zdrojem pro tuto architekturu, ale nestanoví každý detail implementace konkrétního komerčního chatbota. Školení, nabádání, vyhledávání a nástroje jsou různé mechanismy. Trénink mění parametry. Výzva poskytuje aktuální úkol a kontext. Vyhledávání dodává vybrané dokumenty nebo pasáže. Nástroje mohou provádět akce, jako je vyhledávání nebo výpočty. Produkt může kombinovat tyto mechanismy, takže kvalita odpovědi závisí na více než na základním modelu. Plynulost není signálem pravdy. Model může vymyslet citaci, smísit neslučitelná fakta nebo odpovědět nad rámec poskytnutých důkazů. Pro důležitou věcnou práci identifikujte podpůrnou pasáž, otevřete zdroj a zkontrolujte, zda skutečně podporuje tvrzení. Považujte prohlášení modelu o jeho vlastní důvěře za výstup k vyhodnocení, nikoli za nezávislý důkaz.
Technický přehled
Kontext dodaný modelu není stejný jako jeho trénovací data. Dodání dokumentu může zlepšit přístup k relevantním informacím, ale vyhledání nezaručuje, že je model správně použije nebo cituje.
Otestujte, zda odpověď zůstává mezi důkazy
- Doplňte tuto vymyšlenou poznámku: „Dílna začíná v 10:00. Registrace končí v pátek.“
- Zeptejte se: „V kolik hodin workshop končí? Odpověď pouze z poznámky. Není-li uvedeno, řekněte, že uvedeno není.“
- Očekávaná odpověď je, že čas ukončení není uveden. Vymyšlený konečný čas je neúspěch, i když to zní věrohodně.
Toto je malý testovací případ, který můžete znovu použít. Očekávaná odpověď je testovacím kritériem, nikoli tvrzením, že jím projde každý model.
Strategický dopad
Rychlost a měřítko
Jazykové pracovní postupy se mohou pohybovat rychleji, aniž by byla obětována konzistentnost.
Přístup a dosah
Rozšiřuje přístup napříč jazyky a komunikačními styly.
Jasnější rozhodnutí
Týmy mohou strávit více času úsudkem, zatímco automatizace zvládne opakování.
Real-World Implementace
Požádejte LLM o extrakci dat z dodaného dokumentu a poté porovnejte každé vrácené datum s textem.
Použijte model k návrhu kódu, poté spusťte testy a zkontrolujte jeho chování před jeho nasazením.
Vyžádejte si shrnutí článku s podpůrnými pasážemi a poté zkontrolujte, zda shrnutí nepřidává tvrzení, která článek nikdy neuvedl.
Rizika a zábradlí
Halucinovaná fakta mohou tiše vstupovat do zpráv, podpůrných toků nebo výstupů výzkumu.
Citlivost na výzvy může způsobit nekonzistentní výsledky napříč podobnými požadavky.
Citlivá textová data mohou být vystavena, pokud je řízení přístupu slabé.
Plán implementace
Před zavedením definujte výstupní formát, tón a standardy kvality.
Pozemní reakce s důvěryhodnými zdroji, kdykoli záleží na přesnosti.
Udržujte kontrolní bod lidské kontroly pro vysoce důležité výstupy.
Sledujte vzorce selhání a pravidelně opakujte výzvy nebo pracovní postupy.
Zdroje a další čtení
- GoogleÚvod do velkých jazykových modelů
- Vaswani and colleaguesPozornost je vše, co potřebujete
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ChatGPT & LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další v Zodpovědný uživatel AI
AI halucinace
Často kladené otázky
Je LLM to samé jako chatbot?
Ne. LLM je model. Chatbot je aplikace, která může kombinovat modely, pokyny, vyhledávání, nástroje, paměťové funkce a uživatelské rozhraní.
Odstraňuje přidání zdrojů halucinace?
Ne. Zdroje mohou poskytnout relevantní důkazy, ale model je může stále špatně číst, ignorovat nebo připojit citaci k nepodloženému tvrzení. Porovnejte zdroj s odpovědí.