ChatGPT és LLM-ek

Az olyan chatbotok, mint a ChatGPT, egy modellek és más rendszerek körüli alkalmazások; a modell és a teljes termék nem ugyanaz.

Főbb tanulságok

• Különítse el a chatbot terméket az általa használt modelltől.
• A következő token generálása és a tények ellenőrzése különböző folyamatok.
• Ellenőrizze a fontos állítások mögött meghúzódó bizonyítékokat, beleértve a nyilvánvalóan meggyőző idézeteket.

A szöveget tokenekké alakítják, amelyek szavakat, szórészeket vagy más egységeket képviselhetnek. Egy autoregresszív nyelvi modell az aktuális környezetet használja a lehetséges következő tokenek pontszámainak előállításához. A generálás kiválaszt egy tokent, és a kibővített kontextusból folytatja. Az eredmény lehet hasznos próza, kód vagy strukturált szöveg, de ez a folyamat nem ellenőrzi automatikusan a tényeket. Sok modern LLM transzformátor architektúrát használ. A figyelem lehetővé teszi, hogy a modell egy sorozat különböző pozícióiból származó információkat egyesítse. Az eredeti transzformátorpapír hasznos forrás ehhez az architektúrához, de nem határozza meg egy adott kereskedelmi chatbot megvalósításának minden részletét. A betanítás, a felszólítás, a visszakeresés és az eszközök különböző mechanizmusok. Az edzés megváltoztatja a paramétereket. A prompt megadja az aktuális feladatot és kontextust. A Retrieval ellátja a kiválasztott dokumentumokat vagy részeket. Az eszközök olyan műveleteket hajthatnak végre, mint a keresés vagy a számítás. Egy termék kombinálhatja ezeket a mechanizmusokat, így a válasz minősége többtől függ, mint az alapmodelltől. A folyékonyság nem igazságjel. A modell kitalálhat egy idézetet, összeegyeztethetetlen tényeket keverhet, vagy válaszolhat a szolgáltatott bizonyítékokon túl. Fontos tényszerű munka esetén azonosítsa az alátámasztó részt, nyissa meg a forrást, és ellenőrizze, hogy az valóban alátámasztja-e az állítást. A modell saját magabiztosságára vonatkozó kijelentését értékelendő kimenetként kezelje, ne független bizonyítékként.

1. Adja meg ezt a kitalált megjegyzést: „A workshop 10:00-kor kezdődik. A regisztráció pénteken zárul.
2. Kérdezd meg: „Hánykor ér véget a műhely? Csak a jegyzetből válaszoljon. Ha nincs feltüntetve, mondd, hogy nincs feltüntetve.
3. A várt válasz az, hogy a befejezési időpont nincs megadva. A kitalált befejezési idő még akkor is kudarc, ha hihetőnek hangzik.

Ez egy kis kiértékelési eset, amelyet újra felhasználhat. A várt válasz tesztkritérium, nem pedig annak állítása, hogy minden modell megfelel.