LegközelebbKövetkező az AI Foundations
Neurális hálózatok
Alapok
Alapok ÚTMUTATÓ
A következtetés egy betanított modellt használ, hogy egy új bemenetből kimenetet állítson elő.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Az osztályozó kategóriapontszámot adhat vissza; egy nyelvi modell képes tokeneket generálni. A következtetés általában változatlanul hagyja a modell paramétereit, bár a környező rendszer külön mentheti az információkat, vagy tanulhat a visszajelzésekből.
A kérés általában bemeneti ellenőrzésen, előfeldolgozáson, modellen és kimeneti feldolgozáson megy keresztül. Egy szöveges szolgáltatás tokenizálhat egy promptot, többször futtathatja a modellt tokenek generálásához, és összeállíthatja a választ. A visszakeresés és a külső eszközök további szakaszokat adhatnak a modellhez. Idejük és hibáik beleszámítanak a felhasználói élménybe. Mérje külön a késleltetést és az átviteli sebességet. A késleltetés az, hogy mennyi ideig tart egy kérés; Az átviteli sebesség azt jelenti, hogy a rendszer hány kérést fejez be egy időszak alatt. A kötegelt kérések javíthatják az átviteli sebességet, miközben növelik az egyedi kérések várakozási idejét. A streamelés hatására a válasz hamarabb elkezdődik, anélkül, hogy csökkentené a befejezéséhez szükséges időt. A hardveres memóriának a modell súlyánál többet kell befogadnia. A munkapufferek, a párhuzamos kérések és a gyorsítótárazott ábrázolások szintén memóriát fogyasztanak. A hosszabb bemenetek és kimenetek megváltoztathatják a kiszolgálási költségeket, ezért egy rövid bemutató prompt helyett a tényleges terheléseloszlást tesztelje. A következtetés telepítéséhez korlátokra, időtúllépésekre és használható válaszra van szükség, ha a modell nem tud válaszolni. Vezessen verziószámú kiértékelési készletet, és hasonlítsa össze a kimeneteket a pontosság, kötegelés, modellverziók vagy előfeldolgozás megváltoztatása után. Az optimalizálás csak akkor hasznos, ha megőrzi a feladat által megkövetelt minőséget.
04Működő példa
Egy összeállított kérésben az érvényesítés 20 ms, a dokumentum lekérése 180 ms, a modellgenerálás 900 ms és a formázás 30 ms.
Ha ezek a szakaszok egymás után futnak, a teljes időtartam 1130 ms. A formázási idő felére csökkentése mindössze 15 ms-t takarít meg.
A visszakeresés 100 ms-ra csökkentése 80 ms-t takarít meg. Mérjen újra egyidejű terhelés alatt, mert a sorban állás megváltoztathatja az eredményt.
Mit mutat
Ezek a kitalált időzítések azt illusztrálják, hogy egy kis színpad optimalizálása miért alig változtat az élményen.
A bejövő üzenetek osztályozása az osztályozó átképzése nélkül.
A válasz piszkozatának streamelése az egyértelmű törlési vezérlő megőrzése mellett.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A következtetés egy modell futtatását írja le. Egy feladat magában foglalhat érvelést, osztályozást vagy generálást; a végrehajtási címke nem határozza meg az érvelés minőségét.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező az AI Foundations
Neurális hálózatok
Alapok