LegközelebbKövetkező útmutató
Reláció kinyerése szövegből
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A 2019-es Google T5 (Text-to-Text Transfer Transformer) minden NLP-feladatot, fordítást, összegzést, osztályozást, sőt regressziót is átkeret szövegbe betáplálásként és szövegkiadásként.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez az egységes formátum lehetővé teszi, hogy egy modell és egy képzési recept több tucat feladatot kezeljen.
A T5 központi gondolata, hogy bármilyen nyelvi feladatot szöveg-szövegként lehet önteni: a bemenet egy karakterlánc feladat előtaggal, a kimenet pedig mindig egy karakterlánc. A fordítás az „angol fordítás németre: ...” lesz, amely német szöveget eredményez; Az érzelem „sst2 mondat: ...” lesz, ami a szó szerinti „pozitív” vagy „negatív” szót eredményezi. Teljes kódoló-dekódoló transzformátort használ, ellentétben a csak kódoló BERT-vel vagy a csak dekódoló GPT-vel. A T5-öt a C4 korpuszon (Colossal Clean Crawled Corpus, ~750 GB megtisztított webszöveg) előképezték, span-korrupciós céllal: a tokenek véletlenszerű tartományait maszkírozzák, és őrjelzőkkel helyettesítik, a modell pedig megtanulja előállítani a hiányzó tartományokat. A kísérő tanulmány szisztematikusan hasonlította össze az architektúrákat, a célkitűzéseket és az adatkészletek méretét, hogy megtalálja, mi a legjobb.
Absztrakt összefoglalás: az „összefoglaló:” előtag beírása, mielőtt egy cikk arra készteti a T5-öt, hogy tömör összefoglalót készítsen saját szavaival.
Gépi fordítás: egyetlen T5-modell több nyelvpárt is kezel olyan előtagok segítségével, mint például „fordítsa le az angolt franciára:”.
A FLAN-T5 természetes nyelvű utasításokat követ a kérdések megválaszolásához és érveléséhez, feladatspecifikus átképzés nélkül.
Zártkönyves kérdésfelvetés: A T5 a ténykérdésekre közvetlenül generált szövegként válaszol, súlyaiban tárolt tudásra támaszkodva.
A szöveg-szöveg paradigma óriási hatást gyakorolt: az utasításokra hangolt leszármazottak, mint például a FLAN-T5, a természetes nyelvű utasításokból általánosítanak a nem látott feladatokra, és az egységes formátum előrevetítette a mai felszólítás-vezérelt nagy nyelvi modelleket. Várhatóan a T5 kódoló-dekóderek további használata összegzésre, fordításra és strukturált generálásra, valamint a többnyelvű változatokra, például az mT5-re és a hatékonyságra összpontosító utódokra, még akkor is, ha a csak dekóderrel rendelkező modellek dominálnak a nyílt végű csevegőalkalmazásokban.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A 2019-es Google T5 (Text-to-Text Transfer Transformer) minden NLP-feladatot, fordítást, összegzést, osztályozást, sőt regressziót is átkeret szövegbe betáplálásként és szövegkiadásként. Ez az egységes formátum lehetővé teszi, hogy egy modell és egy képzési recept több tucat feladatot kezeljen.
A T5 feladatelőtagok segítségével egyetlen szöveg-szöveg formátumba önti a fordítást, az összegzést, az osztályozást és egyebeket.
A csak kódolót használó BERT-től vagy a csak dekóderes GPT-től eltérően a T5 teljes kódoló-dekódoló transzformátort használ, keresztfigyeléssel.
A T5 elfedi a tokenek véletlenszerű terjedelmét, mindegyiket egy-egy őrszemre cseréli, és megtanítja a dekódert a hiányzó tartományok reprodukálására.
A T5 a C4-re lett kiképezve, amely a Common Crawl webszöveg nagyjából 750 GB-os tisztított részhalmaza.
Mivel minden szöveg-szöveg, a T5 az osztálycímkét szókarakterláncként adja ki, nem pedig numerikus osztályindexként.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Reláció kinyerése szövegből
Nyelvi AI