LegközelebbKövetkező útmutató
Alszó tokenizálás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A SentencePiece egy nyelvi agnosztikus tokenizer, amely megtanulja, hogyan lehet a nyers szöveget részszavakra osztani közvetlenül az adatokból, szóközök használata nélkül.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Sokkal könnyebbé tette a többnyelvű modellek felépítését azáltal, hogy bármilyen nyelvet azonos módon kezel.
A legtöbb tokenizátor azt feltételezi, hogy a szavakat szóköz választja el, ami megszakad az olyan nyelveknél, mint a japán, a kínai vagy a thai, amelyek nem használják őket. A Google által 2018-ban kiadott SentencePiece ezt megkerüli azáltal, hogy a bemenetet nyers karakterfolyamként kezeli – szóközökkel együtt –, és magából az adatból megtanulja a részszóegységek szókincsét. Híresen helyettesíti a szóközöket egy látható jelölővel (az aláhúzásszerű metaszimbólum), így a tokenizálás teljesen visszafordítható: mindig pontosan rekonstruálhatja az eredeti szöveget. A SentencePiece két fő algoritmust támogat, a Byte-Pair Encoding (BPE) és az Unigram nyelvi modellt, amely utóbbi az aláírási módszere. Mivel nincs szüksége nyelvspecifikus előzetes tokenizálásra, ugyanaz a folyamat több száz nyelven működik, ezért az olyan modellek, mint a T5, ALBERT és sok többnyelvű rendszer támaszkodnak rá.
Google T5-modellje, amely egy többnyelvű webszövegre kiképzett SentencePiece szókincset használ.
A szavak között szóköz nélküli japán vagy kínai szöveg tokenizálása, ahol a szóalapú tokenizátorok meghibásodnak.
Egyetlen megosztott szókincs létrehozása több mint 100 nyelven egy többnyelvű fordítórendszerhez.
Veszteségmentesen rekonstruálja az eredeti bemenetet (beleértve a szóközt is) tokenekből, hasznos kódgeneráláshoz, ahol a szóközök számít.
A SentencePiece továbbra is a többnyelvű és kódmodellek igáslója marad visszafordíthatósága és nyelvi semlegessége miatt. A területen fokozatosan kutatnak bájtszintű és tokenizátor-mentes megközelítések, amelyek teljesen kihagyják az alszavak szókészletét, és célja a tokenizációs furcsaságok eltávolítása, amelyek sértik az aritmetikát, a ritka nyelveket és a hosszú számokat. Ennek ellenére a SentencePiece Unigram- és byte-fallback-tervei továbbra is hatással vannak az újabb tokenizátorokra, és veszteségmentes, nyers szövegből vonatozó filozófiája a közeljövőben is alapvető marad.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A SentencePiece egy nyelvi agnosztikus tokenizer, amely megtanulja, hogyan lehet a nyers szöveget részszavakra osztani közvetlenül az adatokból, szóközök használata nélkül. Sokkal könnyebbé tette a többnyelvű modellek felépítését azáltal, hogy bármilyen nyelvet azonos módon kezel.
A SentencePiece a bevitelt nyers karakterfolyamként kezeli, így még olyan nyelveken is működik, amelyekben nincs szóköz a szavak között.
A szóközök látható jelölőként való kódolása azt jelenti, hogy az eredeti szöveg a szóközökkel együtt mindig pontosan rekonstruálható.
A SentencePiece bájtpáros kódolást (BPE) és Unigram nyelvi modellt kínál, amelynek aláírási módszere az Unigram.
Az Unigram sok jelölt darabbal kezdődik, és az elvárás-maximalizálás segítségével iteratív módon eltávolítja azokat, amelyek a legkevésbé járulnak hozzá a korpusz valószínűségéhez.
Google T5-je SentencePiece szókincset használ, akárcsak ALBERT és sok többnyelvű modell.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Alszó tokenizálás
Nyelvi AI