What is SentencePiece? Definition | AI Understanding

Definicja

Tokenizator niezależny od języka, który uczy się jednostek podsłów bezpośrednio z nieprzetworzonego tekstu bez wstępnego dzielenia na białe znaki.

Powiązane terminy

Architektura modelu multimodalnego, która uczy się wspólnych reprezentacji tekstu i obrazów.

Podejścia szkoleniowe, które pozwalają modelowi uczyć się na nowych danych, nie zapominając o wcześniejszej wiedzy.

Uczenie się kontekstowe

Zdolność modelu do podążania za wzorcami z przykładów podanych bezpośrednio w monicie.

Klasyfikacja intencji

Przewidywanie celu użytkownika na podstawie zapytania tekstowego w celu prawidłowego skierowania go.

Model dużego języka (LLM)

Model językowy wyszkolony na ogromnych korpusach tekstowych w celu generowania i analizowania tekstu.

Fragment tekstu przetwarzany przez modele językowe, taki jak fragment słowa lub symbol.

Dowiedz się więcej z naszych bezpłatnych przewodników

SentencePiece Tokenization

Zobacz także

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window Attention HNSW ALiBi Reranker RoPE (Rotary Positional Embeddings)Hybrid Search

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI