Termin ze słownika AI

Czym jest Fragment zdania?

Definicja

Tokenizator niezależny od języka, który uczy się jednostek podsłów bezpośrednio z nieprzetworzonego tekstu bez wstępnego dzielenia na białe znaki.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

KLIPSArchitektura modelu multimodalnego, która uczy się wspólnych reprezentacji tekstu i obrazów.Ciągła naukaPodejścia szkoleniowe, które pozwalają modelowi uczyć się na nowych danych, nie zapominając o wcześniejszej wiedzy.Uczenie się kontekstoweZdolność modelu do podążania za wzorcami z przykładów podanych bezpośrednio w monicie.Klasyfikacja intencjiPrzewidywanie celu użytkownika na podstawie zapytania tekstowego w celu prawidłowego skierowania go.Model dużego języka (LLM)Model językowy wyszkolony na ogromnych korpusach tekstowych w celu generowania i analizowania tekstu.ŻetonFragment tekstu przetwarzany przez modele językowe, taki jak fragment słowa lub symbol.

Dowiedz się więcej z naszych bezpłatnych przewodników

SentencePiece Tokenization

Zobacz także

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search