What is SentencePiece? Definition | AI Understanding

Definitie

Een taalonafhankelijke tokenizer die subwoordeenheden rechtstreeks uit onbewerkte tekst leert, zonder vooraf te splitsen op witruimte.

Gerelateerde termen

Een multimodale modelarchitectuur die gedeelde representaties tussen tekst en afbeeldingen leert.

Trainingsbenaderingen waarmee een model kan blijven leren van nieuwe gegevens zonder voorafgaande kennis te vergeten.

In-context leren

Het vermogen van een model om patronen te volgen uit voorbeelden die rechtstreeks in de prompt worden gegeven.

Intentieclassificatie

Het voorspellen van het doel van de gebruiker op basis van een tekstquery om deze correct te routeren.

Groot taalmodel (LLM)

Een taalmodel dat is getraind op enorme tekstcorpora om tekst te genereren en te analyseren.

Een stuk tekst dat wordt verwerkt door taalmodellen, zoals een woordstuk of symbool.

Lees meer in onze gratis handleidingen

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window Attention HNSW ALiBi Reranker RoPE (Rotary Positional Embeddings)Hybrid Search

Blader door de volledige AI-woordenlijst Ontdek alle gratis AI-gidsen