KI-Glossarbegriff

Was ist Satzstück?

Definition

Ein sprachunabhängiger Tokenizer, der Unterworteinheiten direkt aus Rohtext lernt, ohne vorher in Leerzeichen aufzuteilen.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

CLIPEine multimodale Modellarchitektur, die gemeinsame Darstellungen zwischen Text und Bildern lernt.Kontinuierliches LernenTrainingsansätze, die es einem Modell ermöglichen, kontinuierlich aus neuen Daten zu lernen, ohne Vorkenntnisse zu vergessen.Lernen im KontextDie Fähigkeit eines Modells, Mustern anhand von Beispielen zu folgen, die direkt in der Eingabeaufforderung bereitgestellt werden.AbsichtsklassifizierungDen Zweck des Benutzers anhand einer Textabfrage vorhersagen, um ihn korrekt weiterzuleiten.Großes Sprachmodell (LLM)Ein Sprachmodell, das auf umfangreichen Textkorpora trainiert wurde, um Text zu generieren und zu analysieren.TokenEin von Sprachmodellen verarbeiteter Textblock, beispielsweise ein Wortteil oder ein Symbol.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

SentencePiece Tokenization

Siehe auch

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search