What is SentencePiece? Definition | AI Understanding

Definice

Jazykově agnostický tokenizér, který se učí jednotky podslov přímo z nezpracovaného textu bez předběžného dělení na mezery.

Související pojmy

Architektura multimodálního modelu, která se učí sdílené reprezentace mezi textem a obrázky.

Průběžné učení

Tréninkové přístupy, které umožňují modelu neustále se učit z nových dat, aniž by zapomínal na předchozí znalosti.

Učení v kontextu

Schopnost modelu sledovat vzory z příkladů uvedených přímo ve výzvě.

Klasifikace záměru

Předpovídání účelu uživatele z textového dotazu k jeho správnému směrování.

Velký jazykový model (LLM)

Jazykový model trénovaný na masivních textových korpusech pro generování a analýzu textu.

Část textu zpracovaná jazykovými modely, jako je slovo nebo symbol.

Více se dozvíte v našich bezplatných průvodcích

SentencePiece Tokenization

Viz také

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window Attention HNSW ALiBi Reranker RoPE (Rotary Positional Embeddings)Hybrid Search

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI