Какво е SentencePiece? Определение | AI Understanding

Определение

Езиково-агностичен токенизатор, който научава единици поддуми директно от необработен текст без предварително разделяне на интервали.

Свързани термини

Архитектура на мултимодален модел, която научава споделени представяния между текст и изображения.

Непрекъснато обучение

Подходи за обучение, които позволяват на модела да продължи да се учи от нови данни, без да забравя предишни знания.

Обучение в контекст

Способността на модела да следва модели от примери, предоставени директно в подканата.

Класификация на намеренията

Предсказване на целта на потребителя от текстова заявка, за да я маршрутизира правилно.

Голям езиков модел (LLM)

Езиков модел, обучен върху масивни текстови корпуси за генериране и анализиране на текст.

Част от текст, обработен от езикови модели, като част от дума или символ.

Научете повече в нашите безплатни ръководства

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window Attention HNSW ALiBi Reranker RoPE (Rotary Positional Embeddings)Hybrid Search

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI