Термин от речника на AI

Какво е SentencePiece?

Определение

Езиково-агностичен токенизатор, който научава единици поддуми директно от необработен текст без предварително разделяне на интервали.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

КЛИПАрхитектура на мултимодален модел, която научава споделени представяния между текст и изображения.Непрекъснато обучениеПодходи за обучение, които позволяват на модела да продължи да се учи от нови данни, без да забравя предишни знания.Обучение в контекстСпособността на модела да следва модели от примери, предоставени директно в подканата.Класификация на намерениятаПредсказване на целта на потребителя от текстова заявка, за да я маршрутизира правилно.Голям езиков модел (LLM)Езиков модел, обучен върху масивни текстови корпуси за генериране и анализиране на текст.ТокенЧаст от текст, обработен от езикови модели, като част от дума или символ.

Научете повече в нашите безплатни ръководства

SentencePiece Tokenization

Вижте също

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search