What is SentencePiece? Definition | AI Understanding

Definisi

Tokenizer agnostik bahasa yang mempelajari unit subkata terus daripada teks mentah tanpa membahagikan pada ruang kosong.

Istilah berkaitan

Seni bina model multimodal yang mempelajari perwakilan yang dikongsi antara teks dan imej.

Pembelajaran Berterusan

Pendekatan latihan yang membolehkan model terus belajar daripada data baharu tanpa melupakan pengetahuan terdahulu.

Pembelajaran Dalam Konteks

Keupayaan model untuk mengikuti corak daripada contoh yang diberikan secara langsung dalam gesaan.

Klasifikasi Niat

Meramalkan tujuan pengguna daripada pertanyaan teks untuk mengarahkannya dengan betul.

Model Bahasa Besar (LLM)

Model bahasa yang dilatih mengenai korpora teks besar-besaran untuk menjana dan menganalisis teks.

Sepotong teks yang diproses oleh model bahasa, seperti sekeping perkataan atau simbol.

Ketahui lebih lanjut dalam panduan percuma kami

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window Attention HNSW ALiBi Reranker RoPE (Rotary Positional Embeddings)Hybrid Search

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma