Istilah Glosarium AI

Apa itu Potongan Kalimat?

Definisi

Tokenizer tanpa bahasa yang mempelajari unit subkata langsung dari teks mentah tanpa terlebih dahulu membagi spasi.

Istilah terkait

KLIP
Arsitektur model multimodal yang mempelajari representasi bersama antara teks dan gambar.
Pembelajaran Berkelanjutan
Pendekatan pelatihan yang memungkinkan model terus belajar dari data baru tanpa melupakan pengetahuan sebelumnya.
Pembelajaran Dalam Konteks
Kemampuan model untuk mengikuti pola dari contoh yang diberikan langsung di prompt.
Klasifikasi Niat
Memprediksi tujuan pengguna dari kueri teks untuk merutekannya dengan benar.
Model Bahasa Besar (LLM)
Model bahasa yang dilatih pada corpora teks besar untuk menghasilkan dan menganalisis teks.
Tanda
Sepotong teks yang diproses oleh model bahasa, seperti potongan kata atau simbol.

Pelajari lebih lanjut di panduan gratis kami

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis