Istilah Glosarium AI

Apa itu Potongan Kalimat?

Definisi

Tokenizer tanpa bahasa yang mempelajari unit subkata langsung dari teks mentah tanpa terlebih dahulu membagi spasi.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

KLIPArsitektur model multimodal yang mempelajari representasi bersama antara teks dan gambar.Pembelajaran BerkelanjutanPendekatan pelatihan yang memungkinkan model terus belajar dari data baru tanpa melupakan pengetahuan sebelumnya.Pembelajaran Dalam KonteksKemampuan model untuk mengikuti pola dari contoh yang diberikan langsung di prompt.Klasifikasi NiatMemprediksi tujuan pengguna dari kueri teks untuk merutekannya dengan benar.Model Bahasa Besar (LLM)Model bahasa yang dilatih pada corpora teks besar untuk menghasilkan dan menganalisis teks.TandaSepotong teks yang diproses oleh model bahasa, seperti potongan kata atau simbol.

Pelajari lebih lanjut di panduan gratis kami

SentencePiece Tokenization

Lihat juga

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search