Istilah Glosari AI

Apakah Potongan Ayat?

Definisi

Tokenizer agnostik bahasa yang mempelajari unit subkata terus daripada teks mentah tanpa membahagikan pada ruang kosong.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

KLIPSeni bina model multimodal yang mempelajari perwakilan yang dikongsi antara teks dan imej.Pembelajaran BerterusanPendekatan latihan yang membolehkan model terus belajar daripada data baharu tanpa melupakan pengetahuan terdahulu.Pembelajaran Dalam KonteksKeupayaan model untuk mengikuti corak daripada contoh yang diberikan secara langsung dalam gesaan.Klasifikasi NiatMeramalkan tujuan pengguna daripada pertanyaan teks untuk mengarahkannya dengan betul.Model Bahasa Besar (LLM)Model bahasa yang dilatih mengenai korpora teks besar-besaran untuk menjana dan menganalisis teks.TokenSepotong teks yang diproses oleh model bahasa, seperti sekeping perkataan atau simbol.

Ketahui lebih lanjut dalam panduan percuma kami

SentencePiece Tokenization

Lihat juga

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search