Tokenisasi
Tokenisasi adalah langkah yang memotong teks menjadi potongan-potongan kecil yang disebut token, unit yang benar-benar dibaca dan diprediksi oleh model bahasa.
Ikhtisar
It quietly shapes cost, context limits, and even how well a model handles spelling and rare words.
Menyelam Lebih Dalam
Sebelum model melihat teks Anda, tokenizer membaginya menjadi token, yang biasanya berupa potongan subkata, bukan seluruh kata atau satu huruf. Kata 'ketidakbahagiaan' bisa menjadi 'un', 'kebahagiaan', atau 'tokenisasi' bisa dibagi menjadi 'token' dan 'ization'. Kata-kata umum sering kali dipetakan ke satu token, sedangkan kata, nama, atau kode langka dipecah menjadi beberapa. Setiap token kemudian dipetakan ke nomor ID yang diubah model menjadi vektor. Hal ini penting secara praktis karena model memiliki jendela konteks tetap yang diukur dalam token, dan tagihan API per token, sehingga aturan praktis dalam bahasa Inggris adalah sekitar 4 karakter atau 0,75 kata per token. Tokenisasi juga menjelaskan keunikan model klasik: sulit menghitung huruf atau mengeja dengan tepat karena model melihat potongan, bukan karakter individual.
Wawasan Teknis
Kebanyakan LLM modern menggunakan tokenisasi subkata seperti Byte Pair Encoding (BPE) atau varian tingkat byte-nya. BPE dimulai dari karakter dan berulang kali menggabungkan pasangan berdekatan yang paling sering digunakan untuk membangun kosakata tetap (seringkali 30.000 hingga 100.000+ token). Hal ini menyeimbangkan dua ekstrem: tokenisasi tingkat kata tidak dapat menangani kata-kata yang tidak terlihat, sedangkan tingkat karakter membuat urutan menjadi sangat panjang. Subkata memungkinkan model mewakili string apa pun, termasuk kesalahan ketik dan kata-kata baru, dengan menyusun bagian-bagian yang diketahui, sekaligus menjaga urutannya tetap pendek.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Tokenisasi
Tokenisasi adalah bidang penelitian aktif karena membatasi efisiensi dan keadilan. Bahasa yang dipecah menjadi lebih banyak memerlukan biaya lebih besar dan menggunakan konteks lebih cepat, sehingga keadilan multibahasa adalah masalah nyata yang harus diatasi dengan kosakata yang lebih baik dan seimbang. Para peneliti juga mengeksplorasi model bebas token atau tingkat byte (seperti ByT5) dan mempelajari tokenisasi yang dapat sepenuhnya menghilangkan langkah rapuh yang disesuaikan dengan tangan. Untuk saat ini, perkirakan kosakata yang lebih banyak, pembuat token multibahasa yang lebih cerdas, dan meningkatnya kesadaran pengguna akan penetapan harga berbasis token dan penganggaran konteks.
Implementasi Dunia Nyata
Harga API untuk model seperti GPT dan Claude ditagihkan per token input dan output, sehingga jumlah token secara langsung memengaruhi biaya.
Batas jendela konteks (misalnya, 128 ribu atau 200 ribu token) diukur dalam token, sehingga membatasi jumlah teks atau kode yang dapat Anda sertakan.
Pengembang menggunakan tokenizer (seperti tiktoken) untuk memperkirakan ukuran cepat dan memangkas konten sebelum mengirim permintaan.
Tokenisasi menjelaskan mengapa model kesulitan menghitung huruf dalam sebuah kata atau membalikkan string, karena mereka melihat potongan subkata, bukan karakter.
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Tokenisasi membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Tokenisasi Bagian Kalimat
Pertanyaan yang sering diajukan
What is Tokenization?
Tokenisasi adalah langkah yang memotong teks menjadi potongan-potongan kecil yang disebut token, unit yang benar-benar dibaca dan diprediksi oleh model bahasa. Ini secara diam-diam menentukan biaya, batasan konteks, dan bahkan seberapa baik model menangani ejaan dan kata-kata langka.
Apa yang dimaksud dengan 'token' dalam konteks model bahasa?
Token adalah unit yang diproses model, biasanya potongan subkata, terkadang seluruh kata atau karakter tunggal.
Pendekatan tokenisasi manakah yang digunakan sebagian besar LLM modern?
Metode subkata seperti BPE sering menggabungkan pasangan karakter, menyeimbangkan kelemahan pendekatan tingkat kata murni dan tingkat karakter.
Mengapa tokenisasi membuat tugas seperti menghitung huruf dalam sebuah kata menjadi sulit bagi LLM?
Karena teks dikelompokkan ke dalam token subkata, model tidak melihat setiap karakter secara langsung, sehingga tugas tingkat huruf rentan terhadap kesalahan.
Mengapa tokenisasi penting dalam hal biaya API dan batasan konteks?
Tagihan penyedia per token dan jendela konteks diukur dalam token, sehingga jumlah token menentukan harga dan jumlah yang dapat Anda sertakan.
Mengapa kalimat yang sama bisa lebih mahal dalam beberapa bahasa dibandingkan dalam bahasa Inggris?
Kosakata yang sebagian besar dilatih dalam bahasa Inggris membagi bahasa lain menjadi lebih banyak token, sehingga meningkatkan biaya dan mengonsumsi konteks dengan lebih cepat.