Tokenisasi dan Pengkodean Pasangan Byte
Tokenisasi membagi teks menjadi unit-unit kecil yang benar-benar dibaca oleh model bahasa, dan Byte Pair Encoding (BPE) adalah metode populer untuk membangun kosakata tersebut.
Ikhtisar
It balances having a manageable vocabulary against handling any word the model might encounter.
Menyelam Lebih Dalam
Model bahasa tidak melihat karakter mentah atau seluruh kata — model bahasa melihat token, ID bilangan bulat yang dipetakan ke potongan teks. Memilih bagian-bagian tersebut merupakan sebuah pengorbanan: kosakata tingkat kata sangat banyak dan menghambat kata-kata yang tidak terlihat atau salah eja, sedangkan kosakata tingkat karakter membuat urutannya sangat panjang. Pengkodean Pasangan Byte mencapai jalan tengah. Dipinjam dari algoritme kompresi data tahun 1990-an, BPE dimulai dari karakter individual (atau byte mentah) dan berulang kali menggabungkan pasangan berdekatan yang paling sering digunakan menjadi token baru, sehingga mengembangkan kosa kata menjadi subkata umum. Kata-kata yang sering menjadi token tunggal, sedangkan kata-kata yang jarang dipecah menjadi bagian-bagian yang dapat digunakan kembali. BPE tingkat byte, yang digunakan oleh model GPT, beroperasi pada byte mentah sehingga dapat mewakili teks Unicode apa pun — termasuk emoji dan bahasa apa pun — tanpa kegagalan di luar kosakata.
Wawasan Teknis
Pelatihan BPE bersifat serakah dan berdasarkan frekuensi. Dimulai dari alfabet dasar, ini menghitung pasangan simbol yang berdekatan di seluruh korpus dan menggabungkan pasangan yang paling umum, mencatat setiap penggabungan sebagai aturan. Mengulanginya ribuan kali menghasilkan daftar gabungan yang terurut dan kosakata yang tetap. Pada inferensi, teks dikodekan dengan menerapkan aturan penggabungan tersebut secara berurutan. Inilah sebabnya mengapa jumlah token jarang cocok dengan jumlah kata: spasi, huruf besar, dan kata-kata langka semuanya mengubah cara fragmen teks menjadi token, dan satu kata dapat menjadi beberapa token.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Tokenisasi dan Pengkodean Pasangan Byte
Tokenisasi sedang dalam pemikiran ulang aktif. Model tingkat byte dan karakter seperti ByT5, dan arsitektur bebas token atau 'byte-laten' yang sedang berkembang, bertujuan untuk menghilangkan kosakata tetap seluruhnya sehingga model menangani masukan dan bahasa apa pun secara seragam. Para peneliti juga menangani keadilan tokenisasi – banyak bahasa non-Inggris dan bahasa dengan sumber daya rendah saat ini membutuhkan lebih banyak token per kalimat, sehingga menaikkan harga dan menyusutkan konteks efektif. Harapkan tokenizer disesuaikan dengan kode, matematika, dan keseimbangan multibahasa, ditambah eksperimen berkelanjutan untuk mendorong batasan kembali ke byte mentah.
Implementasi Dunia Nyata
Model GPT dan Llama menggunakan tokenizer bergaya BPE untuk mengubah perintah menjadi ID token yang diproses jaringan.
Penetapan harga API dan batas jendela konteks diukur dalam token, sehingga tokenisasi secara langsung memengaruhi biaya dan jumlah teks yang sesuai.
Menangani emoji, kode, dan kata-kata langka dengan baik dengan membaginya menjadi subkata atau fragmen byte yang dapat digunakan kembali.
Mendukung banyak bahasa dalam satu model tanpa kamus terpisah per bahasa, melalui pengkodean tingkat byte.
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization and Byte Pair Encoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pengkodean Pasangan Byte
Pertanyaan yang sering diajukan
What is Tokenization and Byte Pair Encoding?
Tokenisasi membagi teks menjadi unit-unit kecil yang benar-benar dibaca oleh model bahasa, dan Byte Pair Encoding (BPE) adalah metode populer untuk membangun kosakata tersebut. Ini menyeimbangkan kosakata yang mudah dikelola dengan penanganan kata apa pun yang mungkin ditemui model.
Apa yang dihasilkan tokenisasi untuk dibaca oleh model bahasa?
Model beroperasi pada token — ID bilangan bulat yang mewakili karakter, subkata, atau kata — bukan string teks mentah.
Bagaimana Byte Pair Encoding membangun kosakatanya?
BPE dimulai dari karakter atau byte dan dengan rakus menggabungkan pasangan berdekatan yang paling sering, secara bertahap membentuk token subkata umum.
Masalah apa yang dipecahkan oleh metode subkata seperti BPE dibandingkan dengan tokenisasi tingkat kata?
Kosakata tingkat kata gagal pada kata-kata yang tidak terlihat; tokenisasi subkata memecah kata-kata langka menjadi bagian-bagian yang diketahui, menghindari masalah di luar kosakata sekaligus menjaga kosakata tetap terkendali.
Apa keuntungan BPE tingkat byte, seperti yang digunakan dalam model GPT?
Beroperasi pada byte mentah berarti setiap masukan yang mungkin dapat dikodekan, sehingga tidak ada karakter yang benar-benar tidak dikenal, apa pun bahasa atau simbolnya.
Mengapa jumlah token model sering kali berbeda dengan jumlah kata dalam kalimat?
Tokenisasi subkata dapat memecah satu kata menjadi beberapa fragmen dan sensitif terhadap spasi dan huruf besar/kecil, sehingga jumlah token jarang sama dengan jumlah kata.