SelanjutnyaPanduan berikutnya
Pengkodean Pasangan Byte
Bahasa AI
PANDUAN Teknis
Tokenisasi dan Pengkodean Pasangan Byte
Tokenisasi membagi teks menjadi unit-unit kecil yang benar-benar dibaca oleh model bahasa, dan Byte Pair Encoding (BPE) adalah metode populer untuk membangun kosakata tersebut.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Ini menyeimbangkan memiliki kosakata yang mudah dikelola dengan menangani kata apa pun yang mungkin ditemui model.
Menyelam Lebih Dalam
Model bahasa tidak melihat karakter mentah atau seluruh kata — model bahasa melihat token, ID bilangan bulat yang dipetakan ke potongan teks. Memilih bagian-bagian tersebut merupakan sebuah pengorbanan: kosakata tingkat kata sangat banyak dan menghambat kata-kata yang tidak terlihat atau salah eja, sedangkan kosakata tingkat karakter membuat urutannya sangat panjang. Pengkodean Pasangan Byte mencapai jalan tengah. Dipinjam dari algoritme kompresi data tahun 1990-an, BPE dimulai dari karakter individual (atau byte mentah) dan berulang kali menggabungkan pasangan berdekatan yang paling sering digunakan menjadi token baru, sehingga mengembangkan kosa kata menjadi subkata umum. Kata-kata yang sering menjadi token tunggal, sedangkan kata-kata yang jarang dipecah menjadi bagian-bagian yang dapat digunakan kembali. BPE tingkat byte, yang digunakan oleh model GPT, beroperasi pada byte mentah sehingga dapat mewakili teks Unicode apa pun — termasuk emoji dan bahasa apa pun — tanpa kegagalan di luar kosakata.
Implementasi Dunia Nyata
Model GPT dan Llama menggunakan tokenizer bergaya BPE untuk mengubah perintah menjadi ID token yang diproses jaringan.
Penetapan harga API dan batas jendela konteks diukur dalam token, sehingga tokenisasi secara langsung memengaruhi biaya dan jumlah teks yang sesuai.
Menangani emoji, kode, dan kata-kata langka dengan baik dengan membaginya menjadi subkata atau fragmen byte yang dapat digunakan kembali.
Mendukung banyak bahasa dalam satu model tanpa kamus terpisah per bahasa, melalui pengkodean tingkat byte.
Masa Depan Tokenisasi dan Pengkodean Pasangan Byte
Tokenisasi sedang dalam pemikiran ulang aktif. Model tingkat byte dan karakter seperti ByT5, dan arsitektur bebas token atau 'byte-laten' yang sedang berkembang, bertujuan untuk menghilangkan kosakata tetap seluruhnya sehingga model menangani masukan dan bahasa apa pun secara seragam. Para peneliti juga menangani keadilan tokenisasi – banyak bahasa non-Inggris dan bahasa dengan sumber daya rendah saat ini membutuhkan lebih banyak token per kalimat, sehingga menaikkan harga dan menyusutkan konteks efektif. Harapkan tokenizer disesuaikan dengan kode, matematika, dan keseimbangan multibahasa, ditambah eksperimen berkelanjutan untuk mendorong batasan kembali ke byte mentah.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Tokenization and Byte Pair Encoding quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Tokenisasi dan Pengkodean Pasangan Byte?
Tokenisasi membagi teks menjadi unit-unit kecil yang benar-benar dibaca oleh model bahasa, dan Byte Pair Encoding (BPE) adalah metode populer untuk membangun kosakata tersebut. Ini menyeimbangkan kosakata yang mudah dikelola dengan penanganan kata apa pun yang mungkin ditemui model.
Apa yang dihasilkan tokenisasi untuk dibaca oleh model bahasa?
Model beroperasi pada token — ID bilangan bulat yang mewakili karakter, subkata, atau kata — bukan string teks mentah.
Bagaimana Byte Pair Encoding membangun kosakatanya?
BPE dimulai dari karakter atau byte dan dengan rakus menggabungkan pasangan berdekatan yang paling sering, secara bertahap membentuk token subkata umum.
Masalah apa yang dipecahkan oleh metode subkata seperti BPE dibandingkan dengan tokenisasi tingkat kata?
Kosakata tingkat kata gagal pada kata-kata yang tidak terlihat; tokenisasi subkata memecah kata-kata langka menjadi bagian-bagian yang diketahui, menghindari masalah di luar kosakata sekaligus menjaga kosakata tetap terkendali.
Apa keuntungan BPE tingkat byte, seperti yang digunakan dalam model GPT?
Beroperasi pada byte mentah berarti setiap masukan yang mungkin dapat dikodekan, sehingga tidak ada karakter yang benar-benar tidak dikenal, apa pun bahasa atau simbolnya.
Mengapa jumlah token model sering kali berbeda dengan jumlah kata dalam kalimat?
Tokenisasi subkata dapat memecah satu kata menjadi beberapa fragmen dan sensitif terhadap spasi dan huruf besar/kecil, sehingga jumlah token jarang sama dengan jumlah kata.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini