Tokenisasi WordPiece
WordPiece adalah algoritme tokenisasi subkata yang mendukung BERT dan banyak model Google, memecah kata menjadi fragmen yang dapat digunakan kembali sehingga model dapat menangani teks apa pun dengan kosakata tetap.
Ikhtisar
It is why a model that has never seen 'unhappiness' can still understand it by reading 'un', '##happy', and '##ness'.
Menyelam Lebih Dalam
WordPiece membangun kosakata unit subkata, bukan seluruh kata atau karakter tunggal. Dimulai dari karakter individu, ia dengan rakus menggabungkan pasangan simbol yang paling meningkatkan kemungkinan korpus pelatihan, berulang hingga mencapai ukuran kosakata target (BERT menggunakan sekitar 30,000 token). Sebagai kesimpulan, ia melakukan tokenisasi dengan rakus dari kiri ke kanan, mencocokkan subkata terpanjang dalam kosa kata, lalu melanjutkan sisanya. Potongan lanjutan di dalam kata ditandai dengan awalan '##', sehingga 'bermain' menjadi 'bermain' + '##ing'. Hal ini memecahkan masalah di luar kosa kata: kata-kata yang jarang atau tidak terlihat akan diuraikan menjadi bagian-bagian yang diketahui, menjadi karakter tunggal jika diperlukan, sementara kata-kata umum tetap sebagai token tunggal untuk efisiensi.
Wawasan Teknis
WordPiece berbeda dari Byte-Pair Encoding dalam kriteria penggabungannya. BPE menggabungkan pasangan berdekatan yang paling sering; WordPiece menggabungkan pasangan yang memaksimalkan kemungkinan data pelatihan, secara kasar memilih pasangan yang frekuensi gabungannya paling melebihi hasil kali frekuensi bagian-bagiannya. Penanda '##' membedakan bagian awal kata dari kelanjutannya, memungkinkan tokenizer merekonstruksi batas kata dengan jelas saat mendekode kembali ke teks.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Tokenisasi WordPiece
Model bahasa besar yang lebih baru semakin menyukai BPE tingkat byte (keluarga GPT) atau model unigram SentencePiece, yang menghindari prapemrosesan khusus bahasa dan menangani masukan Unicode apa pun. WordPiece tetap menjadi dasar encoder turunan BERT yang masih banyak digunakan untuk pencarian dan klasifikasi. Harapkan penggunaan berkelanjutan dalam NLP produksi, di samping penelitian model byte dan karakter bebas tokenizer yang pada akhirnya dapat mengurangi ketergantungan pada kosakata subkata tetap sama sekali.
Implementasi Dunia Nyata
BERT memberi token pada kueri penelusuran di Google Penelusuran, memecah istilah asing menjadi subkata sehingga model tetap dapat mencocokkan halaman yang relevan.
BertTokenizer dari Hugging Face menggunakan WordPiece untuk mengubah teks mentah menjadi ID token yang dimasukkan ke BERT untuk analisis sentimen dan pengenalan entitas bernama.
BERT multibahasa menggunakan kosakata WordPiece yang dibagikan di lebih dari 100 bahasa, sehingga fragmen dapat digunakan kembali di seluruh skrip terkait.
Varian DistilBERT dan BERT klinis/biomedis mewarisi WordPiece, menangani istilah medis langka seperti 'pneumonoconiosis' dengan membaginya menjadi beberapa bagian yang diketahui.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WordPiece Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Tokenisasi Subkata
Pertanyaan yang sering diajukan
What is WordPiece Tokenization?
WordPiece adalah algoritme tokenisasi subkata yang mendukung BERT dan banyak model Google, memecah kata menjadi fragmen yang dapat digunakan kembali sehingga model dapat menangani teks apa pun dengan kosakata tetap. Itu sebabnya model yang belum pernah melihat 'ketidakbahagiaan' masih bisa memahaminya dengan membaca 'un', '##happy', dan '##ness'.
Apa yang ditunjukkan oleh awalan '##' dalam keluaran WordPiece?
WordPiece menandai kelanjutan subkata dengan '##', sehingga 'bermain' menjadi 'bermain' + '##ing', sehingga dekoder dapat merekonstruksi batasan kata.
Kira-kira seberapa besar kosakata WordPiece yang digunakan BERT asli?
BERT menggunakan kosakata WordPiece yang terdiri dari sekitar 30.000 unit subkata, menyeimbangkan cakupan dengan ukuran tabel penyematan.
Apa perbedaan kriteria penggabungan WordPiece dengan Pengkodean Byte-Pair standar?
BPE menggabungkan pasangan berdekatan yang paling sering, sementara WordPiece menggabungkan pasangan yang paling meningkatkan kemungkinan korpus, memilih pasangan yang frekuensi gabungannya melebihi produk dari bagian-bagiannya.
Bagaimana WordPiece menangani kata yang tidak pernah dilihat selama pelatihan?
Kata-kata yang tidak terlihat dipecah menjadi sub-kata terpanjang yang diketahui dan cocok, kembali ke karakter tunggal, yang memecahkan masalah di luar kosakata.
Pada waktu inferensi, bagaimana WordPiece memilih cara membagi kata?
WordPiece memberi token dengan rakus, mencocokkan entri kosakata terpanjang mulai dari posisi saat ini, lalu mengulangi sisanya.