Tokenisasi Subkata
Tokenisasi subkata membagi teks menjadi unit yang lebih kecil dari kata tetapi lebih besar dari karakter, seperti 'token' ditambah 'isasi'.
Ikhtisar
It is the standard way modern language models turn text into the discrete IDs they actually process, balancing vocabulary size against meaning.
Menyelam Lebih Dalam
Kata-kata terlalu banyak untuk disebutkan (kosa kata akan sangat banyak dan kehilangan kata-kata yang jarang), sementara karakter tunggal tidak mempunyai arti dan membuat rangkaian menjadi sangat panjang. Tokenisasi subkata adalah komprominya: ia menjaga kata-kata yang sering muncul tetap utuh tetapi memecah kata-kata yang jarang atau rumit menjadi bagian-bagian yang bermakna. 'Ketidakbahagiaan' bisa menjadi 'un', 'happi', 'ness'. Algoritme utama mencakup Byte-Pair Encoding (digunakan oleh GPT), WordPiece (digunakan oleh BERT), dan Unigram/SentencePiece (digunakan oleh T5 dan banyak model multibahasa). Pendekatan ini menangani kata-kata yang tidak terlihat dengan baik, membagi potongan kata-kata terkait ('bermain', 'bermain', 'dimainkan'), dan mendukung bahasa apa pun. Setiap fragmen dipetakan ke ID bilangan bulat, dan ID inilah yang diubah oleh lapisan penyematan model menjadi vektor.
Wawasan Teknis
Algoritme yang berbeda memilih subkata secara berbeda: BPE menggabungkan pasangan yang sering dari bawah ke atas, WordPiece memilih gabungan yang paling meningkatkan kemungkinan korpus, dan Unigram memulai dengan kosakata yang banyak dan memangkas token yang paling sedikit merugikan kemungkinan. WordPiece menandai bagian internal kata dengan awalan '##', sedangkan SentencePiece memperlakukan spasi sebagai simbol khusus sehingga berfungsi langsung pada teks mentah tanpa terlebih dahulu memisahkan spasi, ideal untuk bahasa tanpa spasi.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Tokenisasi Subword
Tokenisasi subkata akan tetap dominan karena cepat dan ringkas, namun kelemahannya, pemisahan yang tidak tepat dalam matematika, kode, dan skrip langka, ditambah biaya token yang tidak merata di seluruh bahasa, mendorong penelitian ke dalam model tingkat byte dan bebas token. Harapkan tokenizer yang lebih cerdas, mungkin terpelajar atau adaptif dan keadilan multibahasa yang lebih baik sehingga teks non-Inggris tidak dikenakan sanksi dengan lebih banyak token per kalimat.
Implementasi Dunia Nyata
BERT menggunakan tokenisasi WordPiece, menandai bagian lanjutan seperti '##ing' untuk membangun kembali kata-kata asli.
T5 dan banyak model multibahasa menggunakan SentencePiece, yang menangani bahasa tanpa spasi seperti bahasa Jepang secara langsung.
Model obrolan membagi istilah teknis yang jarang menjadi bagian-bagian yang diketahui, bukannya gagal pada kata yang tidak diketahui.
Tokenizer berbagi subkata di 'run', 'running', dan 'runner', sehingga model dapat menggeneralisasi morfologi secara efisien.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Subword Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Tokenisasi Bagian Kalimat
Pertanyaan yang sering diajukan
What is Subword Tokenization?
Tokenisasi subkata membagi teks menjadi unit yang lebih kecil dari kata tetapi lebih besar dari karakter, seperti 'token' ditambah 'isasi'. Ini adalah cara standar model bahasa modern mengubah teks menjadi ID terpisah yang sebenarnya mereka proses, menyeimbangkan ukuran kosa kata dengan makna.
Masalah apa yang dipecahkan oleh tokenisasi subkata dibandingkan dengan menggunakan seluruh kata?
Kosakata seluruh kata sangat banyak dan masih ada kata-kata langka yang terlewatkan; subkata membuat kosakata tetap mudah dikelola dan memisahkan kata-kata yang tidak diketahui dengan anggun.
Manakah dari algoritma tokenisasi subkata berikut yang digunakan oleh BERT?
BERT menggunakan WordPiece, yang memilih penggabungan yang paling meningkatkan kemungkinan korpus pelatihan.
Bagaimana biasanya WordPiece menandai bagian yang melanjutkan sebuah kata?
WordPiece mengawali subkata internal kata dengan '##', sehingga 'bermain' menjadi 'bermain' ditambah '##ing'.
Mengapa SentencePiece cocok untuk bahasa seperti Jepang?
SentencePiece beroperasi pada teks mentah dan mengkodekan spasi sebagai simbol khusus, sehingga berfungsi bahkan tanpa spasi di antara kata.
Apa yang pada akhirnya dipetakan oleh setiap fragmen subkata sebelum mencapai model?
Setiap subkata diberi ID bilangan bulat, yang kemudian diubah oleh lapisan penyematan menjadi vektor yang dapat diproses oleh model.