PANDUAN AI Bahasa
Tokenisasi Bagian Kalimat
SentencePiece adalah tokenizer tanpa bahasa yang mempelajari cara membagi teks mentah menjadi potongan subkata langsung dari data, tanpa bergantung pada spasi.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Hal ini membuat model multibahasa jauh lebih mudah dibangun dengan memperlakukan bahasa apa pun dengan cara yang sama.
Menyelam Lebih Dalam
Kebanyakan pembuat token menganggap kata-kata dipisahkan oleh spasi, yang tidak berlaku untuk bahasa seperti Jepang, China, atau Thailand yang tidak menggunakannya. SentencePiece, dirilis oleh Google pada tahun 2018, menghindari hal ini dengan memperlakukan masukan sebagai aliran karakter mentah — termasuk spasi — dan mempelajari kosakata unit subkata dari data itu sendiri. Ini terkenal menggantikan spasi dengan penanda yang terlihat (simbol meta seperti garis bawah) sehingga tokenisasi sepenuhnya dapat dibalik: Anda selalu dapat merekonstruksi teks asli dengan tepat. SentencePiece mendukung dua algoritma utama, Byte-Pair Encoding (BPE) dan model bahasa Unigram, yang terakhir adalah metode tanda tangannya. Karena tidak memerlukan pra-tokenisasi khusus bahasa, pipeline yang sama dapat digunakan di ratusan bahasa, itulah sebabnya model seperti T5, ALBERT, dan banyak sistem multibahasa mengandalkannya.
Implementasi Dunia Nyata
Model T5 Google, yang menggunakan kosakata SentencePiece yang dilatih pada teks web multibahasa.
Tokenisasi teks Jepang atau Mandarin yang tidak memiliki spasi antar kata, sehingga tokenizer berbasis kata gagal.
Membangun satu kosakata bersama dalam 100+ bahasa untuk sistem terjemahan multibahasa.
Merekonstruksi masukan asli (termasuk spasi) dari token tanpa kehilangan, berguna untuk pembuatan kode yang mengutamakan spasi.
Masa Depan Tokenisasi SentencePiece
SentencePiece tetap menjadi pekerja keras untuk model multibahasa dan kode karena reversibilitas dan netralitas bahasanya. Bidang ini secara bertahap mengeksplorasi pendekatan tingkat byte dan bebas tokenizer yang melewatkan kosakata subkata sepenuhnya, yang bertujuan untuk menghilangkan kebiasaan tokenisasi yang merugikan aritmatika, bahasa langka, dan angka panjang. Meski begitu, desain Unigram dan byte-fallback SentencePiece terus memengaruhi tokenizer yang lebih baru, dan filosofi train-from-raw-text yang lossless akan tetap menjadi dasar dalam waktu dekat.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
- Akses dan jangkauan. Ini memperluas akses lintas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Hati-hati
- Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
- Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
- Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Langkah selanjutnya
- Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
- Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
- Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
- Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the SentencePiece Tokenization quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Tokenisasi SentencePiece?
SentencePiece adalah tokenizer tanpa bahasa yang mempelajari cara membagi teks mentah menjadi potongan subkata langsung dari data, tanpa bergantung pada spasi. Hal ini membuat model multibahasa jauh lebih mudah dibangun dengan memperlakukan bahasa apa pun dengan cara yang sama.
Asumsi utama apa yang dihindari oleh SentencePiece yang diandalkan oleh pembuat token tradisional?
SentencePiece memperlakukan masukan sebagai aliran karakter mentah, sehingga berfungsi bahkan untuk bahasa tanpa spasi antar kata.
Mengapa SentencePiece mengganti spasi dengan simbol meta yang terlihat?
Mengkodekan spasi sebagai penanda yang terlihat berarti teks asli, termasuk spasi, selalu dapat direkonstruksi dengan tepat.
Dua algoritma manakah yang terutama didukung oleh SentencePiece?
SentencePiece menawarkan Byte-Pair Encoding (BPE) dan model bahasa Unigram, dengan Unigram sebagai metode tanda tangannya.
Bagaimana model Unigram membangun kosakatanya?
Unigram dimulai dengan banyak kandidat dan secara berulang menghapus kandidat yang berkontribusi paling kecil terhadap kemungkinan korpus menggunakan Ekspektasi-Maksimalisasi.
Model mana yang terkenal menggunakan tokenizer SentencePiece?
T5 Google menggunakan kosakata SentencePiece, seperti halnya ALBERT dan banyak model multibahasa.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini