PANDUAN Masyarakat

Perbezaan Tokenisasi Merentas Bahasa

Jurang tokenisasi bermakna mesej yang sama boleh mengambil lebih banyak token dalam sesetengah bahasa berbanding dalam bahasa Inggeris, kerana kebanyakan tokenizer dibina daripada teks yang kebanyakannya bahasa Inggeris.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Ketaksamaan Tokenisasi Merentas Bahasa
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Memandangkan perkhidmatan AI mengecaj mengikut token dan mengehadkan bilangan token yang sesuai dalam tetingkap konteks, penutur bahasa tersebut boleh membayar lebih, memuatkan kurang teks dan menunggu lebih lama untuk kerja yang sama. Itu menjadikan reka bentuk tokenizer sebagai isu keadilan dan juga teknikal.

Menyelam dalam

Seorang tokenizer mempelajari ketulan teks yang mana untuk dianggap sebagai token tunggal dengan mengkaji korpus latihan. Rentetan biasa mendapat tokennya sendiri; rentetan jarang dipecahkan kepada kepingan yang lebih kecil, kadangkala turun kepada bait individu. Apabila korpus itu dikuasai oleh bahasa Inggeris dan beberapa bahasa sumber tinggi yang lain, bahasa tersebut mendapat token yang cekap untuk keseluruhan perkataan dan bahagian perkataan biasa. Bahasa yang jarang muncul, atau yang menggunakan skrip yang setiap aksara mengambil beberapa bait dalam pengekodan UTF-8, seperti banyak skrip Asia Selatan, Asia Tenggara dan Afrika, terbahagi kepada lebih banyak bahagian. Kesannya boleh diukur. Penyelidikan yang diterbitkan pada tahun 2023, termasuk kerja oleh Petrov dan rakan sekerja mengenai ketidakadilan tokenizer, mendapati bahawa terjemahan teks yang sama mungkin memerlukan beberapa kali lebih banyak token dalam beberapa bahasa berbanding dalam bahasa Inggeris, dengan jurang terbesar melebihi sepuluh kali ganda untuk bahasa dan tokenizer tertentu. Ini penting dalam tiga cara konkrit. Kos: Harga API adalah setiap token, jadi kiraan token yang lebih panjang ialah kenaikan harga langsung untuk kandungan yang sama. Konteks: tetingkap konteks tetap mengandungi kurang teks sebenar, jadi dokumen mesti dikurangkan dan perbualan kehilangan giliran awal lebih cepat. Kelajuan dan kualiti: lebih banyak token bermakna lebih banyak langkah penjanaan, dan pemecahan berat boleh menyukarkan model untuk mempelajari perwakilan perkataan yang baik, yang mungkin menyumbang kepada prestasi yang lebih lemah dalam bahasa tersebut. Penyedia telah bertindak balas sebahagiannya. Apabila OpenAI mengeluarkan GPT-4o pada tahun 2024, ia memperkenalkan tokenizer yang lebih besar dan mengatakan ia menggunakan lebih sedikit token untuk banyak bahasa bukan Inggeris. Perbendaharaan kata yang lebih besar dan data latihan yang lebih seimbang membantu, tetapi mereka tidak menghapuskan jurang sepenuhnya. Kesalahpahaman yang lazim ialah sesetengah bahasa adalah lebih perkataan. Terjemahan memang berbeza dari segi panjang, tetapi jurang token yang besar datang terutamanya daripada cara tokenizer dibina, bukan daripada bahasa itu sendiri.

Pelaksanaan Dunia Sebenar

Organisasi bukan untung kesihatan menterjemahkan risalah pesakit yang sama ke dalam bahasa Inggeris, Hindi dan Amharic dan mendapati versi bukan bahasa Inggeris menggunakan beberapa kali lebih banyak token, jadi bil API untuk bahasa tersebut adalah lebih tinggi.

Bot sembang untuk penutur Burma mencapai had konteks selepas lebih sedikit perbualan bertukar daripada versi bahasa Inggeris, jadi ia melupakan mesej awal lebih cepat.

Seorang pembangun menyemak artikel sokongan Korea dengan pemapar tokenizer dan melihat banyak perkataan dipecah menjadi serpihan pendek, manakala asal bahasa Inggeris kebanyakannya memetakan kepada satu token setiap perkataan.

Pasukan penyelidik membandingkan tokenizer yang lebih lama dan lebih baharu daripada pembekal yang sama dan mendapati yang lebih baharu menggunakan token yang ketara lebih sedikit untuk dokumen Arab dan Tamil mereka.

Masa Depan Ketaksamaan Tokenisasi Merentas Bahasa

Perbendaharaan kata Tokenizer telah berkembang, dan beberapa penyedia kini menghebahkan penambahbaikan untuk teks bukan bahasa Inggeris, jadi jurang itu mungkin akan terus mengecil untuk bahasa yang digunakan secara meluas. Bahasa sumber rendah mungkin terus ketinggalan melainkan data latihan dan reka bentuk tokenizer sengaja memasukkannya. Penyelidikan ke dalam model peringkat bait dan kumpulan dinamik boleh mengurangkan pergantungan pada perbendaharaan kata tetap, walaupun reka bentuk tersebut mempunyai kos pengiraan mereka sendiri. Buat masa ini, organisasi yang melayani khalayak berbilang bahasa harus mengukur kiraan token dalam setiap bahasa yang mereka sokong dan menganggap had kos dan konteks setiap bahasa sebagai sebahagian daripada perancangan kebolehaksesan.

Mempraktikkannya

Mengapa ia penting

  • Risiko dan keselamatan. Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
  • Keputusan yang lebih jelas. Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
  • Memotong keterujaan. Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.

Berhati-hati untuk

  • Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
  • Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
  • Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.

Langkah seterusnya

  1. Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
  2. Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
  3. Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
  4. Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Tokenization Disparities Across Languages

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Ketaksamaan Tokenisasi Merentas Bahasa?

Jurang tokenisasi bermakna mesej yang sama boleh mengambil lebih banyak token dalam sesetengah bahasa berbanding dalam bahasa Inggeris, kerana kebanyakan tokenizer dibina daripada teks yang kebanyakannya bahasa Inggeris. Memandangkan perkhidmatan AI mengecaj mengikut token dan mengehadkan bilangan token yang sesuai dalam tetingkap konteks, penutur bahasa tersebut boleh membayar lebih, memuatkan kurang teks dan menunggu lebih lama untuk kerja yang sama. Itu menjadikan reka bentuk tokenizer sebagai isu keadilan dan juga teknikal.

Apakah punca utama jurang kiraan token yang besar antara bahasa?

Tokenizer memberikan token yang cekap kepada rentetan yang biasa dalam korpus latihan mereka. Bahasa yang kurang diwakili terbahagi kepada lebih banyak bahagian yang lebih kecil.

Mengapakah skrip seperti Devanagari atau Thai sering menghasilkan lebih banyak token di bawah tokenizer berasaskan bait?

Setiap aksara dalam skrip ini ialah beberapa UTF-8 bait. Jika tokenizer jarang menggabungkan jujukan bait tersebut, satu aksara boleh menjadi berbilang token.

Manakah antara ini BUKAN salah satu daripada tiga kesan kiraan token yang lebih tinggi yang dinamakan dalam panduan?

Panduan menyenaraikan kos, ruang konteks dan kelajuan atau kualiti. Penolakan automatik bukan akibat daripada kiraan token.

Apakah maksud istilah kesuburan dalam konteks ini?

Kesuburan mengukur token setiap perkataan. Kesuburan yang lebih tinggi bermakna teks dibahagikan kepada lebih banyak bahagian dan kos lebih tinggi.

Apakah perubahan yang diterangkan oleh OpenAI apabila ia mengeluarkan GPT-4o pada tahun 2024?

GPT-4o datang dengan tokenizer perbendaharaan kata yang lebih besar yang OpenAI katakan lebih cekap untuk kebanyakan bahasa bukan Inggeris.