SeterusnyaPanduan seterusnya
Bias Jantina dalam Model Bahasa
Masyarakat
PANDUAN Masyarakat
Jurang tokenisasi bermakna mesej yang sama boleh mengambil lebih banyak token dalam sesetengah bahasa berbanding dalam bahasa Inggeris, kerana kebanyakan tokenizer dibina daripada teks yang kebanyakannya bahasa Inggeris.
Dengar panduan iniAI-diceritakan · ~3 min
Memandangkan perkhidmatan AI mengecaj mengikut token dan mengehadkan bilangan token yang sesuai dalam tetingkap konteks, penutur bahasa tersebut boleh membayar lebih, memuatkan kurang teks dan menunggu lebih lama untuk kerja yang sama. Itu menjadikan reka bentuk tokenizer sebagai isu keadilan dan juga teknikal.
Seorang tokenizer mempelajari ketulan teks yang mana untuk dianggap sebagai token tunggal dengan mengkaji korpus latihan. Rentetan biasa mendapat tokennya sendiri; rentetan jarang dipecahkan kepada kepingan yang lebih kecil, kadangkala turun kepada bait individu. Apabila korpus itu dikuasai oleh bahasa Inggeris dan beberapa bahasa sumber tinggi yang lain, bahasa tersebut mendapat token yang cekap untuk keseluruhan perkataan dan bahagian perkataan biasa. Bahasa yang jarang muncul, atau yang menggunakan skrip yang setiap aksara mengambil beberapa bait dalam pengekodan UTF-8, seperti banyak skrip Asia Selatan, Asia Tenggara dan Afrika, terbahagi kepada lebih banyak bahagian. Kesannya boleh diukur. Penyelidikan yang diterbitkan pada tahun 2023, termasuk kerja oleh Petrov dan rakan sekerja mengenai ketidakadilan tokenizer, mendapati bahawa terjemahan teks yang sama mungkin memerlukan beberapa kali lebih banyak token dalam beberapa bahasa berbanding dalam bahasa Inggeris, dengan jurang terbesar melebihi sepuluh kali ganda untuk bahasa dan tokenizer tertentu. Ini penting dalam tiga cara konkrit. Kos: Harga API adalah setiap token, jadi kiraan token yang lebih panjang ialah kenaikan harga langsung untuk kandungan yang sama. Konteks: tetingkap konteks tetap mengandungi kurang teks sebenar, jadi dokumen mesti dikurangkan dan perbualan kehilangan giliran awal lebih cepat. Kelajuan dan kualiti: lebih banyak token bermakna lebih banyak langkah penjanaan, dan pemecahan berat boleh menyukarkan model untuk mempelajari perwakilan perkataan yang baik, yang mungkin menyumbang kepada prestasi yang lebih lemah dalam bahasa tersebut. Penyedia telah bertindak balas sebahagiannya. Apabila OpenAI mengeluarkan GPT-4o pada tahun 2024, ia memperkenalkan tokenizer yang lebih besar dan mengatakan ia menggunakan lebih sedikit token untuk banyak bahasa bukan Inggeris. Perbendaharaan kata yang lebih besar dan data latihan yang lebih seimbang membantu, tetapi mereka tidak menghapuskan jurang sepenuhnya. Kesalahpahaman yang lazim ialah sesetengah bahasa adalah lebih perkataan. Terjemahan memang berbeza dari segi panjang, tetapi jurang token yang besar datang terutamanya daripada cara tokenizer dibina, bukan daripada bahasa itu sendiri.
Organisasi bukan untung kesihatan menterjemahkan risalah pesakit yang sama ke dalam bahasa Inggeris, Hindi dan Amharic dan mendapati versi bukan bahasa Inggeris menggunakan beberapa kali lebih banyak token, jadi bil API untuk bahasa tersebut adalah lebih tinggi.
Bot sembang untuk penutur Burma mencapai had konteks selepas lebih sedikit perbualan bertukar daripada versi bahasa Inggeris, jadi ia melupakan mesej awal lebih cepat.
Seorang pembangun menyemak artikel sokongan Korea dengan pemapar tokenizer dan melihat banyak perkataan dipecah menjadi serpihan pendek, manakala asal bahasa Inggeris kebanyakannya memetakan kepada satu token setiap perkataan.
Pasukan penyelidik membandingkan tokenizer yang lebih lama dan lebih baharu daripada pembekal yang sama dan mendapati yang lebih baharu menggunakan token yang ketara lebih sedikit untuk dokumen Arab dan Tamil mereka.
Perbendaharaan kata Tokenizer telah berkembang, dan beberapa penyedia kini menghebahkan penambahbaikan untuk teks bukan bahasa Inggeris, jadi jurang itu mungkin akan terus mengecil untuk bahasa yang digunakan secara meluas. Bahasa sumber rendah mungkin terus ketinggalan melainkan data latihan dan reka bentuk tokenizer sengaja memasukkannya. Penyelidikan ke dalam model peringkat bait dan kumpulan dinamik boleh mengurangkan pergantungan pada perbendaharaan kata tetap, walaupun reka bentuk tersebut mempunyai kos pengiraan mereka sendiri. Buat masa ini, organisasi yang melayani khalayak berbilang bahasa harus mengukur kiraan token dalam setiap bahasa yang mereka sokong dan menganggap had kos dan konteks setiap bahasa sebagai sebahagian daripada perancangan kebolehaksesan.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Jurang tokenisasi bermakna mesej yang sama boleh mengambil lebih banyak token dalam sesetengah bahasa berbanding dalam bahasa Inggeris, kerana kebanyakan tokenizer dibina daripada teks yang kebanyakannya bahasa Inggeris. Memandangkan perkhidmatan AI mengecaj mengikut token dan mengehadkan bilangan token yang sesuai dalam tetingkap konteks, penutur bahasa tersebut boleh membayar lebih, memuatkan kurang teks dan menunggu lebih lama untuk kerja yang sama. Itu menjadikan reka bentuk tokenizer sebagai isu keadilan dan juga teknikal.
Tokenizer memberikan token yang cekap kepada rentetan yang biasa dalam korpus latihan mereka. Bahasa yang kurang diwakili terbahagi kepada lebih banyak bahagian yang lebih kecil.
Setiap aksara dalam skrip ini ialah beberapa UTF-8 bait. Jika tokenizer jarang menggabungkan jujukan bait tersebut, satu aksara boleh menjadi berbilang token.
Panduan menyenaraikan kos, ruang konteks dan kelajuan atau kualiti. Penolakan automatik bukan akibat daripada kiraan token.
Kesuburan mengukur token setiap perkataan. Kesuburan yang lebih tinggi bermakna teks dibahagikan kepada lebih banyak bahagian dan kos lebih tinggi.
GPT-4o datang dengan tokenizer perbendaharaan kata yang lebih besar yang OpenAI katakan lebih cekap untuk kebanyakan bahasa bukan Inggeris.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Bias Jantina dalam Model Bahasa
Masyarakat