Kajian Teknologi MIT mengkaji sebab kanak-kanak belajar bahasa jauh lebih cekap daripada model AI

Apa yang berlaku

MIT Technology Review melaporkan tentang jurang kecekapan data antara kanak-kanak yang belajar bahasa dan model bahasa besar yang dilatih pada koleksi teks yang besar. Penyelidik menggunakan pertandingan model bahasa data kecil, rakaman kamera kepala kanak-kanak dan rakaman lebih besar tentang kehidupan awal kanak-kanak untuk menyiasat mesin yang mungkin hilang.

MIT Technology Review melaporkan bahawa kanak-kanak biasanya mula menghasilkan ayat yang betul dari segi tatabahasa selepas mendengar kira-kira 10 juta perkataan, dengan anggaran mencecah kira-kira 30 juta pada akhir yang tinggi. Sebaliknya, model bahasa besar moden mungkin memproses trilion token semasa pralatihan. Artikel itu menerangkan perbezaan ini sebagai "jurang kecekapan data": kanak-kanak belajar bahasa daripada aliran pengalaman yang kecil dan terwujud, manakala model bergantung pada koleksi teks yang jauh lebih besar.

Laporan itu menunjukkan BabyLM, pertandingan yang dianjurkan oleh penyelidik termasuk Alex Warstadt, Leshem Choshen, dan lain-lain. MIT Technology Review mengatakan persaingan utama mengehadkan model kepada korpus yang boleh berkembang dengan kira-kira 100 juta perkataan, dengan trek berskala kanak-kanak menggunakan 10 juta. Data boleh termasuk buku cerita, dialog, sari kata filem, Wikipedia dan transkrip pertuturan yang ditujukan kepada kanak-kanak. Model dinilai dengan tugas tatabahasa yang serupa dengan yang digunakan dalam psikolinguistik.

Menurut Kajian Teknologi MIT, pertandingan itu telah mencabar andaian bahawa pembelajaran kurikulum—menyampaikan bahan mudah sebelum bahan kompleks—akan membantu model belajar lebih seperti kanak-kanak. Pendekatan itu popular pada pusingan pertama tetapi tidak menunjukkan prestasi sebaik yang diharapkan. Artikel itu mengatakan sistem peneraju 2024, GPT-BERT, menggabungkan ramalan token seterusnya dengan pemodelan bahasa bertopeng dan, selepas latihan mengenai kira-kira 100 juta perkataan, melebihi Llama 2 70B Meta pada satu penanda aras BabyLM. Laporan itu juga menekankan bahawa model ini kekal lebih lemah daripada sistem komersial semasa dan tidak menghasilkan semula keupayaan am kanak-kanak.

Artikel itu melaporkan bahawa teks sahaja mungkin merupakan anggaran yang tidak mencukupi untuk pengalaman zaman kanak-kanak. Projek SAYCam Michael Frank merekodkan dua jam seminggu tiga nyawa bayi antara enam bulan dan dua setengah tahun. MIT Technology Review mengatakan model yang dilatih pada 61 jam rakaman mentah ini belajar mengenal pasti objek dan mengaitkannya dengan perkataan, tetapi tidak menghasilkan keupayaan kanak-kanak berusia dua tahun. Projek baharu yang diketuai oleh Uri Hasson merekodkan 1,000 hari pertama kehidupan 17 kanak-kanak, menggunakan kamera dan mikrofon di ruang tamu selama kira-kira 12 jam sehari pada kebanyakan hari. Set data yang terhasil telah diterangkan dalam pracetak baru-baru ini, tetapi artikel itu tidak memberikan maklumat yang mencukupi di sini untuk menilai secara bebas kaedah atau penemuan pracetak tersebut.

Kajian Teknologi MIT melaporkan bahawa penyelidik sedang mempertimbangkan penerokaan aktif dan pembelajaran sosial sebagai bahan tambahan yang hilang. Alison Gopnik berhujah bahawa kanak-kanak memilih pengalaman, bereksperimen dan mencari kesan yang boleh diramalkan ke atas dunia, manakala Elizabeth Bonawitz berkata kanak-kanak memberi alasan tentang guru dan mengapa maklumat diberikan. Artikel itu mengatakan trek BabyLM yang membenarkan model belajar melalui interaksi dengan model lain tidak mengatasi pendekatan standard. Penyelidik dan kolaborator akademik Meta juga telah mengumumkan penanda aras dan cabaran yang melibatkan rakaman kamera kepala bayi, walaupun laporan itu tidak menyatakan bahawa usaha ini telah menghasilkan model skala kanak-kanak yang berjaya.

Butiran sumber: technologyreview.com ↗

Mengapa ia penting

Penyelidikan boleh menjejaskan cara model AI dilatih, terutamanya untuk video dan bahasa minoriti yang tidak tersedia set data yang besar. Ia juga mungkin menyediakan alat percubaan baharu untuk mengkaji perkembangan bahasa, sementara artikel itu menekankan bahawa model semasa masih jauh daripada menghasilkan semula kebolehan kanak-kanak yang lebih luas.

MIT Technology Review melaporkan bahawa kecekapan data telah menjadi kekangan kejuruteraan apabila pembangun AI membuat model skala dengan meningkatkan data latihan. Artikel itu mengatakan model sempadan boleh melakukan pralatihan pada kira-kira sepuluh kali lebih banyak data daripada 15 trilion token yang dilaporkan Llama 3.1, manakala bekalan data internet yang mudah didapati akhirnya mungkin menjadi terhad, mungkin seawal tahun 2030-an. Garis masa itu adalah anggaran yang dikaitkan dengan perbincangan artikel dan tidak disahkan secara bebas di sini.

Pembelajaran yang lebih cekap boleh meluaskan akses kepada pembangunan AI. Laporan itu memetik David Samuel, salah seorang arkitek GPT-BERT, mengatakan bahawa Czech dan Norway mempunyai lebih sedikit data latihan yang tersedia daripada bahasa Inggeris, manakala bahasa seperti Sami mungkin hanya mempunyai berpuluh juta token. Jika model boleh belajar dengan lebih berkesan daripada set data kecil, universiti dan komuniti yang bekerja dalam bahasa yang kurang sumber mungkin boleh membina sistem yang lebih berkebolehan tanpa sumber yang diperlukan untuk latihan hiperskala. Kajian Teknologi MIT membentangkan ini sebagai manfaat yang berpotensi, bukan hasil yang ditunjukkan.

Penyelidikan juga mungkin penting untuk AI multimodal. MIT Technology Review melaporkan bahawa menambah data visual pada sistem BabyLM belum lagi menghasilkan keuntungan yang dijangkakan, manakala model sedia ada yang dilatih pada rakaman kanak-kanak hanya mempelajari persatuan perkataan-objek yang mudah. Jika penyelidik mengenal pasti cara kanak-kanak menggabungkan penglihatan, pendengaran, pergerakan, perhatian dan bahasa, penemuan tersebut boleh memaklumkan kepada sistem yang dilatih mengenai video dan data deria lain. Artikel itu tidak melaporkan kaedah terbukti yang telah menutup jurang.

Terdapat nilai saintifik di luar kecekapan model. Laporan itu menerangkan penyelidik menggunakan model bahasa sebagai pendirian percubaan yang tidak sempurna untuk pengguna bahasa. Para saintis boleh mengenakan syarat yang sukar atau tidak beretika untuk dikenakan kepada kanak-kanak, seperti mengehadkan pendedahan kepada bentuk tatabahasa tertentu atau mensimulasikan darjah dwibahasa yang berbeza. Kajian Teknologi MIT mengatakan eksperimen sedemikian boleh menguji idea tentang sama ada bahasa bergantung pada struktur semula jadi, kekangan pembelajaran umum atau pengalaman alam sekitar. Perbandingan ini kekal terhad kerana otak dijelmakan, berkembang secara berterusan, dan mengandungi mekanisme biologi yang model bahasa tidak berkongsi.

Bukti utama menyokong kesimpulan yang lebih sempit daripada dakwaan bahawa AI menghampiri pembelajaran manusia. MIT Technology Review melaporkan bahawa model boleh mempelajari sintaks dan berprestasi baik pada penanda aras terpilih, tetapi juga mengatakan sistem berskala bayi kekal kikuk, ramai yang tidak dapat menjana teks dan model terlatih video semasa jauh daripada seperti kanak-kanak. Artikel itu tidak menetapkan bahawa mana-mana seni bina sedia ada mempelajari bahasa dengan kecekapan peringkat manusia, mahupun cerapan daripada model akan menyelesaikan pertikaian lama dalam linguistik atau psikologi perkembangan.

Apa yang perlu ditonton seterusnya

Tonton sama ada kaedah latihan multimodal, interaktif dan bermaklumat sosial meningkatkan prestasi pada data berskala kanak-kanak. Tonton juga sama ada set data baharu seperti rakaman jangka panjang kehidupan kanak-kanak menghasilkan kemajuan yang boleh diukur, dan sama ada penyelidik boleh membezakan cerapan kognitif yang berguna daripada perbandingan antara sistem yang pada asasnya berbeza.

Bidang pertama yang perlu diperhatikan ialah sama ada model yang dilatih pada data deria yang lebih kaya boleh bergerak melangkaui perkaitan perkataan objek. MIT Technology Review melaporkan bahawa sistem berasaskan SAYCam mempelajari perkataan mudah seperti "bola" dan "kucing", tetapi tidak menjadi pengguna bahasa yang berkebolehan secara meluas. Oleh itu, penilaian masa depan harus menguji tatabahasa, asas, generalisasi, interaksi dan pembelajaran dari semasa ke semasa dan bukannya bergantung pada keputusan pengecaman terpencil.

Penyelidik juga perlu menentukan sama ada pembelajaran aktif menghasilkan keuntungan yang boleh diukur. Artikel itu menerangkan kanak-kanak sebagai memilih pengalaman, bereksperimen dan mencari maklumat yang mengisi jurang pengetahuan, tetapi mengatakan eksperimen awal model sosial tidak mengatasi model standard. Pendahuluan yang bermakna memerlukan perbandingan terkawal yang menunjukkan bentuk penerokaan atau interaksi yang meningkatkan pembelajaran di bawah had data dan pengiraan yang sama.

Set data membujur boleh mengubah asas bukti. Kajian Teknologi MIT melaporkan bahawa projek Hasson merekodkan 17 kanak-kanak sepanjang 1,000 hari pertama mereka, mewujudkan paparan pengalaman awal yang lebih besar berbanding projek kamera utama yang lebih awal. Perkara yang tidak diketahui penting termasuk bagaimana mewakili keluarga yang mengambil bahagian, cara rakaman dianotasi, perlindungan privasi yang mengawal akses dan sama ada data itu boleh digunakan untuk melatih model tanpa mengurangkan pengalaman zaman kanak-kanak kepada set isyarat yang boleh diukur yang sempit. Sumber tidak menjawab soalan-soalan ini.

BabyLM dan tanda aras yang berkaitan harus diikuti untuk kebolehulangan dan skop. Artikel itu melaporkan hasil yang kukuh untuk GPT-BERT pada satu penanda aras terhadap Llama 2 70B, tetapi juga menjelaskan bahawa ini tidak menjadikan GPT-BERT secara amnya setanding dengan model komersial moden. Pembaca harus melihat sama ada hasil dipegang merentas bahasa, set data, saiz model dan tugas penilaian, dan sama ada keuntungan datang daripada kaedah pembelajaran yang benar-benar lebih baik atau daripada pilihan reka bentuk khusus penanda aras.

Akhir sekali, keutamaan praktikal bidang boleh menentukan sama ada penyelidikan yang diilhamkan oleh kanak-kanak merebak. Kajian Teknologi MIT melaporkan bahawa makmal sempadan tidak secara meluas berlumba-lumba untuk menyalin psikologi perkembangan, manakala Meta telah menunjukkan minat khusus dalam penyelidikan video dan kamera kanak-kanak. Masih tidak diketahui sama ada syarikat akan menerbitkan kaedah dan keputusan yang mencukupi untuk membenarkan penelitian bebas, sama ada komuniti bahasa kecil akan mendapat manfaat secara langsung, dan sama ada penemuan kognitif yang diperoleh daripada model AI akan menahan bukti daripada kanak-kanak sebenar dan kajian perkembangan.

Panduan & kuiz berkaitan