SeterusnyaPanduan seterusnya
Ketua Induksi dalam Transformer
AI bahasa
PANDUAN AI Bahasa
Transformer
Transformer ialah seni bina rangkaian saraf yang menggunakan perhatian untuk menggabungkan maklumat merentas jujukan.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Ia mendasari banyak model bahasa dan multimodal. Seni bina menyediakan cara untuk memproses perwakilan; ia tidak dengan sendirinya mewujudkan fakta, pemahaman, atau tingkah laku yang selamat.
Pengambilan utama
- Perhatian menggabungkan maklumat merentasi jawatan.
- Varian seni bina menyediakan objektif latihan yang berbeza.
- Keupayaan konteks panjang memerlukan ujian khusus tugas.
Menyelam dalam
Perhatian mengira berapa banyak maklumat yang perlu diambil oleh satu jawatan daripada jawatan lain. Dalam rumusan biasa, unjuran yang dipelajari menghasilkan pertanyaan, kunci dan nilai. Perbandingan kunci pertanyaan menentukan pemberat yang digunakan untuk menggabungkan nilai. Ketua perhatian berbilang membenarkan beberapa kombinasi sedemikian dalam satu lapisan. Lapisan pengubah juga termasuk operasi lain, seperti rangkaian suapan ke hadapan, normalisasi dan sambungan baki. Maklumat kedudukan diperlukan kerana susunan perkataan atau unsur urutan lain penting. Pelaksanaan khusus berbeza dalam cara ia mewakili kedudukan dan mengatur operasi ini. Transformer asal 2017 menggunakan reka bentuk penyahkod pengekod untuk terjemahan. Model kemudian menggunakan susunan pengekod sahaja, penyahkod sahaja atau pengekod-penyahkod untuk objektif yang berbeza. Model bahasa kausal menghalang kedudukan daripada menerima token masa hadapan semasa ramalan token seterusnya. Kekangan itu berbeza daripada pemprosesan dua arah bagi input lengkap. Perhatian terhadap jujukan yang panjang boleh menjadi mahal dari segi pengiraan. Sistem praktikal menggunakan pengoptimuman yang berbeza-beza, tetapi had konteks yang diiklankan tidak membuktikan bahawa model menggunakan setiap bahagian dokumen yang panjang dengan pasti. Pengambilan semula ujian, penaakulan dan arahan mengikut panjang sebenar yang diperlukan oleh aplikasi anda.
04Contoh yang dikerjakan
Jejak rujukan melalui konteks
Pertimbangkan teks ciptaan "Robot itu mengalihkan peti kerana ia menghalang pintu."
Perkataan "ia" mungkin memerlukan konteks untuk diselesaikan. Mekanisme perhatian boleh menggabungkan maklumat dari kedudukan lain semasa mengira perwakilan.
Tukar ayat kepada "Robot itu mengalihkan peti kerana ia memerlukan pengecasan." Uji tafsiran model lengkap daripada menganggap gambar rajah perhatian membuktikan resolusi rujukan yang betul.
Apa yang ditunjukkan
Contoh ini menggambarkan pemprosesan kontekstual tanpa mendakwa bahawa setiap pengubah menyelesaikan kekaburan dengan betul.
Pelaksanaan Dunia Sebenar
Mengekodkan dokumen untuk pengelasan.
Hasilkan tindak balas satu token pada satu masa menggunakan perhatian kausal.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
- Akses dan capai. Ia meluaskan akses merentas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.
Berhati-hati untuk
- Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
- Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
- Data teks sensitif mungkin terdedah jika kawalan akses lemah.
Langkah seterusnya
- Tentukan format output, nada dan standard kualiti sebelum pelancaran.
- Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
- Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
- Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.
Sumber dan bacaan lanjut
- Vaswani and colleaguesPerhatian Adalah Semua yang Anda Perlukan
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Transformers quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Adakah semua transformer chatbots?
Tidak. Transformer boleh menyokong pengelasan, terjemahan, pengambilan semula, penglihatan, audio dan tugasan lain; chatbot ialah aplikasi yang dibina berdasarkan model dan sistem tambahan.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini