SelanjutnyaPanduan berikutnya
Client Confidentiality When Lawyers Use AI Tools
Masyarakat
PANDUAN Teknis
Pembentuk Alat dan Penggunaan Alat Secara Otodidak
Toolformer adalah metode AI 2023 Meta yang memungkinkan model bahasa mempelajari sendiri kapan dan bagaimana memanggil alat eksternal seperti kalkulator, mesin telusur, dan penerjemah.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Menyelam Lebih Dalam
Toolformer, dari Schick dkk. di Meta AI, menangani sebuah paradoks: model besar pandai dalam bahasa tetapi buruk dalam aritmatika, fakta segar, dan pencarian yang tepat. Lingkaran pelatihan diawasi sendiri. Model ini diberikan beberapa contoh tulisan manusia yang menunjukkan sintaksis panggilan API, kemudian diminta untuk memasukkan kandidat panggilan (dibungkus dalam token khusus) di banyak posisi di seluruh korpus teks besar. Setiap panggilan kandidat benar-benar dieksekusi, dan hasilnya digabungkan. Langkah pemfilteran kunci mempertahankan panggilan alat hanya jika hasil API menurunkan kebingungan model pada teks nyata yang akan datang dibandingkan tidak memanggil, atau memanggil secara berbeda. Model tersebut kemudian disempurnakan pada kumpulan data yang difilter dan dihasilkan sendiri ini, belajar menggunakan lima alat: kalkulator, sistem QA, mesin pencari, penerjemah, dan kalender.
Implementasi Dunia Nyata
Memanggil API kalkulator di tengah kalimat untuk mendapatkan aritmatika yang tepat alih-alih menebak jawaban numerik.
Meminta sistem pencarian atau QA untuk mengambil informasi faktual terkini atau yang jarang terlihat.
Memanggil alat terjemahan mesin untuk merender frasa dalam bahasa lain dalam teks yang dihasilkan.
Menggunakan alat kalender/tanggal untuk menyelesaikan referensi relatif seperti 'Jumat depan' ke tanggal tertentu.
Masa Depan Penggunaan Alat Pembentuk dan Otodidak
Toolformer menjadi unggulan dari agen pengguna alat dan pemanggil fungsi saat ini. Perbatasan berpindah dari segelintir alat menjadi lusinan atau ratusan alat yang ditemukan saat runtime, dengan model yang mempertimbangkan alat mana yang harus dipanggil, merangkai panggilan, dan menangani kegagalan. Harapkan integrasi yang lebih erat dengan pembelajaran penguatan dan loop agen, ditambah pembelajaran API baru secara langsung, sehingga penggunaan alat otodidak menjadi kemampuan standar dan bukan penyesuaian khusus.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Toolformer and Self-Taught Tool Use quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Toolformer and Self-Taught Tool Use?
Toolformer adalah metode AI 2023 Meta yang memungkinkan model bahasa mempelajari sendiri kapan dan bagaimana memanggil alat eksternal seperti kalkulator, mesin telusur, dan penerjemah. Daripada manusia memberi label pada pemanggilan alat, model akan menghasilkan dan memfilter contoh pelatihannya sendiri, lalu menyempurnakan contoh yang benar-benar membantu.
Apa yang membuat pendekatan Toolformer terhadap penggunaan alat pembelajaran berbeda?
Toolformer diawasi sendiri: model mengusulkan kandidat panggilan API, mengeksekusinya, dan hanya menyimpan panggilan yang bermanfaat, tanpa anotasi manusia mengenai penggunaan yang benar.
Kriteria manakah yang digunakan Toolformer untuk memutuskan apakah akan mempertahankan panggilan API kandidat?
Panggilan dipertahankan hanya jika memasukkan hasilnya menurunkan kebingungan/kerugian model pada teks nyata yang akan datang melampaui ambang batas, yang menunjukkan bahwa panggilan tersebut benar-benar berguna.
Kumpulan alat manakah yang dipelajari oleh Toolformer asli?
Toolformer dilatih untuk menjalankan lima API: kalkulator, sistem tanya jawab, mesin pencari, penerjemah mesin, dan kalender.
Bagaimana pemanggilan alat direpresentasikan dalam teks selama proses Toolformer?
Panggilan kandidat dan hasil yang dikembalikan dimasukkan sebaris ke dalam teks menggunakan token khusus, sehingga model mempelajari penempatan dan argumen secara bersamaan.
Kelemahan mendasar apa yang mendasari model bahasa besar yang memotivasi Toolformer?
Meskipun memiliki keterampilan bahasa yang kuat, LLM kesulitan dengan aritmatika yang tepat, fakta terkini, dan pengambilan informasi yang tepat, yang dapat disediakan oleh alat eksternal.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini