Ikhtisar
Mixture-of-Agents (MoA) adalah teknik di mana beberapa model bahasa menyusun jawaban dan kemudian model agregator memadukan ide-ide terbaik mereka menjadi satu respons yang lebih baik. Ini memungkinkan tim model terbuka menyaingi atau mengalahkan satu model tingkat atas.
Agregasi Campuran Agen adalah bagian dari tumpukan AI bahasa yang digunakan untuk membaca, menghasilkan, mengklasifikasikan, dan mengubah teks dan ucapan dalam skala besar.
Menyelam Lebih Dalam
Diperkenalkan dalam makalah tahun 2024 dari Together AI, Mixture-of-Agents mengatur beberapa LLM ke dalam beberapa lapisan. Pada lapisan pertama, beberapa model 'pengusul' masing-masing menjawab perintah secara independen. Keluaran mereka kemudian digabungkan dan diserahkan ke lapisan berikutnya, tempat model kembali merespons, yang sekarang dikondisikan pada semua draf sebelumnya. Setelah satu atau lebih putaran tersebut, model 'agregator' terakhir menyatukan semuanya menjadi satu jawaban. Wawasan inti, yang penulis sebut sebagai 'kolaboratif LLM', adalah bahwa model menghasilkan respons yang lebih baik ketika jawaban rekan ditunjukkan, bahkan jawaban yang tidak sempurna. Pada benchmark AlpacaEval 2.0, MoA yang seluruhnya dibuat dari model sumber terbuka dilaporkan melampaui skor GPT-4 Omni, yang menunjukkan bahwa agregasi yang cermat terhadap model yang beragam dan lebih murah dapat mengalahkan sistem perbatasan tunggal.
Wawasan Teknis
MoA berbeda dengan pemungutan suara mayoritas sederhana: dibandingkan hanya memilih satu jawaban, agregator membaca semua tanggapan kandidat sebagai konteks dan menghasilkan sintesis baru, memadukan kekuatan dan menyaring kesalahan. Keberagaman di antara para pengusul membantu, jadi memadukan kelompok model yang berbeda sangatlah berharga. Strukturnya berlapis, seperti jaringan dalam yang setiap 'neuron' lapisannya merupakan panggilan LLM secara keseluruhan. Kerugiannya adalah latensi dan biaya: setiap lapisan mengalikan jumlah panggilan inferensi, sehingga Kementerian Pertanian menghabiskan lebih banyak komputasi untuk meningkatkan kualitas.
Menguasai Agregasi Campuran Agen
Mixture-of-Agents (MoA) adalah teknik di mana beberapa model bahasa menyusun jawaban dan kemudian model agregator memadukan ide-ide terbaik mereka menjadi satu respons yang lebih baik. Ini memungkinkan tim model terbuka menyaingi atau mengalahkan satu model tingkat atas. Agregasi Campuran Agen adalah bagian dari tumpukan AI bahasa yang digunakan untuk membaca, menghasilkan, mengklasifikasikan, dan mengubah teks dan ucapan dalam skala besar. Untuk membangun pemahaman yang mendalam, perlakukan Agregasi Campuran Agen sebagai model operasi, bukan fitur tunggal: tentukan hasil yang diinginkan, klarifikasi asumsi, dan pisahkan apa yang dapat dilakukan sistem dengan andal dari apa yang masih memerlukan pertimbangan ahli.
Dalam praktiknya, tim yang kuat menggunakan permintaan desain, pengambilan, dan peninjauan Agregasi Campuran Agen sebagai satu sistem komunikasi terintegrasi. Mereka mendokumentasikan kriteria keberhasilan yang eksplisit, menguji berdasarkan data dan alur kerja yang realistis, dan melakukan iterasi berdasarkan pola kegagalan yang diamati, bukan berdasarkan kemenangan tolok ukur yang hanya terjadi satu kali. Di sinilah pemahaman teoritis berubah menjadi kemampuan yang tahan lama di seluruh produk, kebijakan, dan operasi.
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi. Pada saat yang sama, fakta-fakta halusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian. Pendekatan yang paling tangguh adalah menggabungkan kecepatan eksperimen dengan disiplin tata kelola: menjalankan uji coba, menangkap bukti, menerbitkan catatan keputusan, dan terus memperbarui upaya perlindungan seiring dengan berkembangnya perilaku model, harapan pengguna, dan persyaratan peraturan.
Dampak Strategis
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Ini memperluas akses lintas bahasa dan gaya komunikasi. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Implementasi Dunia Nyata
Menggabungkan tiga model obrolan terbuka yang berbeda sebagai pengusul, lalu menggunakan agregator yang kuat untuk menghasilkan satu balasan dukungan pelanggan yang sempurna.
Meningkatkan skor mengikuti instruksi pada tolok ukur gaya AlpacaEval hanya dengan menggunakan model sumber terbuka.
Menggabungkan beragam saran kode dari beberapa model menjadi satu implementasi fungsi yang lebih kuat.
Menjalankan pipeline berbobot terbuka yang mendekati kualitas terdepan untuk penerapan yang sensitif terhadap privasi di mana data tidak dapat keluar dari server perusahaan.
Pola Implementasi
Agregasi Campuran Agen dalam praktiknya
Menggabungkan tiga model obrolan terbuka yang berbeda sebagai pengusul, lalu menggunakan agregator yang kuat untuk menghasilkan satu balasan dukungan pelanggan yang sempurna.
Menggabungkan tiga model obrolan terbuka yang berbeda sebagai pengusul, lalu menggunakan agregator yang kuat untuk menghasilkan satu balasan dukungan pelanggan yang sempurna. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, mempertahankan jalur eskalasi yang manusiawi untuk kasus-kasus yang sulit, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Agregasi Campuran Agen dalam praktiknya
Meningkatkan skor mengikuti instruksi pada tolok ukur gaya AlpacaEval hanya dengan menggunakan model sumber terbuka.
Meningkatkan skor mengikuti instruksi pada tolok ukur gaya AlpacaEval hanya dengan menggunakan model sumber terbuka Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus ekstrem, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Agregasi Campuran Agen dalam praktiknya
Menggabungkan beragam saran kode dari beberapa model menjadi satu implementasi fungsi yang lebih kuat.
Menggabungkan beragam saran kode dari beberapa model ke dalam satu implementasi fungsi yang lebih kuat Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Agregasi Campuran Agen dalam praktiknya
Menjalankan pipeline berbobot terbuka yang mendekati kualitas terdepan untuk penerapan yang sensitif terhadap privasi di mana data tidak dapat keluar dari server perusahaan.
Menjalankan pipeline berbobot terbuka yang mendekati kualitas terdepan untuk penerapan yang sensitif terhadap privasi di mana data tidak dapat keluar dari server perusahaan. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Tentukan format output, nada, dan standar kualitas sebelum peluncuran. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.