Agregasi Campuran Agen
Mixture-of-Agents (MoA) adalah teknik di mana beberapa model bahasa menyusun jawaban dan kemudian model agregator memadukan ide-ide terbaik mereka menjadi satu respons yang lebih baik.
Ikhtisar
It lets a team of open models rival or beat a single top-tier model.
Menyelam Lebih Dalam
Diperkenalkan dalam makalah tahun 2024 dari Together AI, Mixture-of-Agents mengatur beberapa LLM ke dalam beberapa lapisan. Pada lapisan pertama, beberapa model 'pengusul' masing-masing menjawab perintah secara independen. Keluaran mereka kemudian digabungkan dan diserahkan ke lapisan berikutnya, tempat model kembali merespons, yang sekarang dikondisikan pada semua draf sebelumnya. Setelah satu atau lebih putaran tersebut, model 'agregator' terakhir menyatukan semuanya menjadi satu jawaban. Wawasan inti, yang penulis sebut sebagai 'kolaboratif LLM', adalah bahwa model menghasilkan respons yang lebih baik ketika jawaban rekan ditunjukkan, bahkan jawaban yang tidak sempurna. Pada benchmark AlpacaEval 2.0, MoA yang seluruhnya dibuat dari model sumber terbuka dilaporkan melampaui skor GPT-4 Omni, yang menunjukkan bahwa agregasi yang cermat terhadap model yang beragam dan lebih murah dapat mengalahkan sistem perbatasan tunggal.
Wawasan Teknis
MoA berbeda dengan pemungutan suara mayoritas sederhana: dibandingkan hanya memilih satu jawaban, agregator membaca semua tanggapan kandidat sebagai konteks dan menghasilkan sintesis baru, memadukan kekuatan dan menyaring kesalahan. Keberagaman di antara para pengusul membantu, jadi memadukan kelompok model yang berbeda sangatlah berharga. Strukturnya berlapis, seperti jaringan dalam yang setiap 'neuron' lapisannya merupakan panggilan LLM secara keseluruhan. Kerugiannya adalah latensi dan biaya: setiap lapisan mengalikan jumlah panggilan inferensi, sehingga Kementerian Pertanian menghabiskan lebih banyak komputasi untuk meningkatkan kualitas.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Agregasi Campuran Agen
Harapkan agregasi gaya MoA menyebar seiring dengan semakin murahnya inferensi dan kerangka orkestrasi yang matang. Arahan penelitian mencakup mempelajari pengusul mana yang harus dipercaya per kueri (perutean), mengurangi hukuman latensi dengan menjalankan pengusul secara paralel dan memangkas pengusul yang lemah sejak dini, dan menggabungkan MoA dengan agen yang menggunakan alat sehingga agregator tidak hanya menggabungkan teks tetapi juga tindakan dan mengambil bukti. Seiring dengan semakin banyaknya model terbuka, menyusunnya secara cerdas menjadi jalan yang semakin praktis menuju kualitas tingkat terdepan tanpa satu pun model raksasa.
Implementasi Dunia Nyata
Menggabungkan tiga model obrolan terbuka yang berbeda sebagai pengusul, lalu menggunakan agregator yang kuat untuk menghasilkan satu balasan dukungan pelanggan yang sempurna.
Meningkatkan skor mengikuti instruksi pada tolok ukur gaya AlpacaEval hanya dengan menggunakan model sumber terbuka.
Menggabungkan beragam saran kode dari beberapa model menjadi satu implementasi fungsi yang lebih kuat.
Menjalankan pipeline berbobot terbuka yang mendekati kualitas terdepan untuk penerapan yang sensitif terhadap privasi di mana data tidak dapat keluar dari server perusahaan.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Campuran Kedalaman
Pertanyaan yang sering diajukan
What is Mixture-of-Agents Aggregation?
Mixture-of-Agents (MoA) adalah teknik di mana beberapa model bahasa menyusun jawaban dan kemudian model agregator memadukan ide-ide terbaik mereka menjadi satu respons yang lebih baik. Ini memungkinkan tim model terbuka menyaingi atau mengalahkan satu model tingkat atas.
Dalam Mixture-of-Agents, apa peran model agregator?
Agregator membaca semua tanggapan kandidat dan menghasilkan satu jawaban terpadu yang berkualitas lebih tinggi.
Properti utama LLM apa yang menjadi dasar makalah MoA?
Para penulis mengamati bahwa model meningkatkan jawaban mereka ketika dikondisikan pada rancangan model lain, bahkan yang tidak sempurna.
Apa perbedaan MoA dengan pemungutan suara mayoritas sederhana?
Berbeda dengan voting, MoA tidak hanya memilih satu jawaban yang ada; itu menghasilkan respons segar yang memadukan para kandidat.
Mengapa keberagaman di antara model-model pengusul penting dalam MoA?
Pengusul yang beragam mencakup lebih banyak hal, sehingga agregator memiliki serangkaian ide yang lebih kaya untuk digabungkan dan kesalahan untuk disaring.
Apa dampak praktis utama dari pendekatan MoA?
Setiap lapisan menambahkan lebih banyak panggilan LLM, sehingga MoA menukar komputasi dan waktu ekstra untuk meningkatkan kualitas jawaban.