Campuran Kedalaman
Mixture of Depths (MoD) memungkinkan transformator menggunakan jumlah komputasi yang berbeda pada token yang berbeda, hanya merutekan token 'penting' melalui komputasi berat setiap lapisan.
Ikhtisar
It cuts the cost of processing easy tokens while keeping a fixed, predictable compute budget.
Menyelam Lebih Dalam
Transformator standar menerapkan setiap lapisan pada setiap token, bahkan yang sepele seperti tanda baca. Mixture of Depths, diperkenalkan oleh Google DeepMind pada tahun 2024, menambahkan router kecil di setiap blok yang memilih sebagian besar token untuk menjalani perhitungan perhatian mandiri dan MLP penuh; sisanya melewati blok melalui koneksi sisa. Karena hanya k token yang diproses per lapisan, total komputasi (FLOP) dibatasi dan diketahui sebelumnya, tidak seperti metode kedalaman dinamis sebelumnya yang bervariasi secara tidak terduga. Hal ini membuat batching dan pemanfaatan perangkat keras menjadi efisien. Model yang dilatih oleh Kementerian Pertahanan dapat menyamai kualitas trafo dasar dengan menggunakan FLOP yang lebih sedikit per lintasan maju, atau mencapai kualitas yang lebih tinggi pada komputasi yang sama, dan gagasan tersebut disusun secara alami dengan Mixture-of-Experts untuk menghasilkan model 'MoDE' yang mengarahkan pada kedalaman dan lebar.
Wawasan Teknis
Di setiap blok Kementerian Pertahanan, router linier yang terpelajar memberi skor pada setiap token dan mempertahankan skor teratas; token yang dipilih melewati perhatian dan MLP, sementara token yang tidak dipilih diteruskan tanpa perubahan melalui jalur sisa. Menggunakan top-k tetap (bukan ambang batas per token) membuat grafik komputasi menjadi statis dan bentuk tensor menjadi konstan, sehingga ramah perangkat keras. Router dilatih dengan seluruh jaringan, dan pembangkitan kausal menggunakan prediktor tambahan sehingga keputusan perutean tidak mengintip token di masa depan.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Campuran Kedalaman
Komputasi bersyarat adalah pendorong utama efisiensi seiring dengan skala model, dan Kementerian Pertahanan adalah contoh awal yang bersih. Harapkan integrasi yang lebih dalam dengan Mixture-of-Experts (perutean pada kedalaman dan pakar), anggaran adaptif yang menyusut untuk kemudahan input, dan router terpelajar yang dapat mengidentifikasi dengan lebih baik token mana yang benar-benar memerlukan pemrosesan mendalam. Karena biaya inferensi mendominasi ekonomi penerapan, teknik yang memungkinkan model 'berpikir lebih keras' hanya jika diperlukan, sekaligus menjaga latensi yang dapat diprediksi, kemungkinan besar akan menjadi standar dalam arsitektur skala besar.
Implementasi Dunia Nyata
Mengurangi FLOP yang diperlukan untuk memproses dokumen panjang dengan melewatkan komputasi mendalam pada token pengisi
Melatih model yang sesuai dengan kualitas dasar pada komputasi yang lebih rendah, sehingga menurunkan biaya penayangan
Menggabungkan dengan Mixture-of-Experts (MoDE) untuk merutekan kedalaman lapisan dan pilihan ahli
Menjaga latensi per token tetap dapat diprediksi karena anggaran komputasi per lapisan telah ditetapkan sebelumnya
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Depths quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Agregasi Campuran Agen
Pertanyaan yang sering diajukan
What is Mixture of Depths?
Mixture of Depths (MoD) memungkinkan transformator menggunakan jumlah komputasi yang berbeda pada token yang berbeda, hanya merutekan token 'penting' melalui komputasi berat setiap lapisan. Ini memotong biaya pemrosesan token yang mudah sekaligus menjaga anggaran komputasi yang tetap dan dapat diprediksi.
Apa perbedaan Mixture of Depths antar token?
Kementerian Pertahanan hanya merutekan beberapa token melalui perhitungan berat setiap lapisan, sehingga token yang berbeda secara efektif mendapatkan kedalaman yang berbeda.
Bagaimana Kementerian Pertahanan menjaga anggaran komputasinya tetap dapat diprediksi?
Memilih jumlah token teratas yang tetap per blok membatasi FLOP dan menjaga bentuk tensor tetap konstan, sehingga ramah perangkat keras.
Apa yang terjadi pada token yang TIDAK dipilih oleh router pada blok tertentu?
Token yang tidak dipilih melewati perhitungan blok dan diteruskan tanpa perubahan melalui jalur sisa.
Siapa yang memperkenalkan Mixture of Depths?
Campuran Kedalaman diperkenalkan oleh Google DeepMind dalam makalah tahun 2024 tentang komputasi transformator dinamis.
Apa yang dihasilkan dari penggabungan Kementerian Pertahanan dengan Campuran Pakar?
Menggabungkan perutean kedalaman dengan perutean pakar menghasilkan model 'MoDE' yang mengkondisikan komputasi pada lapisan dan pakar.