Apa yang berlaku
Penyelidik menguji tujuh model bahasa sumber terbuka yang digunakan secara tempatan pada aliran kerja reka bentuk perkakasan yang disimulasikan melalui pelayan Model Context Protocol. Penanda aras meliputi suntingan individu, rantaian pergantungan berbilang langkah, permintaan tidak sah, gesaan salah eja dan tugas yang merangkumi berbilang pelayan alat. Makalah itu melaporkan bahawa model yang kukuh mencapai liputan panggilan jangkaan hampir lengkap dalam beberapa aliran kerja, tetapi prestasi berubah dengan ketara dengan reka bentuk gesaan dan ejen.
Kertas itu, yang diserahkan kepada arXiv pada 25 Ogos, bertanya sama ada ejen AI yang dikuasakan oleh model bahasa besar yang digunakan secara tempatan boleh mengautomasikan aliran kerja reka bentuk perkakasan yang ditentukan pakar dengan pasti dalam tetapan panggilan alat yang realistik industri. Sumber menerangkan aliran kerja ini sebagai operasi berulang dan tertib bergantung, termasuk mencipta komponen, menambah port dan sambungan pendawaian. Disebabkan subjek ialah ejen yang berinteraksi dengan persekitaran reka bentuk yang nyata, kajian menilai lebih daripada sama ada model boleh menghasilkan teks yang munasabah: ia mengkaji sama ada ejen membuat urutan panggilan alat yang dijangka sambil menghormati keadaan persekitaran dan kebergantungan.
Untuk mencipta persekitaran ujian, penyelidik membina pelayan MCP yang menghasilkan semula keadaan dan logik pergantungan alat reka bentuk perkakasan proprietari yang digunakan dalam pembangunan sistem terbenam. Penanda aras merangkumi beberapa keadaan sensitif kegagalan: pengeditan operasi tunggal, rantaian pergantungan berbilang langkah, permintaan tidak sah, gesaan salah eja dan konteks alat berbilang pelayan. Struktur ini penting kerana panggilan alat boleh munasabah secara sintaksis sementara masih tidak boleh digunakan jika ia dibuat dalam susunan yang salah, menyasarkan objek yang tidak sah atau gagal mengambil kira perubahan yang dibuat lebih awal dalam aliran kerja. Sumber tidak mengenal pasti alat proprietari atau memberikan kiraan tugas penanda aras dalam teks yang dibekalkan.
Para penyelidik menilai tujuh model sumber terbuka dan membandingkan beberapa pilihan saluran paip ejen. Ini termasuk perkataan dan kesempurnaan gesaan sistem, jumlah butiran dalam perihalan alat, skop konteks yang diberikan kepada model dan sama ada tugasan dikendalikan oleh ejen tunggal atau dibahagikan antara berbilang ejen. Menurut abstrak kertas itu, penanda aras telah direka untuk mengkaji kedua-dua keupayaan model dan konfigurasi. Perbezaan itu penting kerana prestasi model dalam persekitaran alat yang ditakrifkan dengan ketat mungkin berubah apabila arahan sekeliling, sejarah yang tersedia atau pembahagian kerja berubah.
Kertas itu melaporkan beberapa keputusan yang bergantung kepada konfigurasi. Model yang kukuh mencapai liputan panggilan jangkaan hampir lengkap pada aliran kerja yang ditanda aras, tetapi kebolehpercayaan sangat bergantung pada struktur tugas dan konfigurasi ejen. Penerangan alat yang lebih komprehensif secara konsisten mengurangkan kegagalan. Gesaan beberapa tangkapan menyebabkan ketiadaan tindakan yang teruk untuk sesetengah model, manakala konteks kumulatif merosakkan model terhalang. Penguraian berbilang ejen membantu pekerja yang lemah atau sesi yang lebih lama, walaupun ia memerlukan panggilan tambahan. Penemuan ini adalah tuntutan yang dibuat oleh pracetak; sumber yang dibekalkan tidak memberikan peratusan asas, kedudukan model demi model, ketidakpastian statistik atau contoh ralat.
Mengapa ia penting
Kajian itu menangani halangan praktikal untuk menggunakan AI yang dihoskan dalam pembangunan perkakasan: spesifikasi komponen sulit dan konvensyen penamaan mungkin memerlukan penggunaan tempatan. Penemuannya mencadangkan bahawa penggunaan alat yang boleh dipercayai bukan sahaja bergantung pada keupayaan model, tetapi juga pada cara alat diterangkan, jumlah ejen konteks yang diterima dan sama ada kerja dibahagikan antara berbilang ejen. Itu memberi pasukan kejuruteraan pilihan reka bentuk konkrit untuk diuji sebelum mempercayai ejen dengan aliran kerja yang jelas.
Kajian ini berkaitan dengan organisasi yang tidak boleh menghantar maklumat reka bentuk perkakasan sensitif kepada API proprietari yang dihoskan. Makalah itu mengatakan kekangan kerahsiaan sekitar spesifikasi komponen dan konvensyen penamaan sering memotivasikan penggunaan tempatan. Dalam tetapan itu, persoalannya bukan sekadar sama ada sistem AI boleh mencadangkan kod atau menerangkan litar. Sistem mesti beroperasi dalam persekitaran alat terkawal, mengekalkan kebergantungan dan membuat perubahan yang boleh digunakan oleh langkah reka bentuk lain. Penanda aras yang ditujukan kepada kekangan tersebut adalah lebih praktikal disasarkan daripada skor model bahasa umum, walaupun sumber tidak menunjukkan bahawa penanda aras meramalkan prestasi pengeluaran.
Penemuan juga mengalihkan perhatian daripada pemilihan model sahaja kepada reka bentuk sistem ejen. Penerangan alat terperinci kelihatan mengurangkan kegagalan, yang menunjukkan bahawa antara muka antara model dan alat reka bentuk adalah sebahagian daripada masalah kebolehpercayaan. Kemudaratan yang dilaporkan daripada konteks kumulatif yang berlebihan menunjukkan bahawa memberikan lebih banyak sejarah kepada ejen tidak memberi manfaat secara automatik, terutamanya untuk model yang dikekang. Hasil bercampur untuk gesaan beberapa pukulan ialah satu lagi amaran berguna: contoh yang membantu satu sistem boleh menyebabkan sistem lain berhenti bertindak. Oleh itu, ejen penilai pasukan perlu menguji gesaan, dasar konteks dan skema alat bersama-sama daripada menganggap model asas sebagai satu-satunya pembolehubah.
Hasilnya adalah berbangkit terutamanya sebagai panduan penggunaan, bukan sebagai bukti bahawa AI telah mereka bentuk perkakasan secara bebas. Metrik yang dilaporkan ialah liputan panggilan jangkaan, dan abstrak tidak menyatakan sama ada reka bentuk yang terhasil memenuhi keperluan elektrik, masa, pembuatan, keselamatan atau pengesahan. Ia juga tidak melaporkan perbandingan dengan jurutera manusia, automasi konvensional, model yang dihoskan atau skrip deterministik. Kertas itu juga merupakan pracetak arXiv, jadi dakwaannya belum diwujudkan di sini sebagai penemuan semakan rakan sebaya. Nilai awam terkuatnya ialah mengenal pasti pertukaran kebolehpercayaan konkrit yang boleh disiasat oleh pasukan perkakasan, sambil membiarkan kualiti dan keselamatan keluaran kejuruteraan akhir tidak dapat diselesaikan.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Apa yang perlu ditonton seterusnya
Hasilnya adalah daripada pracetak tunggal dan pelayan simulasi yang menghasilkan semula keadaan dan logik pergantungan alat reka bentuk perkakasan proprietari. Sumber itu tidak menetapkan bahawa sistem menghasilkan reka bentuk yang boleh dibuat, mengurangkan masa kejuruteraan atau berfungsi dengan selamat dalam pengeluaran. Pemeriksaan lanjut harus menumpukan pada kiraan tugas penanda aras, identiti model, kadar ralat, kebolehulangan, pengesahan alat sebenar dan kos pelaksanaan berbilang ejen.
Kertas penuh harus menjelaskan cara penanda aras mentakrifkan kejayaan, bilangan tugasan dan rantai pergantungan yang terkandung di dalamnya, tujuh model yang telah diuji dan cara keputusan berubah merentas permintaan yang sah, tidak sah dan salah ejaan. Halaman arXiv yang dibekalkan mengesahkan tajuk kertas, pengarang, tarikh penyerahan dan abstrak, tetapi bukan jadual terperinci atau protokol percubaan. Butiran tersebut akan menentukan sama ada liputan panggilan jangkaan "hampir selesai" mencerminkan keteguhan luas atau prestasi kukuh pada set aliran kerja simulasi yang terhad.
Langkah seterusnya yang penting ialah pengesahan terhadap perisian reka bentuk perkakasan sebenar dan tugas kejuruteraan yang lebih pelbagai. Pelayan MCP digambarkan sebagai mengeluarkan semula keadaan dan logik pergantungan alat proprietari, tetapi sumbernya tidak mewujudkan kesetaraan dengan kelakuan penuh alat itu atau dengan kerumitan projek sebenar. Bukti susulan yang berguna akan termasuk ujian yang melibatkan reka bentuk yang lebih besar, keperluan yang berubah-ubah, respons alat yang cacat, pemulihan selepas panggilan gagal dan pengesahan bebas bagi keadaan reka bentuk yang dijana. Keputusan juga harus melaporkan kos kependaman, token dan panggilan alat, kerana kertas itu mengatakan penguraian berbilang ejen meningkatkan beberapa kes pada kos panggilan tambahan.
Organisasi yang mempertimbangkan sistem yang serupa harus melihat sama ada ejen dihadkan kepada pengeditan boleh balik, sama ada setiap tindakan perubahan keadaan disahkan dan sama ada jurutera manusia menyemak output sebelum penggunaan hiliran. Sumber itu tidak menerangkan penggunaan pengeluaran, dasar keselamatan atau model kawalan akses, jadi perlindungan tersebut tidak boleh diandaikan. Ia juga membuka cara bagaimana kerahsiaan dilindungi dalam penempatan tempatan dan sama ada tetingkap konteks yang lebih besar atau model yang lebih kukuh mengalih keluar kelemahan yang dilaporkan. Persoalan utama untuk kerja masa hadapan bukan sahaja sama ada ejen boleh membuat panggilan yang dijangkakan, tetapi sama ada ia boleh melakukannya secara konsisten, menjimatkan dan boleh disahkan merentasi proses reka bentuk perkakasan penuh.