Apa yang berlaku
Google Cloud AI Research dan rakan kongsi akademik mengeluarkan EnvHarness, rangka kerja sumber terbuka di bawah lesen Apache 2.0. Alat ini memasukkan lapisan boleh atur cara antara ejen AI dan persekitaran latihannya, membolehkan persekitaran menyesuaikan diri secara dinamik kepada kegagalan khusus ejen. Dengan menggunakan komponen yang dipanggil EnvRigger untuk mendiagnosis kelemahan dan mengubah suai keadaan tugas tanpa mengubah pengesah asas, rangka kerja tersebut membolehkan ejen mengamalkan kemahiran yang disasarkan. Dalam ujian merentas lima penanda aras, termasuk SWE-bench Verified dan WebArena, ejen yang dilatih dengan EnvHarness menunjukkan peningkatan prestasi sehingga 9 mata dan mengurangkan bilangan langkah yang diperlukan untuk menyelesaikan tugas berbanding persekitaran statik.
Penyelidik dari Google Cloud AI Research membangunkan EnvHarness untuk menyelesaikan masalah persekitaran latihan statik. Persekitaran tradisional kekal tetap walaupun ejen bertambah baik, menjadikannya sukar untuk mencari kes kelebihan yang mencabar. EnvHarness memperkenalkan lapisan boleh atur cara yang boleh menukar keadaan permulaan, menapis tindakan dan mengubah suai tempoh tugas tanpa mengubah persekitaran teras atau pengesahnya.
Rangka kerja termasuk EnvRigger, yang mengautomasikan proses penyesuaian. Ia mengikuti gelung Perhatikan, Diagnosis, Tulis dan Sahkan. EnvRigger menganalisis trajektori ejen untuk mengenal pasti corak kegagalan berulang, kemudian menyusun komponen EnvHarness khusus untuk mendedahkan atau membetulkan kegagalan tersebut. Ia mengesahkan perubahan ini untuk memastikan tugasan kekal boleh diselesaikan dan berguna sebelum menggunakannya.
Ujian telah dijalankan pada lima penanda aras: ALFWorld, WebArena, SWE-bench Verified, OfficeQA dan SpreadsheetBench. Ejen yang dilatih menggunakan EnvHarness mengatasi mereka yang terlatih dalam persekitaran statik merentas lima. Pada SWE-bench Verified, purata panjang trajektori menurun daripada 55.01 kepada 49.61 langkah. Rangka kerja ini juga mengatasi sistem penjanaan persekitaran lain seperti SWE-smith dan GenEnv dalam ketepatan dan kecekapan.
Kod, konfigurasi percubaan dan pelaksanaan pembelajaran pengukuhan tersedia pada GitHub di bawah lesen Apache 2.0. Rangka kerja memerlukan Bridge untuk disepadukan dengan persekitaran sedia ada, dengan sokongan awal untuk SWE-bench, OfficeQA dan SpreadsheetBench berasaskan Docker. Ia direka bentuk untuk kotak pasir digital yang pelancaran adalah murah dan keadaan boleh dipulihkan, seperti pengekodan dan persekitaran automasi web.
Butiran sumber: venturebeat.com ↗
Mengapa ia penting
Keluaran ini menangani kesesakan yang ketara dalam pembangunan ejen AI: kos yang tinggi dan pulangan yang semakin berkurangan untuk membina persekitaran latihan statik. Apabila ejen bertambah baik, persekitaran tetap menjadi terlalu mudah, memaksa pembangun mencipta simulator baharu yang mahal. EnvHarness menawarkan alternatif praktikal dengan menguatkan utiliti persekitaran sedia ada yang dipercayai. Untuk pasukan perusahaan, ini bermakna mereka boleh mengekstrak lebih banyak nilai latihan daripada infrastruktur semasa mereka tanpa membina semula simulator dari awal. Rangka kerja ini mengekalkan integriti pengesah kebenaran asas sambil memperkenalkan cabaran secara dinamik yang memaksa ejen untuk mengatasi pintasan tingkah laku tertentu, seperti melangkau ujian atau kehilangan maklumat. Pendekatan ini mengurangkan overhed pembangunan dan menyediakan laluan berskala untuk meningkatkan kebolehpercayaan ejen dalam tugas dunia sebenar yang kompleks.
Membina persekitaran latihan baharu adalah mahal dan memakan masa. EnvHarness membolehkan pasukan menggunakan semula persekitaran sedia ada yang berkualiti tinggi dengan membentuk semula persekitaran tersebut secara dinamik mengikut kelemahan semasa ejen. Ini mengurangkan keperluan untuk membina simulator baharu secara berterusan dari awal.
Rangka kerja ini mengekalkan integriti pengesah yang dipercayai. Dengan mengubah suai keadaan di mana ejen beroperasi dan bukannya tugas itu sendiri, EnvHarness memastikan bahawa kejayaan masih ditentukan oleh kebenaran asas yang asli dan boleh dipercayai. Ini penting untuk mengekalkan kesahihan isyarat latihan.
Untuk pasukan AI perusahaan, pendekatan ini menawarkan cara praktikal untuk meningkatkan prestasi ejen tanpa perubahan infrastruktur yang ketara. Ia boleh disepadukan ke dalam saluran paip CI/CD sedia ada sebagai pemalam yang ringan, membolehkan penambahbaikan berterusan ejen dalam persekitaran terkawal dan selamat.
Sifat dinamik EnvHarness membantu menangani isu ejen yang mengambil jalan pintas. Dengan membuat kekangan secara automatik yang memaksa ejen untuk mempraktikkan kemahiran khusus, seperti menjalankan ujian sebelum menyerahkan kod, rangka kerja menggalakkan tingkah laku yang lebih mantap dan boleh dipercayai.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Apa yang perlu ditonton seterusnya
Pembangun harus memantau repositori GitHub untuk pelaksanaan Bridge baharu yang menyokong jenis persekitaran tambahan. Perusahaan yang menggunakan saluran paip CI/CD bekas harus menilai cara EnvHarness berintegrasi dengan persediaan Docker atau Kubernetes sedia ada. Selain itu, komuniti mungkin akan meneroka menggabungkan EnvHarness dengan rangka kerja pengoptimuman pihak ejen untuk mencipta gelung maklum balas di mana cabaran alam sekitar dan keupayaan ejen berkembang bersama. Kesan jangka panjang akan bergantung pada sama ada kos pengiraan gelung diagnostik EnvRigger kekal terurus apabila kerumitan ejen meningkat.
Ketersediaan Bridges baharu untuk jenis persekitaran yang berbeza akan menentukan kebolehgunaan luas rangka kerja. Pada masa ini, sokongan terhad kepada penanda aras tertentu, tetapi pengembangan kepada domain lain akan menjadi kunci kepada penggunaannya.
Kos pengiraan gelung EnvRigger adalah pertukaran. Apabila model bertambah baik, kos mereka bentuk dan mengesahkan pengubahsuaian dijangka akan berkurangan, tetapi pasukan perlu memantau perkara ini untuk memastikan ia kekal berdaya maju untuk penggunaan berskala besar.
Penyepaduan dengan rangka kerja pengoptimuman pihak ejen boleh mencipta gelung maklum balas yang berkuasa. Walaupun tidak diuji bersama dalam kertas ini, menggabungkan EnvHarness dengan sistem yang mengubah suai abah-abah dalaman ejen boleh membawa kepada peningkatan yang lebih menyeluruh dalam keupayaan ejen.
Kesesuaian rangka kerja untuk pelbagai jenis persekitaran akan menjadi tumpuan. Ia paling sesuai untuk kotak pasir digital dengan pelancaran murah dan keadaan boleh dipulihkan. Penggunaannya pada persekitaran dengan kesan sampingan yang tidak dapat dipulihkan atau tetapan semula yang mahal akan memerlukan pertimbangan yang teliti dan langkah keselamatan tambahan.