PANDUAN Teknikal

Perancah dan Abah Ejen

Abah-abah ejen, atau perancah, ialah kod di sekeliling model bahasa yang mengubahnya menjadi ejen: ia menjalankan gelung memanggil model, melaksanakan alatan yang dimintanya, menyalurkan kembali hasil dan memutuskan masa untuk berhenti.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Perancah dan Abah Ejen
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ini penting kerana abah-abah sangat membentuk hasil, jadi model yang sama boleh mendapat markah yang sangat berbeza pada penanda aras yang sama bergantung pada cara alatan, konteks dan pengendalian ralatnya direka bentuk.

Menyelam dalam

Model bahasa sendiri menghasilkan teks. Ejen memerlukan program yang berulang kali meminta model apa yang perlu dilakukan, melaksanakan tindakan dan menunjukkan model apa yang berlaku. Program tu adalah abah. Bahagian terasnya ialah gelung, definisi alat, penghantaran alat, pengurusan konteks, peraturan berhenti dan pengendalian ralat. Gelung menghantar perbualan setakat ini kepada model. Jika model meminta alat, abah-abah mengesahkan hujah, menjalankan alat dan menambahkan hasilnya. Jika model memberikan jawapan akhir, gelung berakhir. Peraturan pemberhentian menambah had: bilangan langkah maksimum, token atau belanjawan kos, tamat masa atau semakan seperti lulus ujian. Reka bentuk alat mempunyai kesan yang besar. Projek ejen SWE daripada penyelidik Princeton, yang diterbitkan pada 2024, berpendapat bahawa ejen memerlukan antara muka ejen-komputer yang direka bentuk untuk model, dengan pemapar fail ringkas, arahan carian dan maklum balas serta-merta tentang suntingan yang buruk, dan menunjukkan hasil yang lebih baik ini berbanding memberikan model shell biasa. Pemformatan output juga penting: memotong output yang besar, meringkaskan ralat dengan jelas dan mengembalikan hasil berstruktur membantu model bertindak dengan betul. Pengurusan konteks menentukan perkara yang dilihat model semasa sejarah berkembang: mengekalkan langkah terkini, meringkaskan yang lebih lama atau menyimpan nota dalam fail. Pengendalian ralat memutuskan sama ada panggilan alat yang gagal merosakkan larian atau dikembalikan kepada model sebagai maklumat yang boleh bertindak balas terhadapnya. Inilah sebabnya nombor penanda aras memerlukan konteks. Pada penanda aras pengekodan seperti bangku SWE, markah yang dilaporkan untuk satu model berbeza-beza merentas perancah, dasar cuba semula dan had langkah. Salah tanggapan biasa ialah nombor papan pendahulu mengukur model sahaja; ia mengukur model ditambah abah-abah serta tetapan. Produk seperti ejen pengekodan baris arahan, sebahagian besarnya, memanfaatkan kejuruteraan dengan teliti di sekeliling model.

Pelaksanaan Dunia Sebenar

Abah-abah ejen pengekodan memberikan alat model untuk melihat fail, mengedit julat baris tertentu dan menjalankan ujian, kemudian gelung sehingga ujian lulus atau had langkah dicapai.

Abah-abah pembantu penyelidik menghentikan gelung selepas 20 panggilan alat dan meminta model untuk ringkasan dengan sumber, menghalang kos lari.

Pasukan menggantikan alat shell mentah dengan editor fail yang menunjukkan tetingkap pendek baris dan melaporkan ralat sintaks serta-merta, dan kadar kejayaan ejen mereka pada tugas dalaman bertambah baik tanpa mengubah model.

Abah-abah ejen operasi pelanggan memintas sebarang panggilan alat bayaran balik melebihi jumlah yang ditetapkan dan menjeda untuk kelulusan manusia sebelum melaksanakannya.

Masa Depan Perancah dan Abah Ejen

Pembekal model semakin menghantar produk ejen mereka sendiri dan kit pembangunan perisian, yang menyeragamkan beberapa corak abah-abah seperti skema alat, kebenaran dan pemadatan konteks. Protokol untuk menyambungkan alat kepada model, seperti Protokol Konteks Model, menjadikan penyepaduan alat lebih boleh digunakan semula. Reka bentuk abah-abah berkemungkinan kekal sebagai sumber perbezaan prestasi yang bermakna, dan penilaian sedang bergerak ke arah melaporkan perancah bersama model. Bagi pembina, reka bentuk alat yang teliti, peraturan berhenti yang jelas dan pengelogan yang baik akan tetap penting tanpa mengira model yang mana di bawahnya.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Agent Scaffolding and Harnesses quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Perancah dan Abah Ejen?

Abah-abah ejen, atau perancah, ialah kod di sekeliling model bahasa yang mengubahnya menjadi ejen: ia menjalankan gelung memanggil model, melaksanakan alatan yang dimintanya, menyalurkan kembali hasil dan memutuskan masa untuk berhenti. Ini penting kerana abah-abah sangat membentuk hasil, jadi model yang sama boleh mendapat markah yang sangat berbeza pada penanda aras yang sama bergantung pada cara alatan, konteks dan pengendalian ralatnya direka bentuk.

Apakah abah ejen?

Abah-abah ialah program sekeliling yang menukar model penjanaan teks kepada ejen.

Yang manakah merupakan contoh peraturan berhenti?

Peraturan berhenti menamatkan gelung berdasarkan had seperti kiraan langkah, belanjawan, tamat masa atau semakan kejayaan.

Apakah yang ditekankan oleh projek ejen SWE?

Agen SWE berhujah bahawa alat yang direka untuk model meningkatkan hasil daripada cangkerang biasa.

Mengapa model yang sama boleh mendapat markah yang berbeza pada bangku SWE dalam laporan yang berbeza?

Skor penanda aras mengukur keseluruhan sistem, bukan model sahaja.

Bagaimanakah abah-abah biasanya mengendalikan panggilan alat yang gagal?

Mengembalikan ralat boleh tindakan membolehkan model membetulkan pendekatannya dan bukannya menamatkan larian.