SeterusnyaPanduan seterusnya
NVIDIA Riva dan Ucapan NeMo
AI Audio
PANDUAN Teknikal
NVIDIA NeMo Guardrails ialah satu set alat sumber terbuka untuk mengkonfigurasi pemeriksaan dan aliran perbualan di sekitar aplikasi LLM.
Dengar panduan iniAI-diceritakan · ~3 min
Dokumentasi semasanya mengelompokkan rel ke dalam peringkat input, penarikan, dialog, pelaksanaan, dan output, membolehkan pasukan meletakkan kawalan di tempat yang sesuai sambil mengekalkan tanggungjawab untuk pengujian dan penguatkuasaan.
NeMo Guardrails provides a configurable layer around a generative application. Rather than treating a system prompt as the only policy control, a team can place checks at several stages and define how conversation flows should behave. The current NVIDIA documentation describes five rail types. Input rails validate or sanitize user inputs before a model call. Retrieval rails filter and validate retrieved knowledge. Dialog rails constrain multi-turn conversational flow. Execution rails control and validate tool or function calls, including their arguments and results. Output rails inspect and may filter or post-process generated responses before a user sees them. The toolkit uses configuration files and Colang flows to express guardrail behavior, and it can include custom Python actions. Teams can combine built-in mechanisms, external models, third-party services, or application-specific logic; which implementation runs depends on the chosen configuration. This flexibility makes it important to inspect the exact configured path rather than assume a feature name implies a particular classifier, model call, or enforcement guarantee. Rails may add computation or latency, especially when they call models or remote services, but the cost depends on the configuration. A useful design begins with a threat model and data flow. Decide what can enter the application, what retrieved material reaches the model, which tools can be called, and what outputs need review. Apply checks at those boundaries and make tool authorization enforceable in the application itself. Then test allowed and disallowed scenarios, including malformed tool arguments, irrelevant retrieval chunks, multi-turn attempts to steer the conversation, and service failures. Guardrails can reduce risk and make behavior more explicit; they cannot guarantee factual accuracy, prevent every attack, or replace monitoring and human escalation where stakes require it.
Sebuah aplikasi menambah rel input untuk mengesahkan atau membersihkan mesej masuk sebelum panggilan model, kemudian mengukur sama ada pemeriksaan tambahan itu menyekat permintaan yang sah.
Rel penarikan menapis atau mengesahkan dokumen dan bahagian sebelum ia masuk ke dalam konteks penjanaan berasaskan penarikan.
Pembantu yang menggunakan alat menerapkan rel pelaksanaan untuk mengesahkan fungsi yang diminta dan argumennya sebelum operasi luaran dijalankan.
Satu pasukan mengkonfigurasi aliran perbualan dengan Colang dan tindakan Python khusus, kemudian menilai konfigurasi terhadap laluan yang dibenarkan dan tidak dibenarkan.
Perpustakaan rail pengaman semakin meluas dari penapis prompt dan respons ke kawalan yang merangkumi pengambilan, alatan, keadaan perbualan, dan operasi penyebaran. Permukaan yang lebih luas ini dapat membantu pasukan menyatakan dasar yang lebih dekat dengan risiko yang mereka tangani, sambil meningkatkan kerja konfigurasi dan penilaian. Amalan yang berkesan ialah men-versionkan definisi rail, mengujinya terhadap senario aplikasi, dan meninjaunya setiap kali model, alatan, atau sumber data berubah. Liputan rail harus dijelaskan bersama laluan kegagalan sistem yang masih ada. Pasukan juga harus merancang cara memantau dan membaiki kawalan yang disalahkonfigurasi.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
NVIDIA NeMo Guardrails ialah satu set perkakas sumber terbuka untuk mengkonfigurasi pemeriksaan dan aliran perbualan di sekitar aplikasi LLM. Dokumentasi semasa mengumpulkan jalur ke dalam fasa input, pengambilan, dialog, pelaksanaan, dan output, membolehkan pasukan meletakkan kawalan di tempat yang sesuai sambil mengekalkan tanggungjawab untuk ujian dan penegakan.
NVIDIA mentakrifkan jalur input sebagai pemeriksaan yang dilaksanakan sebelum panggilan LLM untuk mengesahkan atau membersihkan mesej yang masuk.
Dokumentasi menerangkan jalur pengambilan sebagai penapisan dan pengesahan pengetahuan dan bahagian yang diambil.
Jalur pelaksanaan mengesahkan panggilan, argumen, dan keputusan di sempadan alat.
NVIDIA menerangkan jalur dialog sebagai memandu dan mengehadkan aliran perbualan berbilang giliran.
Pengenalan menyatakan bahawa YAML mentakrifkan model, prompt, jalur, dan tetapan masa larian, manakala Colang mentakrifkan aliran dan logik penjaga.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
NVIDIA Riva dan Ucapan NeMo
AI Audio