HƯỚNG DẪN KỸ THUẬT

LLM Vulnerability Scanners: garak and PyRIT

NVIDIA garak là một trình quét mã nguồn mở dành cho các hệ thống kiểm tra bảo mật chấp nhận lời nhắc và trả về văn bản, sử dụng các bộ dò và bộ phát hiện được chọn để kiểm tra các chế độ lỗi đã định.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của Trình quét Lỗ hổng LLM: garak và PyRIT
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

PyRIT là một khung công tác đội ngũ đỏ rộng hơn có thể chạy các kịch bản và tấn công bảo mật được chọn. Kết quả của bất kỳ công cụ nào cũng không chứng nhận một mô hình hoặc ứng dụng là an toàn; các phát hiện phụ thuộc vào mục tiêu, lựa chọn thử nghiệm và cấu hình.

Lặn sâu

NVIDIA garak is an open-source LLM vulnerability scanner whose documentation frames its purpose as testing the security of systems that take prompts and return text. It uses a configured generator to communicate with the target, probes to attempt a defined failure, attempts to record interactions, detectors to look for a particular failure signal, and evaluators to summarize results for probe-detector pairs. Security-oriented examples include prompt injection, data leakage, and other prompt-driven weaknesses in the configured target. A scan is only as relevant as its selected target, probes, and detector behavior. Microsoft PyRIT is a more general red-teaming framework with scanner, GUI, and framework modes. Its current documentation describes targets, scenarios, attack techniques, memory, and flexible scorers. Teams can select security-related scenarios, such as web injection or system-prompt extraction, when those objectives fit the system under review. PyRIT also supports broader safety assessment, but that broader scope should not be confused with a security guarantee or a claim that every scenario is a vulnerability test. The operator needs to choose the objective and understand how the configured scorer judges outcomes. Use these tools to produce evidence for a defined security review, not a universal pass/fail certificate. Test an authorized staging or assessment target with the integrations relevant to the real application. Inspect attempts behind a flagged result, reproduce meaningful findings, determine whether the issue affects the deployed workflow, and record the model or endpoint version and chosen test configuration. A scan with no findings means only that those configured tests did not trigger a detector under that run. It does not show that untested attack paths, tools, data sources, or application controls are secure.

Triển khai trong thế giới thực

Một nhóm chạy bộ dò chèn lời nhắc được chọn của garak lên một điểm cuối thử nghiệm và kiểm tra các lần thử đã ghi lại cùng với kết quả của bộ phát hiện.

Một kiểm thử viên bảo mật chọn bộ dò rò rỉ dữ liệu của garak để kiểm tra xem mục tiêu đã cấu hình có tiết lộ thông tin được đặt trong ngữ cảnh thử nghiệm của nó không.

Một đội ngũ đỏ chọn một kịch bản PyRIT và kỹ thuật tấn công cho một mục tiêu chèn lời nhắc hoặc rò rỉ đã định, sau đó xem lại cuộc trò chuyện đã lưu và kết quả đánh giá.

Một kỹ sư tái tạo một lỗ hổng đã được xác nhận trong đường dẫn ứng dụng và thêm đầu vào chính xác cùng hành vi điều khiển mong đợi vào một kiểm tra hồi quy.

Tương lai của Trình quét Lỗ hổng LLM: garak và PyRIT

Các công cụ kiểm tra bảo mật sẽ liên tục thêm các bộ dò, mục tiêu, kịch bản và tùy chọn đánh giá, nhưng danh mục lớn hơn không làm cho phạm vi kiểm tra hoàn chỉnh. Các nhóm vẫn cần một mô hình mối đe dọa phản ánh ứng dụng, tích hợp và quyền truy cập dữ liệu của họ. Kết quả tự động có thể giúp ưu tiên điều tra và theo dõi sự hồi phục khi thiết lập thử nghiệm được ghi lại. Đánh giá bằng con người và xác minh cấp độ ứng dụng vẫn cần thiết trước khi các nhóm mô tả một phát hiện hoặc một lần chạy sạch như bằng chứng về bảo mật. Các nhóm nên xem xét lại các bài kiểm tra khi các điểm cuối, công cụ hoặc lộ trình dữ liệu thay đổi, và giữ các tuyên bố bảo mật liên kết với các điều kiện thực sự được đánh giá.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Lấy LLM Vulnerability Scanners: garak và PyRIT quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

LLM Vulnerability Scanners: garak và PyRIT là gì?

NVIDIA garak là một trình quét mã nguồn mở cho các hệ thống kiểm tra bảo mật chấp nhận lời nhắc và trả về văn bản, sử dụng các bộ dò và bộ phát hiện được chọn để kiểm tra các chế độ lỗi đã định nghĩa. PyRIT là một khung công tác red-teaming rộng hơn có thể chạy các kịch bản và cuộc tấn công bảo mật được chọn. Kết quả của bất kỳ công cụ nào không chứng nhận một mô hình hoặc ứng dụng là an toàn; các phát hiện phụ thuộc vào mục tiêu, lựa chọn thử nghiệm và cấu hình.

Garak mô tả mục đích kiểm tra chính của mình như thế nào?

Tài liệu của garak nói mục tiêu của nó là kiểm tra bảo mật của các hệ thống prompt-in/text-out.

Bộ dò garak làm gì trong một cuộc quét bảo mật?

Tài liệu mô tả các bộ dò như cố gắng khai thác một điểm yếu và kích hoạt một lỗi.

Bộ phát hiện garak báo cáo gì?

Một bộ phát hiện kiểm tra phản hồi đã ghi lại cho một hiện tượng đã định nghĩa.

Bản ghi nào giúp người xem hiểu tại sao một đầu dò garak bị đánh dấu?

Garak cố gắng ghi lại các tương tác và báo cáo bao gồm dữ liệu chi tiết về các nỗ lực.

Thành phần PyRIT nào có thể đóng gói các bộ dữ liệu với các kỹ thuật tấn công cho một lần chạy?

Tài liệu PyRIT hiện tại mô tả các kịch bản như việc đóng gói các bộ dữ liệu với các kỹ thuật tấn công.