Tiếp theoHướng dẫn tiếp theo
Giảm độ trễ ứng dụng LLM
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
NVIDIA garak là một trình quét mã nguồn mở dành cho các hệ thống kiểm tra bảo mật chấp nhận lời nhắc và trả về văn bản, sử dụng các bộ dò và bộ phát hiện được chọn để kiểm tra các chế độ lỗi đã định.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
PyRIT là một khung công tác đội ngũ đỏ rộng hơn có thể chạy các kịch bản và tấn công bảo mật được chọn. Kết quả của bất kỳ công cụ nào cũng không chứng nhận một mô hình hoặc ứng dụng là an toàn; các phát hiện phụ thuộc vào mục tiêu, lựa chọn thử nghiệm và cấu hình.
NVIDIA garak is an open-source LLM vulnerability scanner whose documentation frames its purpose as testing the security of systems that take prompts and return text. It uses a configured generator to communicate with the target, probes to attempt a defined failure, attempts to record interactions, detectors to look for a particular failure signal, and evaluators to summarize results for probe-detector pairs. Security-oriented examples include prompt injection, data leakage, and other prompt-driven weaknesses in the configured target. A scan is only as relevant as its selected target, probes, and detector behavior. Microsoft PyRIT is a more general red-teaming framework with scanner, GUI, and framework modes. Its current documentation describes targets, scenarios, attack techniques, memory, and flexible scorers. Teams can select security-related scenarios, such as web injection or system-prompt extraction, when those objectives fit the system under review. PyRIT also supports broader safety assessment, but that broader scope should not be confused with a security guarantee or a claim that every scenario is a vulnerability test. The operator needs to choose the objective and understand how the configured scorer judges outcomes. Use these tools to produce evidence for a defined security review, not a universal pass/fail certificate. Test an authorized staging or assessment target with the integrations relevant to the real application. Inspect attempts behind a flagged result, reproduce meaningful findings, determine whether the issue affects the deployed workflow, and record the model or endpoint version and chosen test configuration. A scan with no findings means only that those configured tests did not trigger a detector under that run. It does not show that untested attack paths, tools, data sources, or application controls are secure.
Một nhóm chạy bộ dò chèn lời nhắc được chọn của garak lên một điểm cuối thử nghiệm và kiểm tra các lần thử đã ghi lại cùng với kết quả của bộ phát hiện.
Một kiểm thử viên bảo mật chọn bộ dò rò rỉ dữ liệu của garak để kiểm tra xem mục tiêu đã cấu hình có tiết lộ thông tin được đặt trong ngữ cảnh thử nghiệm của nó không.
Một đội ngũ đỏ chọn một kịch bản PyRIT và kỹ thuật tấn công cho một mục tiêu chèn lời nhắc hoặc rò rỉ đã định, sau đó xem lại cuộc trò chuyện đã lưu và kết quả đánh giá.
Một kỹ sư tái tạo một lỗ hổng đã được xác nhận trong đường dẫn ứng dụng và thêm đầu vào chính xác cùng hành vi điều khiển mong đợi vào một kiểm tra hồi quy.
Các công cụ kiểm tra bảo mật sẽ liên tục thêm các bộ dò, mục tiêu, kịch bản và tùy chọn đánh giá, nhưng danh mục lớn hơn không làm cho phạm vi kiểm tra hoàn chỉnh. Các nhóm vẫn cần một mô hình mối đe dọa phản ánh ứng dụng, tích hợp và quyền truy cập dữ liệu của họ. Kết quả tự động có thể giúp ưu tiên điều tra và theo dõi sự hồi phục khi thiết lập thử nghiệm được ghi lại. Đánh giá bằng con người và xác minh cấp độ ứng dụng vẫn cần thiết trước khi các nhóm mô tả một phát hiện hoặc một lần chạy sạch như bằng chứng về bảo mật. Các nhóm nên xem xét lại các bài kiểm tra khi các điểm cuối, công cụ hoặc lộ trình dữ liệu thay đổi, và giữ các tuyên bố bảo mật liên kết với các điều kiện thực sự được đánh giá.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
NVIDIA garak là một trình quét mã nguồn mở cho các hệ thống kiểm tra bảo mật chấp nhận lời nhắc và trả về văn bản, sử dụng các bộ dò và bộ phát hiện được chọn để kiểm tra các chế độ lỗi đã định nghĩa. PyRIT là một khung công tác red-teaming rộng hơn có thể chạy các kịch bản và cuộc tấn công bảo mật được chọn. Kết quả của bất kỳ công cụ nào không chứng nhận một mô hình hoặc ứng dụng là an toàn; các phát hiện phụ thuộc vào mục tiêu, lựa chọn thử nghiệm và cấu hình.
Tài liệu của garak nói mục tiêu của nó là kiểm tra bảo mật của các hệ thống prompt-in/text-out.
Tài liệu mô tả các bộ dò như cố gắng khai thác một điểm yếu và kích hoạt một lỗi.
Một bộ phát hiện kiểm tra phản hồi đã ghi lại cho một hiện tượng đã định nghĩa.
Garak cố gắng ghi lại các tương tác và báo cáo bao gồm dữ liệu chi tiết về các nỗ lực.
Tài liệu PyRIT hiện tại mô tả các kịch bản như việc đóng gói các bộ dữ liệu với các kỹ thuật tấn công.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Giảm độ trễ ứng dụng LLM
kỹ thuật