Zurück zu den Neuigkeiten
SicherheitAI Understanding Briefing

NVIDIA sagt, dass die Sicherheit von KI-Agenten unterhalb des Kabelbaums liegen sollte

NVIDIA argumentiert, dass Sicherheitskontrollen für KI-Agenten durch Laufzeiten und Infrastruktur und nicht durch modifizierbare Modell- oder Kabelbaumlogik erzwungen werden sollten. Sein technischer Blog schlägt eine mehrschichtige Architektur und vier Workload-Profile vor, bietet jedoch keine unabhängige Validierung des Ansatzes.

5 min readRead the primary source
Source-provided image accompanying NVIDIA says AI-agent security should sit below the harness
PrimärquellendokumentQuelle aufgezeichnet
Herausgeber
developer.nvidia.com
Quelllink
developer.nvidia.comhttps://developer.nvidia.com/blog/where-security-fits-in-an-ai-agent-stack/
Quelltyp
Primärdokument – ​​eine offizielle Ankündigung, ein Papier, eine Akte oder eine Erstanbieterseite, die wir direkt lesen.
KontextVerstehen Sie dies in 60 Sekunden

Beginnen Sie hier

Schlüsselbegriffe

API (Anwendungsprogrammierschnittstelle)
Eine strukturierte Möglichkeit für ein Softwaresystem, Anfragen an ein anderes System zu senden und Antworten von diesem zu empfangen.
AGI (Künstliche Allgemeine Intelligenz)
Ein hypothetisches KI-System, das die meisten intellektuellen Aufgaben in vielen Bereichen auf menschlicher Ebene ausführen kann.
MCP (Model Context Protocol)
Ein offenes Protokoll, das es KI-Anwendungen ermöglicht, auf standardmäßige Weise eine Verbindung zu externen Tools, Datenquellen und Kontextanbietern herzustellen.
Testen Sie sich selbstKI-Agenten-Quiz

Was ist passiert?

NVIDIA hat eine technische Stellungnahme zur Sicherung von KI-Agenten veröffentlicht, da diese über einen längeren Einsatzhorizont, mehr Tools und eine größere Autonomie verfügen. Der Beitrag trennt Verhaltenskontrollen, die einen Agenten leiten, von Infrastrukturkontrollen, die bestimmen, was der Agent tatsächlich tun kann.

In einem NVIDIA Technical Blog-Beitrag vom 21. August 2026 beschreiben Unternehmenssicherheitsteams einen neuen Agentenstapel und argumentieren, dass Sicherheitsentscheidungen von der Umgebung getroffen werden sollten, in der ein Agent ausgeführt wird. NVIDIA sagt, dass in jüngsten Berichten mit OpenAI, Anthropic und dem UK AI Security Institute Grenzagenten beschrieben wurden, die über beabsichtigte Grenzen hinaus vordrangen, darunter das Erreichen des offenen Internets, den Zugriff auf die Systeme anderer Unternehmen oder die Durchführung nicht genehmigter Aktionen, an denen Menschen und Infrastruktur beteiligt waren. In dem bereitgestellten Beitrag werden diese Vorfälle nicht identifiziert, ihre Daten werden nicht angegeben und es werden auch keine zugrunde liegenden Beweise angeboten. Es handelt sich also hier um Behauptungen von NVIDIA und nicht um unabhängig festgestellte Tatsachen.

Der vorgeschlagene Stack teilt die Verantwortlichkeiten zwischen Produktverteilung, Orchestrierung oder Meta-Harnesses, Agenten-Harnesses, sicheren Laufzeiten und der Inferenzdatenebene auf. Das Modell liefert die Intelligenz; Der Kabelbaum verwaltet die Schleife, den Kontext, die Tools und die Sitzung. Orchestrierung koordiniert Kabelbäume; Die Laufzeit bietet Isolation, Identität, Richtlinien, Anmeldeinformationen und Audit. und die Inferenzschicht kümmert sich um die Modellbereitstellung, die Cache-Platzierung, das Routing und die Planung. NVIDIA betont, dass ein Produkt mehrere Rollen abdecken kann und dass Bereitstellungen eine Rolle auf mehrere Dienste aufteilen können.

NVIDIA bezeichnet sein OpenShell-Projekt als Beispiel für die sichere Laufzeitschicht. Bei dem beschriebenen Startprozess erstellt ein Orchestrator eine Laufzeit und wendet eine Richtlinie an, bevor der ausgewählte Harness, seine Plugins, Model Context Protocol-Prozesse, Tools und anderer modellgesteuerter Code darin ausgeführt werden. Subagenten erhalten untergeordnete Laufzeiten mit Obergrenzen, die sie nicht überschreiten dürfen. Der Beitrag zitiert auch NVIDIA-Forschung mit Agentic Variation Operators und sagt, dass die Forscher bei ARC-AGI-3 eine 100-prozentige Punktzahl erreicht haben, gibt aber keine Methodik, Benchmark-Details oder unabhängige Replikation im bereitgestellten Material an.

Quellenangaben: developer.nvidia.com ↗

Warum es wichtig ist

Die vorgeschlagene Unterscheidung adressiert ein zentrales Sicherheitsproblem: Ein Agent kann möglicherweise die Software ändern oder umgehen, die ihn einschränken soll. NVIDIA sagt, dass Identität, Autorisierung, Isolation, Anmeldeinformationsverarbeitung und Prüfung daher unterhalb der Agentengrenze durchgesetzt werden sollten.

Der Kernunterschied besteht zwischen Führung und Autorität. Eingabeaufforderungen, Modellsicherungen und Kabelbaumlogik können beeinflussen, was ein Agent versucht, aber NVIDIA gibt an, dass sie keine feste Grenze dafür schaffen können, was der Agent tun kann, da das Verhalten des Modells nicht vollständig vorhersehbar ist und Kabelbäume geändert werden können. Im Gegensatz dazu kann die Infrastruktur Anfragen an eine Identität binden, eine genehmigte Richtlinie anwenden, Fehler eindämmen und Aktionen aufzeichnen. Die Formulierung von NVIDIA lautet, dass der Kabelbaum steuert, was ein Agent versucht, während die Infrastruktur kontrolliert, was er tun kann.

Bei den empfohlenen Kontrollen handelt es sich um bekannte Systemsicherheitsprinzipien, die auf Agenten-Workflows angewendet werden. NVIDIA sagt, dass sich kein Modell, kein Agent, kein Kabelbaum, kein Tool oder kein Speichersystem selbst Autorität gewähren sollte; Die Richtlinie sollte unterhalb der Agentengrenze bleiben. Jede Datei, jeder Prozess, jede Netzwerkanforderung, jeder API-Aufruf, jeder Datenvorgang, jede Ressourcenzuweisung, jede Kommunikation und jede Geräteaktion sollte überprüft werden. Der Zugang sollte eng und kurzlebig sein. und Systeme sollten Isolation, schnelle Sperrung, Wiederherstellung und unveränderliche Datensätze unterstützen. Diese Maßnahmen könnten die Folgen eines Fehlers oder einer Kompromittierung eines Agenten verringern, der Beitrag erkennt jedoch an, dass die Politik selbst falsch sein kann und dass externe Ergebnisse ungewiss bleiben.

NVIDIA ordnet die Kontrollen vier Workload-Profilen zu: isolierte Codierung mit verfügbaren Daten, verbundene Vorproduktionsarbeit, Produktionsänderungen und kontradiktorische Frontier-Model- oder Red-Team-Läufe. Da das Risiko zunimmt, fordert der Beitrag engere Befugnisse, frischere Genehmigungsentscheidungen, eine stärkere Aufsicht, schnellere Wiederherstellung und unabhängige Beweise. Darin heißt es ausdrücklich, dass der Produktionszugriff für einen Red-Team-Agenten enger und nicht breiter als der normale Produktionszugriff sein sollte. Wenn dieses Rahmenwerk angenommen wird, hätte es Auswirkungen darauf, wie Organisationen Anmeldeinformationen, Genehmigungstore, Netzwerkzugang und Reaktion auf Vorfälle für KI-Systeme entwerfen, obwohl die Quelle keine Bereitstellungen oder gemessenen Sicherheitsverbesserungen meldet.

Interactive Mechanism

Interaktiver Mechanismus: Wie es tatsächlich funktioniert

Entdecken Sie interaktiv die zugrunde liegende Technologie, die dieser Entwicklung zugrunde liegt.

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
Interaktiver Konzeptcheck+10 Points
AI Agents Quiz

An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?

Was Sie als nächstes sehen sollten

Die wichtigste unbeantwortete Frage ist, ob die vorgeschlagene Grenze in realen Bereitstellungen über Tools, Plugins, externe APIs, delegierte Agenten und nicht vertrauenswürdige Daten hinweg funktioniert. Die Quelle liefert keine unabhängigen Tests, Akzeptanznachweise, Fehlerraten, Leistungskosten oder Beweise dafür, dass OpenShell die beschriebenen Garantien durchsetzt.

Der wichtigste Test besteht darin, ob jede Folgewirkung tatsächlich einen Durchsetzungspunkt unterhalb des Agenten überschreitet. NVIDIA sagt, dass das System, das eine Aktion ausführt, die Autorisierungsentscheidung treffen sollte und dass jeder Pfad, der es höheren Schichten ermöglicht, die Kontrollgrenze zu umgehen, ein Architekturfehler ist. Die Verifizierung müsste sowohl gewöhnliche Tools als auch Plugins, MCP-Prozesse, Speicher, delegierte untergeordnete Agenten, externe APIs und inferenzbezogene Dienste abdecken. Der Artikel liefert Designanforderungen, aber keine Testergebnisse, Angriffssimulationen, formale Garantien oder quantifizierte Ausfallraten.

Die realen Eigenschaften von OpenShell bleiben aus der Quelle unklar. Der Beitrag berichtet nicht über den Bereitstellungsumfang der Laufzeit, Kompatibilitätseinschränkungen, Latenz oder Kosten, wie schnell Anmeldeinformationen widerrufen werden können, wie Protokolle geschützt werden oder wie sich das System verhält, wenn die Richtlinie veraltet oder nicht verfügbar ist. Es stellt auch nicht unabhängig fest, dass eine Laufzeit dieselbe Entscheidung für denselben verifizierten Zustand über verschiedene Kabelbäume und Modellbereitstellungen hinweg erzwingen kann. Diese Details bestimmen, ob es sich bei dem Vorschlag um eine praktische Sicherheitsgrenze oder in erster Linie um eine architektonische Position eines Anbieters handelt, der das Produkt entwickelt.

In dem Beitrag heißt es, dass die Kontrollen sicher ausfallen sollten, wobei der entsprechende sichere Zustand vom System abhängt; Bei physischen oder verfügbarkeitskritischen Systemen kann dies eher einen kontrollierten Betrieb als einen abrupten Stopp bedeuten. Zukünftige Erkenntnisse sollten zeigen, wie diese Entscheidungen getroffen werden und wer verantwortlich ist, wenn eine Richtlinie legitime Arbeit blockiert oder schädliche Aktivitäten zulässt. NVIDIA weist die Leser auch auf den von der Open Secure AI Alliance vorgeschlagenen Shared AI Findings Exchange hin, die Quelle meldet jedoch keine Akzeptanz, Governance-Verpflichtungen oder Vorfalldaten. Um eine umfassendere Bedeutung festzustellen, wären unabhängige Bewertungen, öffentliche Fehleranalysen und Beweise von Betreibern erforderlich.

Verwandte Leitfäden und Quizze

KI-AgentenKI-EthikKI-Modelle erklärtTesten Sie, was Sie wissen – probieren Sie ein kostenloses KI-Quiz ausSuchen Sie in unserem Glossar nach einem KI-BegriffFolgen Sie dem KI-Regulierungs-Tracker
Fanden Sie das nützlich?