Während Unternehmen mit autonomen KI-Systemen experimentieren, wird die Absicherung sogenannter agentischer KI zu einem wichtigen Thema für Technologieführungskräfte, Investoren und Cybersicherheitsteams. Agentische Systeme sind darauf ausgelegt, Aktionen auszuführen, Tools zu nutzen, Informationen abzurufen und mehrstufige Aufgaben mit begrenzter menschlicher Intervention zu erledigen. Dadurch wachsen sowohl ihr potenzieller geschäftlicher Nutzen als auch ihr Sicherheitsrisiko.
Diese Herausforderung hat die Diskussion darüber angestoßen, ob eine neue Generation von Cybersicherheitsunternehmen entstehen könnte, um diese Systeme zu schützen. Anders als herkömmliche Software können KI-Agenten mit sensiblen Daten interagieren, eine Verbindung zu Geschäftsanwendungen herstellen, APIs aufrufen und Entscheidungen auf Grundlage sich verändernder Eingaben treffen. Diese Fähigkeiten können Möglichkeiten für Missbrauch, unbeabsichtigte Offenlegung von Daten, übermäßige Berechtigungen und Manipulation durch bösartige Prompts oder kompromittierte Tools schaffen.
Ein eigenständiges Sicherheitsproblem
Sicherheitskontrollen für agentische Anwendungen müssen möglicherweise mehr als nur das zugrunde liegende Sprachmodell berücksichtigen. Unternehmen werden wahrscheinlich Transparenz darüber benötigen, worauf ein Agent zugreifen kann, welche Aktionen er ausgeführt hat, wie er externe Tools nutzt und ob sein Verhalten innerhalb der genehmigten Grenzen bleibt.
- Beschränkung des Zugriffs auf sensible Systeme und Daten
- Überwachung der Tool-Nutzung, von API-Aufrufen und Agentenaktionen
- Erkennung von Prompt-Injection und bösartigen Anweisungen
- Führung von Audit-Trails für automatisierte Entscheidungen
- Anwendung menschlicher Genehmigungsschritte bei Vorgängen mit hohem Risiko
Die Marktchance zieht Aufmerksamkeit auf sich, weil Unternehmen voraussichtlich KI-Agenten in den Bereichen Kundensupport, Softwareentwicklung, Finanzen, Betrieb und Sicherheitsabläufe einsetzen werden. Wenn sich die Einführung beschleunigt, könnten Unternehmen speziell entwickelte Produkte für Richtliniendurchsetzung, Identitätskontrollen, Tests, Überwachung und Incident Response in agentengesteuerten Umgebungen suchen.
Der Sektor befindet sich jedoch noch in einem frühen Stadium. Die Sicherheitsanforderungen werden je nach Autonomie eines Agenten, den Systemen, die er erreichen kann, und der Sensibilität der Informationen, die er verarbeitet, unterschiedlich ausfallen. Etablierte Cybersicherheitsanbieter, Cloud-Anbieter und KI-Plattformunternehmen werden wahrscheinlich ebenfalls um diesen Markt konkurrieren, neben Start-ups, die sich speziell auf Risiken autonomer KI konzentrieren.
Derzeit stellt agentische Sicherheit eher eine entstehende Kategorie als ein vollständig definiertes Produktsegment dar. Ihr letztendliches Ausmaß wird davon abhängen, wie umfassend Unternehmen KI-Agenten mit folgenreichen Aufgaben betrauen – und wie wirksam die Branche die mit diesem Vertrauen verbundenen Risiken begrenzen kann.