Der nachfolgende Text wurden mit KI erstellt und kann Fehler enthalten. Fehler gefunden? Bei GitHub editieren
Die rasante Entwicklung von Large Language Models (LLMs) hat eine neue Ära der künstlichen Intelligenz eingeleitet. Doch mit dieser Mächtigkeit kommen auch erhebliche Sicherheitsrisiken. Sönke Magnussen, Consultant bei WPS Workplace Solutions, betont auf dem iSAQB Software Architecture Forum: Sicherheit ist nicht verhandelbar, wenn Agenten in kritischen Prozessen eingesetzt werden.
Die Kernprobleme: Prompt Injection und Goal Hijacking
Das zentrale Sicherheitsrisiko bei LLM-basierten Systemen ist die Prompt Injection. Large Language Models bearbeiten Daten und Befehle auf gleiche Weise. So kann nicht ausgeschlossen werden, dass in Daten Instruktionen versteckt werden. Da sie probabilistisch funktionieren und halluzinieren können, kann man sie auch kaum ganz sicher machen. Besonders gefährlich wird es bei agentischen Systemen: Ein Agent mit dem Ziel „E-Mails im Finanzbereich bearbeiten” könnte durch Prompt Injection manipuliert werden. Ein praktisches Beispiel: Ein böswilliger Akteur könnte einen Agent durch Texte in Rechnungen so manipulieren, dass dieser statt einer regulären Zahlungsanweisung eine deutlich höhere Summe überweist oder die Zahlung an ein anderes Konto leitet.
Ein verwandtes Risiko ist das Tool Misuse. Agenten erhalten Zugriff auf verschiedene Tools und Funktionen. Ohne ausreichende Sicherheitsvorkehrungen könnte ein Agent aufgrund von Prompt Injection Werkzeuge für unbeabsichtigte Zwecke nutzen – etwa um unberechtigte Bestellungen zu tätigen oder Daten zu manipulieren.
Mehrschichtige Sicherheitsansätze
Magnussen schlägt mehrere Sicherheitsmechanismen vor:
Guardrails: Ein LLM überprüft eingehende Eingaben auf verdächtige Muster. Allerdings bietet auch dieser Ansatz keine hundertprozentige Sicherheit – das prüfende Modell könnte Angriffsmuster übersehen.
Klassische Algorithmen und Symbolische KI: Ein vielversprechenderer Ansatz nutzt etablierte informatische Methoden. Der Prozess wird in zwei Schritte unterteilt: Zunächst wird erkannt, welche Business-Objekte (IBAN, Rechnungsnummer, Bestellnummer) in der E-Mail erwähnt werden. Anschließend werden diese Fakten algorithmisch validiert, bevor der Agent handelt. Bei einer Rechnung wird beispielsweise geprüft, ob die zugehörige Bestellung tatsächlich existiert.
Human-in-the-Loop: Ein Mensch überprüft und genehmigt kritische Operationen. Dieser Ansatz ist kostspielig, aber relativ zuverlässig – vergleichbar damit, einen Praktikanten bei großen finanziellen Entscheidungen zu beaufsichtigen.
Prompt Hardening: Der System-Prompt wird gezielt gehärtet, um den Agenten anzuweisen, bestimmte Sicherheitsüberlegungen anzustellen. Dies bleibt jedoch probabilistisch und bietet keine Garantien.
Supply-Chain-Sicherheit
Ein oft übersehenes Risiko ist die Supply Chain des Agenten. Skills, Dokumentationen und Tools stammen oft von außen. Alle diese Inputs landen letztendlich im Kontext des LLMs und könnten Prompt-Injections enthalten. Eine strikte Kontrolle dieser Quellen ist essentiell.
Ein wichtiger Unterschied
Bei selbstentwickelten Agenten hat das Unternehmen mehr Kontrolle darüber, welche Eingaben das Modell erreichen. Bei E-Mail-basierten Systemen entfällt diese Kontrolle – die Angreifer können beliebige Inhalte einschleusen.
Fazit
LLM-basierte Systeme sind nicht inhärent unsicher – aber sie erfordern durchdachte Sicherheitsarchitekturen. Die Kombination aus algorithmischen Validierungen, symbolischer KI und Human-in-the-Loop schafft eine robuste Basis. Unternehmen sollten nicht versuchen, Sicherheit allein durch Text-Prompts zu erzwingen, sondern bewährte Methoden einsetzen. Letztlich trägt die Organization die volle Verantwortung für die Sicherheit ihrer Agenten – eine Verantwortung, mit der sie nicht leichtfertig umgehen sollten.