Der nachfolgende Text wurden mit KI erstellt und kann Fehler enthalten. Fehler gefunden? Bei GitHub editieren
Wichtige Keytakeaways
- Prompt Injection ist das zentrale Sicherheitsrisiko bei LLM-basierten Systemen und lässt sich nicht vollständig durch technische Mittel eliminieren.
- Goal Hijacking bei Agenten ermöglicht es Angreifern, die Ziele eines Agenten zu verändern und ihn zum Missbrauch von Tools zu veranlassen.
- Eine Kombination aus klassischen Algorithmen, symbolischer KI und Human-in-the-Loop ist sicherer als reine LLM-basierte Lösungen.
- Daten und Befehle werden in LLMs gleichartig behandelt, was das Sicherheitsproblem inhärent macht und nicht durch einfache Prompt-Härtung gelöst werden kann.
- Bei kontrollierten Eingaben (z.B. Softwareentwicklung) lassen sich Risiken durch Kontextbeschränkung deutlich reduzieren.
- Juristische Verantwortlichkeit liegt bei der Organisation, die den Agenten einsetzt, nicht beim System selbst.
Behandelte Kernfragen
- Warum ist das Sicherheitsthema bei LLM-basierten Agenten so zentral und wichtig?
- Was sind die Unterschiede zwischen Prompt Injection und Goal Hijacking als Angriffsszenarien?
- Wie können klassische Algorithmen und symbolische KI zur Absicherung von Agenten eingesetzt werden?
- Inwiefern unterscheiden sich die Risiken bei kontrollierten versus unkontrollierten Eingaben in Agentensysteme?
- Welche Rolle spielt Human-in-the-Loop bei der Sicherung kritischer Prozesse?
- Wie können Supply-Chain-Attacken über Abhängigkeiten und externe Kontexte Agenten kompromittieren?
Glossar wichtiger Begriffe
- Prompt Injection: Ein Angriff, bei dem Befehle durch manipulierte Eingaben in den Kontext eines LLMs eingeschleust werden, um es zu unbeabsichtigtem Verhalten zu bringen.
- Goal Hijacking: Das Verändern des eigentlichen Ziels eines Agenten durch Manipulationen, sodass der Agent mit geändertem Ziel und Zugriff auf Tools missbraucht werden kann.
- Tool Misuse: Der Missbrauch von Werkzeugen durch einen Agenten, der normalerweise für legitime Aufgaben gedacht sind, durch Umleitung zu schadhaften Aktionen.
- Guardrails: Sicherheitsmechanismen, die Eingaben oder Ausgaben von LLMs prüfen (z.B. durch ein zweites LLM), um Anomalien oder Angriffsversuche zu erkennen.
- Symbolische KI: Ein Ansatz der künstlichen Intelligenz, der auf explizit definierten Regeln, Vor- und Nachbedingungen basiert und Lösungen durch logische Deduktion findet.
- Supply Chain Attack: Ein Sicherheitsangriff, der über externe Abhängigkeiten, Bibliotheken oder Kontextinformationen erfolgt.
Genannte Technologien
- Large Language Models (LLMs): Große Sprachmodelle wie GPT, die die Grundlage für moderne KI-Agenten bilden.
- OWASP Top Ten für LLMs: Ein Sicherheits-Framework zur Katalogisierung von häufigen Schwachstellen in LLM-Systemen.
- Guardrails-Systeme: Sicherheitstools und Frameworks zur Validierung von LLM-Eingaben und -Ausgaben.
- Prolog: Eine klassische Programmiersprache für symbolische KI und logische Deduktion.
- jqwik: Werkzeuge zur Softwarequalitätsprüfung, die sich klar gegen AI positioniert.
- Vier-Augen-Prinzip: Ein bewährtes Kontrollmechanismus aus der klassischen Prozessautomation für kritische Entscheidungen.