Direkt zum Inhalt

Die Landesbehörde für Cybersicherheit in Baden-Württemberg

KI-Sprachmodelle: Intrinsische Schwachstelle

- Warnmeldung

Die Medien stellen derzeit Vor- und Nachteile sogenannter großer KI-Sprachmodelle (Large Language Model [LLM]) breit dar. Auf eine besondere Schwachstelle weist das Bundesamt für Sicherheit in der Informationstechnik (BSI) hin. Denn diese Sicherheitslücke liegt nicht im LLM selbst, sondern kann in den genutzten Datenquellen verborgen sein.
Zwei Menschen analysieren Daten auf Computer

© Adobe Stock

Versteckte Gefahr in ungeprüften Daten

LLMs können auf Internetseiten, Dokumente oder E-Mail-Postfächer zugreifen und automatisiert auswerten. Diese Datenquellen können nicht nur fehlerhaft sein, angreifende Personen können sie  auch gezielt manipulieren. Ziel ist es, die Ausgabe der LLMs zu beeinflussen. Dies wird als Indirect Prompt Injection bezeichnet.

Auswirkungen

Die Risiken durch Indirect Prompt Injections sind ernst zu nehmen. Die Auswirkungen hängen sehr stark vom konkreten Szenario ab, können aber erheblich sein. Zuverlässige und sichere Mitigationsmaßnahmen sind nicht bekannt, sofern die Funktionalität nicht deutlich eingeschränkt werden soll. Nutzer können einen möglichen Angriff meist nicht erkennen, da die entsprechenden Stellen in den Datenquellen versteckt und kodiert sein können.

Maßnahmen

Mögliche Vorsichtsmaßnahmen:

  • systematische Risikoanalyse unter Berücksichtigung möglicher Indirect Prompt Injections
  • Zugriff auf unsichere Quellen ausschließen
  • menschliche Kontrolle und Autorisierung vor Ausführung potenziell kritischer Aktionen
  • Aktionen so einschränken, dass sie reversibel sind oder in einer abgeschotteten Umgebung (Sandbox) ausgeführt werden
  • Aktionen auf das benötigte Minimum beschränken

Ausführliche Informationen

  • Die Cybersicherheitsagentur Baden-Württemberg (CSBW) ist die neueste Landesoberbehörde im Land. Grundlage für ihre Gründung ist das Cybersicherheitsgesetz. Seit 2021 begegnet das stetig wachsende und breit aufgestellte Team der CSBW den immer größer werdenden Gefahren von Cyberangriffen im digitalen Raum. Sie steht im ständigen Austausch mit allen relevanten Sicherheitsbehörden und Akteuren. Zentrale Aufgabe der CSBW ist es, die Cybersicherheit in Baden-Württemberg zu verbessern. Im Fokus steht dabei vor allem die Landesverwaltung. Die wichtigsten Schlagworte sind: Prävention, Detektion und Reaktion.