Am 24. März 2026 lagen zwei Versionen von LiteLLM auf PyPI, die Zugangsdaten stahlen. Rund 40 Minuten lang. LiteLLM ist kein Modell und kein Prompt, sondern die Bibliothek, über die viele Anwendungen ihre Modelle ansprechen. Genau das ist die AI Supply Chain: alles, was zwischen einer fremden Quelle und deiner Anwendung liegt.
Klassische Supply-Chain-Angriffe treffen Code, den du nicht geschrieben hast. Bei KI kommt mehr dazu: Bestandteile, die niemand lesen kann, Bestandteile, die sich ohne Release ändern, und Bestandteile, die selbst handeln. Dieser Post ist der Überblick: sechs Einfallstore, je ein belegter Vorfall, und was du zuerst tun solltest. Den Deep Dive zu Modelldateien gibt es in Open-Source-Modelle und ihre Gefahren.
Was zur AI Supply Chain gehört
Zur Lieferkette gehört alles, was du nicht selbst gebaut hast und was trotzdem bestimmt, was deine Anwendung tut. Bei einem KI-System sind das sechs Bausteine:
Die Route von den Quellen bis zu deiner Anwendung. An jeder der sechs Stationen kann jemand etwas austauschen, ohne dass es am Ende auffällt.
- Daten. Trainingsdaten, Daten fürs Feintuning und alles, was ein System zur Laufzeit nachschlägt (RAG// RAGRetrieval-Augmented Generation: Das System sucht vor der Antwort in einer eigenen Wissensbasis und gibt dem Modell die Fundstellen mit.BeispielEin Support-Bot, der vor jeder Antwort im Handbuch nachschlägt.).
- Modelle. Gewichte und Architektur, meist von einem Hub wie Hugging Face, dazu Adapter und konvertierte Varianten.
- Pakete. Frameworks und ihre Abhängigkeiten, von PyTorch bis zur kleinsten Hilfsbibliothek.
- Infrastruktur. Hubs, Paket-Indizes, Build-Pipelines und die Zugangsdaten dafür.
- Anbieter und APIs. Gehostete Modelle, Gateways und die Dienstleister dahinter.
- Agenten-Werkzeuge. MCP-Server// MCP-ServerErweiterung, über die ein KI-Agent Werkzeuge und Daten anbindet. MCP steht für Model Context Protocol.BeispielEin Server, über den der Agent E-Mails verschickt oder auf GitHub zugreift., Skills, Plugins und die Prompt-Vorlagen, die das Verhalten steuern.
Die Einordnung ist nicht neu erfunden. OWASP führt die Supply Chain als eigenes Risiko für LLM-Anwendungen (LLM03). MITRE ATLAS kennt die Technik AI Supply Chain Compromise mit eigenen Untertechniken für Hardware, Software, Daten, Modelle, Container-Registries und Agenten-Werkzeuge.
Was daran neu ist
Vieles davon kennt man aus der Software-Welt. Vier Dinge sind anders.
1 // Bestandteile, die niemand lesen kann
Quellcode lässt sich reviewen, und ein Diff zeigt jede Änderung. Gewichte sind Millionen bis Milliarden von Zahlen, denen niemand ansieht, was antrainiert wurde. OWASP nennt Modelle binäre Black Boxes, bei denen statische Prüfung wenig Sicherheit liefert, und hält fest, dass es für veröffentlichte Modelle derzeit keine starken Herkunftsnachweise gibt.
Dasselbe gilt für die Daten dahinter. Anthropic zeigte 2025 gemeinsam mit dem UK AI Security Institute und dem Alan Turing Institute, dass 250 vergiftete Dokumente für einen Backdoor reichen, bei Modellen von 600 Millionen bis 13 Milliarden Parametern. Der getestete Backdoor war bewusst simpel. Wer ein System per RAG mit eigenem Wissen füttert, erbt das Problem zur Laufzeit: In der Studie PoisonedRAG genügten fünf eingeschleuste Texte pro Zielfrage in einer Wissensbasis mit Millionen von Texten für eine Erfolgsquote von 90 %.
2 // Bestandteile, die sich ohne Release ändern
Ein Paket ändert sich nur, wenn jemand eine neue Version veröffentlicht. Ein Modell hinter einer API kann sich ändern, ohne dass sich an deinem Aufruf etwas ändert. Forscher aus Stanford und Berkeley verglichen 2023 zwei Stände desselben Dienstes: GPT-4 erkannte im März 84 % der gefragten Primzahlen richtig, im Juni noch 51 %. Ihr Fazit: Das Verhalten „desselben“ Dienstes kann sich in kurzer Zeit deutlich ändern, deshalb braucht es laufende Überwachung.
Es muss nicht einmal das Modell sein. Anthropic legte im September 2025 offen, dass drei Fehler in der Infrastruktur die Antwortqualität von Claude über Wochen zeitweise verschlechtert hatten. In der schlimmsten Stunde waren 16 % der Anfragen an eines der Modelle betroffen (Postmortem). Anthropic betont, die Qualität nie absichtlich zu drosseln. Für dich als Kunde ist der Effekt derselbe: Das Ergebnis ändert sich, dein Code nicht.
Dagegen helfen feste Modellversionen. OpenAI nennt sie Snapshots, bei Anthropic steht jede Modell-ID für einen festen Stand, die Aliase älterer Modelle ausgenommen.
3 // Sprache als Träger
In klassischer Software ist ein Kommentar harmlos. In einem KI-System ist Text eine Steuerung: Prompt-Vorlagen, Regeldateien und Tool-Beschreibungen bestimmen, was das Modell tut, und kaum jemand reviewt sie wie Code. Invariant Labs beschrieb 2025 Tool Poisoning: Anweisungen in der Beschreibung eines MCP-Tools, die der Nutzer nicht sieht, das Modell aber liest. Dazu kommt der „Rug Pull“: Ein Server ändert die Beschreibung, nachdem sie freigegeben wurde. Pillar Security zeigte dasselbe Muster für die Regeldateien von Coding-Assistenten, versteckt mit unsichtbaren Unicode-Zeichen.
Beides waren Forschungsergebnisse. Den ersten Versuch in freier Wildbahn dokumentierte Pillar im August 2026: Ein einzelner Account stellte in 74 Minuten 23 Pull Requests an fremde Projekte, die meisten davon sollten einen präparierten MCP-Server einbinden (Deadbugz). Der Server verhielt sich drei Aufrufe lang unauffällig und lenkte den Agenten dann auf SSH-Keys und Cloud-Zugangsdaten. Zum Zeitpunkt der Analyse war keiner der Pull Requests gemerged, vier standen noch offen.
4 // Bestandteile, die selbst handeln
Ein Paket-Manager installiert, was in der Datei steht. Ein Agent entscheidet selbst, was er installiert und welches Werkzeug er aufruft. Das hat zwei Folgen. Erstens entstehen Abhängigkeiten, die kein Mensch ausgewählt hat: In einer Studie mit 16 LLMs existierten 19,7 % der empfohlenen Pakete nicht. Aikido fand Anfang 2026 einen solchen erfundenen Paketnamen in 237 GitHub-Repositories, verbreitet über kopierte Agenten-Skills, und registrierte ihn vorsorglich selbst.
Zweitens wird der Agent zum Werkzeug des Angreifers. Beim Nx-Vorfall im August 2025 riefen die Angreifer laut Wiz die auf dem Rechner installierten KI-Kommandozeilen-Tools auf, um das Dateisystem auszulesen. Ein Jahr später trug ein npm-Wurm bösartige Hooks in .claude/settings.json und .vscode/tasks.json ein, damit sein Code beim nächsten Start automatisch läuft, und gab seine Commits als die eines Coding-Assistenten aus (Aikido).
Sechs Einfallstore, sechs Belege
Für jeden der sechs Bausteine gibt es mindestens einen dokumentierten Fall.
| Baustein | Was passiert ist | Was es zeigt |
|---|---|---|
| 1 Daten | Juli 2026: Ein präparierter Datensatz führte bei Hugging Face zu Code-Ausführung in der Datensatz-Verarbeitung, mit Zugriff auf interne Datensätze und Zugangsdaten. | Daten sind nicht nur Inhalt. Sie können selbst der Angriff sein. |
| 2 Modelle | Februar 2024: JFrog findet rund 100 Modelle auf Hugging Face, die beim Laden Code ausführen. Mai 2026: Ein gefälschtes Repository erreicht Platz 1 der Trends (HiddenLayer). | Beliebtheit ist kein Prüfsiegel. Mehr dazu im Deep Dive. |
| 3 Pakete | Dezember 2022: Das Paket torchtriton auf PyPI trägt den Namen einer Abhängigkeit von PyTorch-nightly und stiehlt SSH-Keys (PyTorch). Das Muster heißt Dependency Confusion// Dependency ConfusionEin öffentliches Paket trägt den Namen eines internen Pakets und wird stattdessen installiert.BeispielIntern gibt es acme-utils 1.2. Ein Angreifer veröffentlicht acme-utils 99.0 auf PyPI, und pip greift zur höheren Version.. |
Ein einziger Paketname genügt. |
| 4 Infrastruktur | März 2026: Angreifer überschreiben 76 von 77 Versions-Tags der GitHub Action des Sicherheitsscanners Trivy (Aqua Security). LiteLLM vermutet in dieser Trivy-Abhängigkeit seiner CI den Ursprung des eigenen Vorfalls wenige Tage später, bestätigt ist das nicht. | Auch die Werkzeuge, die schützen sollen, gehören zur Kette. |
| 5 Anbieter und APIs | Januar 2025: Wiz findet eine offen erreichbare Datenbank von DeepSeek mit über einer Million Log-Zeilen, darunter Chat-Verläufe und geheime Schlüssel. November 2025: Bei Mixpanel, einem Analyse-Dienstleister von OpenAI, werden Namen, E-Mail-Adressen und Organisations-IDs von API-Nutzern abgezogen. Chats und Schlüssel waren nicht betroffen. | Hinter jedem Anbieter steht eine eigene Lieferkette, die du nicht siehst. |
| 6 Agenten-Werkzeuge | September 2025: Ein npm-Paket gibt sich als MCP-Server von Postmark aus und schickt ab Version 1.0.16 E-Mails per BCC an einen fremden Server (Postmark). Februar 2026: 13,4 % von 3.984 geprüften Agenten-Skills haben ein kritisches Sicherheitsproblem (Snyk). | Ein Werkzeug für den Agenten ist eine Abhängigkeit mit Handlungsvollmacht. |
Was du zuerst tun solltest
Niemand sichert sechs Bausteine an einem Tag. Fünf Schritte bringen am meisten, in dieser Reihenfolge.
- 1. Inventar anlegen. Schreib auf, was ihr ladet: Modelle mit Revision, Datensätze, Pakete, Anbieter, MCP-Server, Prompt-Vorlagen. Für den Software-Teil gibt es dafür ein Format, die SBOM// SBOMSoftware Bill of Materials: maschinenlesbare Stückliste aller Bestandteile einer Software, samt Versionen.BeispielEine JSON-Datei mit Einträgen wie
torch 2.6.0odernumpy 1.26.4.. Für KI hat die G7-Arbeitsgruppe für Cybersicherheit im Mai 2026 Mindestangaben vorgeschlagen, veröffentlicht vom BSI: SBOM for AI, Minimum Elements. - 2. Festnageln. Commit-Hash für Modelle, Hashes für Pakete, feste Modellversion bei APIs, feste Version für MCP-Server, Prompts im eigenen Repository. Was sich nicht von selbst ändern kann, kann dich nicht überraschen.
- 3. Prüfen, bevor etwas läuft. Modelldateien scannen und zuerst ohne Netzwerk laden. Wie das konkret geht, steht im Deep Dive.
- 4. Rechte begrenzen. Ein Agent, eine Build-Pipeline und ein Inferenz-Server bekommen nur die Zugänge, die sie brauchen, und keinen freien Weg nach draußen. Dann ist ein kompromittierter Baustein ein Vorfall und keine Katastrophe. Mehr dazu im Defense Playbook.
- 5. Verhalten beobachten. Ein fester Satz Testfälle läuft gegen jedes Modell, vor jedem Wechsel und regelmäßig danach. Bei API-Modellen ist das die einzige Prüfung, die du hast.
| Baustein | Erste Maßnahme | Werkzeuge |
|---|---|---|
| Daten | Herkunft festhalten, Datensätze auf eine Revision pinnen, Quellen für die Laufzeit-Suche beschränken. | Datensatz-Revisionen, Review |
| Modelle | Nur Safetensors zulassen, vor dem Laden scannen, per Commit-Hash laden. | ModelAudit, Fickling, ModelScan |
| Pakete | Ein einziger Paket-Index, Installation nur mit Hashes, jede neue Abhängigkeit reviewen, auch die vom Assistenten vorgeschlagene. | pip --require-hashes, uv, pip-audit |
| Infrastruktur | Tokens mit minimalen Rechten, Actions und Images auf einen Commit pinnen statt auf ein Tag, Zugangsdaten vollständig rotieren. | zizmor, Syft, Grype |
| Anbieter und APIs | Feste Modellversion verwenden, Modell-ID mitloggen, Testfälle als Regressionstest, Schlüssel pro Dienst trennen. | promptfoo, garak |
| Agenten-Werkzeuge | MCP-Server und Skills wie Abhängigkeiten behandeln: Quelltext lesen, Version pinnen, Rechte begrenzen. Prompts ins eigene Repository. | Git, Lockfiles, Review |
Zwei Fallen bei den Paketen
pip-audit findet bekannte Schwachstellen, keine bösartigen Pakete. Die Doku sagt das ausdrücklich. Und --extra-index-url ist laut pip-Doku für private Pakete unsicher, weil pip die beste Version über alle Indizes hinweg wählt. uv bleibt standardmäßig beim ersten Index stehen, der das Paket kennt.
Was die Regulierung dazu sagt
Drei Regelwerke berühren die AI Supply Chain. Keines deckt sie ganz ab.
- Cyber Resilience Act. Hersteller von Produkten mit digitalen Elementen müssen eine Software-Stückliste in einem gängigen, maschinenlesbaren Format führen, mindestens für die Top-Level-Abhängigkeiten (Verordnung (EU) 2024/2847, Anhang I Teil II). Veröffentlichen müssen sie sie nicht. Sie gilt ab dem 11. Dezember 2027, die Meldepflichten gelten seit dem 11. September 2026. Ob ein einzelnes Modell darunter fällt, hängt vom Produkt ab.
- AI Act. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck müssen denen, die ihr Modell einbauen, Informationen und Dokumentation bereitstellen (Artikel 53 der Verordnung (EU) 2024/1689, anwendbar seit dem 2. August 2025). Für frei lizenzierte Modelle mit öffentlichen Gewichten gilt das nur, wenn sie ein systemisches Risiko tragen. Ausgerechnet bei offenen Modellen kann die Dokumentation also fehlen. Für Hochrisiko-Systeme verlangt Artikel 25 schriftliche Vereinbarungen mit Zulieferern. Wer Werkzeuge oder Komponenten öffentlich unter freier Open-Source-Lizenz bereitstellt, ist davon ausgenommen, Anbieter von GPAI-Modellen nicht. Nach der Anpassung vom Juli 2026 greift das frühestens ab dem 2. Dezember 2027, für Systeme nach Anhang I erst ab dem 2. August 2028.
- Empfehlungen. NIST rät im Leitfaden SP 800-218A, Integrität und Herkunft jedes zugekauften Modells vor der Nutzung zu prüfen. OWASP führt seit Dezember 2025 eine eigene Top 10 für agentische Anwendungen, mit der Lieferkette der Agenten als Punkt ASI04. Verbindlich ist beides nicht.
Die kurze Fassung
- Die AI Supply Chain hat sechs Bausteine. Die meisten Teams sichern einen oder zwei davon.
- Neu ist nicht der Angriff über einen Zulieferer. Neu ist, dass sich Bestandteile nicht lesen lassen, sich ohne Release ändern, per Sprache gesteuert werden und selbst handeln.
- Die Vorfälle der letzten zwei Jahre kamen fast alle über legitime Kanäle: ein offizielles Paket, ein echter Build, ein Werkzeug mit gutem Namen.
- Inventar, Festnageln, Prüfen, Rechte begrenzen, Verhalten beobachten. In dieser Reihenfolge.
Quellen:
Du willst wissen, welche der sechs Einfallstore bei euch offen stehen? Lass uns sprechen. In 30 Minuten gehen wir unverbindlich eure Lieferkette Baustein für Baustein durch.