KI-Vorfallsreaktion: Was tun, wenn ein Modell öffentlich danebenliegt

Wenn ein KI-Modell öffentlich etwas falsch macht, zählt die erste Stunde am meisten: das Problem eindämmen, Beweise sichern, entscheiden, wer spricht, und prüfen, ob eine rechtliche Frist läuft. Die folgenden Schritte eignen sich für eine Modemarke oder einen Händler, dessen Chatbot, Empfehlungssystem, Preistool oder generierte Inhalte auf einem öffentlichen Kanal eine schädliche, falsche oder peinliche Ausgabe erzeugt haben.

Warum brauchen Modeunternehmen einen KI-Vorfallsplan?

KI-Ausgaben sind an mehr Stellen kundennah als früher: Grössenassistenten, Service-Chatbots, Produkttexte, Kampagnenbilder und personalisierte Angebote. Wenn eine davon danebengeht, fällt die Verantwortung meist auf das Unternehmen, das sie der Kundschaft vorgesetzt hat, nicht auf die Technologie.

Ein vielzitiertes Beispiel ist Moffatt v Air Canada. Laut einer Zusammenfassung der American Bar Association entschied ein Tribunal in British Columbia am 14. Februar 2024, die Fluggesellschaft hafte wegen fahrlässiger Falschdarstellung, nachdem ihr Website-Chatbot einem Kunden falsche Auskünfte zu Trauerfall-Tarifen gegeben hatte. Das Tribunal wies das Argument zurück, der Chatbot sei eine eigene Einheit, die für ihr Handeln selbst verantwortlich sei, und hielt fest, dass die Fluggesellschaft für alle Informationen auf ihrer Website einstehen muss, ob statisch oder vom Chatbot erzeugt. Der zugesprochene Betrag war klein, rund 650 kanadische Dollar plus Zinsen und Gebühren, doch auf die Begründung kommt es an. Es handelt sich um eine kanadische, keine EU-Entscheidung, sie zeigt also die Richtung der Entwicklung und ist kein verbindliches Recht für europäische Marken.

Was gilt als KI-Vorfall?

Im Plan breit definieren, dann abstufen. Ein Vorfall kann ein Sachfehler in einer Kundenantwort sein, ein Assistent, der Versprechen macht, die das Unternehmen nicht halten kann, beleidigende oder diskriminierende Ausgaben, ein Abfluss vertraulicher oder personenbezogener Daten über einen Prompt oder eine Ausgabe, ein in einen Storefront ausgespielter Preisfehler oder generierte Bilder, die Rechte verletzen oder ein Produkt falsch darstellen. Der AI Act kennt einen eigenen, engeren Begriff, den schwerwiegenden Vorfall, der für Hochrisiko-Systeme gilt.

Lesen Sie auch

Eine KI-Nutzungsrichtlinie für Modeteams: eine Checkliste

Wie sollte die erste Stunde aussehen?

Die Geschwindigkeit hängt von der Vorbereitung ab. Die folgende Abfolge funktioniert für die meisten Teams, und jeder Schritt sollte im Voraus eine benannte verantwortliche Person haben:

1. Eindämmen: mit einem Kill-Switch oder Fallback die Funktion pausieren, an menschliche Mitarbeitende weiterleiten oder auf eine frühere Version zurückgehen.
2. Beweise sichern: Prompts, Ausgaben, Logs, Modell- und Konfigurationsversionen sowie Screenshots mit Zeitstempel sichern, bevor etwas verändert wird.
3. Triage: einen Schweregrad zuweisen und eine Vorfallsleitung benennen.
4. Umfang einschätzen: klären, wie viele Personen die Ausgabe gesehen haben, welche Kanäle und Märkte betroffen waren und ob Personendaten oder Minderjährige betroffen sind.
5. Rechtliche Fristen prüfen: Recht und Datenschutz fragen, ob Meldepflichten ausgelöst wurden.
6. Kommunikation festlegen: eine interne Faktenquelle und eine externe Sprecherin oder einen externen Sprecher vereinbaren.
7. Beheben und verifizieren: die Ursache korrigieren, mit dem fehlgeschlagenen Fall und verwandten Fällen testen und den Dienst schrittweise wiederherstellen.

Welche rechtlichen Fristen können laufen?

Zwei Regelwerke verdienen eine Prüfung, ein drittes ist Vertragssache.

Datenschutz. Betrifft der Vorfall eine Verletzung des Schutzes personenbezogener Daten, verlangt Artikel 33 DSGVO, dass der Verantwortliche die zuständige Aufsichtsbehörde unverzüglich und möglichst binnen 72 Stunden nach Bekanntwerden meldet, es sei denn, die Verletzung führt voraussichtlich nicht zu einem Risiko für die Rechte und Freiheiten von Personen. Ein Auftragsverarbeiter muss den Verantwortlichen unverzüglich informieren. Eine verspätete Meldung muss die Gründe der Verzögerung nennen.

AI Act. Artikel 73 betrifft schwerwiegende Vorfälle bei Hochrisiko-KI-Systemen. Die allgemeine Frist ist die sofortige Meldung, sobald ein Kausalzusammenhang festgestellt oder hinreichend wahrscheinlich ist, in jedem Fall binnen 15 Tagen nach Kenntnisnahme. Bei einem weitverbreiteten Verstoss beträgt die Frist 2 Tage, und wenn eine Person gestorben ist, 10 Tage. Betreiber von Hochrisiko-Systemen müssen nach Artikel 26 den Anbieter und die zuständigen Behörden über schwerwiegende Vorfälle informieren. Die Hochrisiko-Pflichten für eigenständige Systeme gelten nun ab dem 2. Dezember 2027, es geht hier also vor allem um Tools in Bereichen wie Recruiting und Workforce-Management. Die meisten Kundenservice- und Merchandising-Tools der Mode fallen nicht darunter, doch die Transparenzpflichten nach Artikel 50 gelten seit dem 2. August 2026.

Verträge. Lieferanten- und Händlerverträge können eigene Meldefristen für Vorfälle enthalten, die gemeinsame Daten oder Kundschaft betreffen. Diese früh prüfen.

Wie sollte eine Marke öffentlich kommunizieren?

In klaren Worten sagen, was passiert ist, sagen, was unternommen wird, sagen, was Kundinnen und Kunden tun sollten, und die Technologie oder den Anbieter nicht beschuldigen. Eine Aussage wie «Unser Assistent hat falsche Informationen gegeben, wir haben ihn abgeschaltet, bis wir das beheben» lässt sich leichter vertreten als eine, die nahelegt, das System habe eigenständig gehandelt. Haben Kundinnen und Kunden auf falsche Informationen hin gehandelt, vorab entscheiden, wie das Unternehmen sie schadlos hält, denn die Begründung im Fall Air Canada legt nahe, dass ein Tribunal dies erwarten kann.

Wie lernt man aus einem KI-Vorfall?

Jeden Vorfall mit einer kurzen schriftlichen Auswertung abschliessen: was passiert ist, welche Kontrolle versagt hat, was sich geändert hat. Den fehlgeschlagenen Prompt und ähnliche Fälle in ein Regressionstestset aufnehmen, Leitplanken oder Prüfregeln anpassen und festhalten, ob der Anbieter handeln muss. Das freiwillige NIST AI Risk Management Framework fasst solche Arbeit unter seiner Funktion Manage zusammen, neben Govern, Map und Measure, und kann der Auswertung eine anerkannte Struktur geben.

Lesen Sie auch

Was sollte der Verwaltungsrat zu KI fragen? Ein Briefing für Führungsgremien in der Mode

Was sollte vor dem Start vorbereitet sein?

Bevor eine kundennahe KI live geht, bestätigen, dass es eine Möglichkeit gibt, sie rasch zu deaktivieren, dass Logs aufbewahrt werden und prüfbar sind, dass ein menschlicher Fallback besteht, dass Anbieter sich verpflichtet haben, über Mängel und Sicherheitsereignisse zu informieren, und dass Vorfallsleitung und Sprecherin oder Sprecher benannt sind. Eine solche Vorbereitung kostet wenig im Vergleich zu den Kosten einer ungeplanten öffentlichen Korrektur.