Was ist ein Hochrisiko-KI-System in der Mode?
Nach dem EU AI Act ein KI-System in einem sensiblen Bereich wie Personalrekrutierung oder Kreditvergabe, das strenge Anforderungen erfüllen muss.
Kurz erklärt
Unter dem EU AI Act ist ein Hochrisiko-KI-System (High-Risk AI System) ein System, das in einem sensiblen Bereich wie Personalauswahl, Personalführung oder Kreditzugang eingesetzt wird und strenge Anforderungen erfüllen muss. Die meisten Anwendungen in der Mode sind kein Hochrisiko, doch manche HR- und Finanztools können es sein.
Wie funktioniert es in der Praxis?
Die Einstufung hängt vom Anwendungsfall ab, nicht von der Technologie selbst. Dasselbe Modell kann ein geringes Risiko darstellen, wenn es Produktbilder taggt, und ein hohes, wenn es Bewerbende in eine Rangfolge bringt. Die Verordnung listet die sensiblen Bereiche auf, und Unternehmen müssen prüfen, ob ihre Tools darunter fallen.
Hochrisiko-Systeme müssen unter anderem folgende Anforderungen erfüllen:
- Einen dokumentierten Risikomanagementprozess.
- Hochwertige, relevante und repräsentative Trainingsdaten.
- Technische Dokumentation und Aufzeichnungspflichten.
- Wirksame menschliche Aufsicht.
- Angemessene Genauigkeit, Robustheit und Cybersicherheit.
Anbieter tragen den Grossteil dieser Pflichten, während Betreiber die Systeme gemäss Anleitung nutzen, die Aufsicht durch geschultes Personal sicherstellen und ihren Betrieb überwachen müssen.
Warum ist das wichtig?
Modeunternehmen beschäftigen viele Menschen in Stores, Lagern und Büros, und Recruiting- oder Personaltools nutzen zunehmend KI. Ein KI-Tool, das Bewerbende für Stellen in Stores oder Lagern vorauswählt oder die Leistung von Mitarbeitenden bewertet, wäre wahrscheinlich ein Hochrisiko-System. Fehler hierbei können Bussgelder, Rechtsstreitigkeiten und einen Schaden für die Arbeitgebermarke bedeuten.
Wie nutzt KI es?
Es handelt sich um eine regulatorische Kategorie, nicht um ein Verfahren. In der Praxis beeinflusst sie, wie KI-Tools beschafft werden: Marken verlangen von Anbietern Dokumentation, Konformitätsinformationen und Angaben zu Bias-Tests, und sie gestalten Prozesse so, dass Menschen Entscheidungen prüfen, die Einzelpersonen betreffen.
Typische Fallstricke
Unternehmen konzentrieren sich oft auf sichtbare KI im Kundenkontakt und übersehen Hochrisiko-Anwendungen, die in HR- oder Finanzsoftware verborgen sind. Andere nehmen an, dass mit dem Kauf eines Tools die gesamte Verantwortung auf den Anbieter übergeht, was nicht der Fall ist. Ein klares Inventar der KI-Anwendungen, die frühe Einbindung von HR- und Rechtsteams und ein echter Human in the Loop bei Entscheidungen über Menschen sind die wirksamsten Absicherungen.
Häufige Fragen
Ist KI im Recruiting ein Hochrisiko-System?
KI-Systeme, die zur Einstellung oder Auswahl von Bewerbenden eingesetzt werden, etwa zum Filtern von Bewerbungen oder zur Bewertung von Kandidaten, sind im EU AI Act als Hochrisiko aufgeführt. Sie müssen vor und während der Nutzung strenge Anforderungen erfüllen.
Sind die meisten KI-Tools in der Mode Hochrisiko-Systeme?
Nein. Übliche Anwendungen in der Mode wie Produktempfehlungen, Nachfrageprognosen oder Bild-Tagging sind in der Regel kein Hochrisiko. Die Kategorie umfasst vor allem Anwendungen, die die Rechte oder Chancen von Menschen erheblich beeinflussen.