Qu'est-ce qu'un système d'IA à haut risque pour les entreprises de mode ?
Au sens de l'AI Act de l'UE, système d'IA utilisé dans un domaine sensible, comme le recrutement ou le crédit, et soumis à des exigences strictes.
En bref
Au sens de l'AI Act de l'UE, un système d'IA à haut risque (high-risk AI system) est un système utilisé dans un domaine sensible, comme le recrutement, la gestion du personnel ou l'accès au crédit, qui doit satisfaire à des exigences strictes. La plupart des usages dans la mode ne sont pas à haut risque, mais certains outils RH et financiers peuvent l'être.
Comment cela fonctionne-t-il en pratique ?
La classification dépend du cas d'usage et non de la technologie elle-même. Un même modèle peut être à faible risque lorsqu'il étiquette des images produit et à haut risque lorsqu'il classe des candidats à un emploi. Le règlement énumère les domaines sensibles, et les entreprises doivent vérifier si leurs outils en relèvent.
Les systèmes à haut risque doivent satisfaire à des exigences comprenant :
- Un processus documenté de gestion des risques.
- Des données d'entraînement de qualité, pertinentes et représentatives.
- Une documentation technique et la tenue de registres.
- Un contrôle humain effectif.
- Un niveau approprié de précision, de robustesse et de cybersécurité.
Les fournisseurs portent la plupart de ces obligations, tandis que les déployeurs doivent utiliser les systèmes conformément aux instructions, assurer un contrôle par du personnel formé et surveiller leur fonctionnement.
Pourquoi est-ce important ?
Les entreprises de mode emploient de nombreuses personnes en magasin, en entrepôt et dans les bureaux, et les outils de recrutement ou de gestion du personnel utilisent de plus en plus l'IA. Un outil d'IA servant à présélectionner des candidats pour des postes en magasin ou en entrepôt, ou à évaluer la performance des collaborateurs, serait probablement à haut risque. Une erreur d'appréciation peut entraîner des amendes, des litiges et une atteinte à la réputation de l'employeur.
Comment l'IA l'utilise-t-elle ?
Il s'agit d'une catégorie réglementaire et non d'une technique. En pratique, elle influence l'achat des outils d'IA : les marques demandent aux éditeurs de la documentation, des informations de conformité et des détails sur les tests de biais, et conçoivent leurs processus pour que des personnes examinent les décisions qui concernent des individus.
Pièges fréquents
Les entreprises se concentrent souvent sur l'IA visible destinée aux clients et passent à côté d'usages à haut risque cachés dans les logiciels RH ou financiers. D'autres supposent qu'acheter un outil transfère toute la responsabilité à l'éditeur, ce qui n'est pas le cas. Un inventaire clair des usages de l'IA, l'implication précoce des équipes RH et juridiques et un véritable humain dans la boucle pour les décisions concernant des personnes sont les garde-fous les plus efficaces.
Questions fréquentes
L'IA utilisée pour le recrutement est-elle à haut risque ?
Les systèmes d'IA utilisés pour recruter ou sélectionner des candidats, par exemple en filtrant les candidatures ou en évaluant les candidats, figurent parmi les systèmes à haut risque de l'AI Act de l'UE. Ils doivent satisfaire à des exigences strictes avant et pendant leur utilisation.
La plupart des outils d'IA dans la mode sont-ils à haut risque ?
Non. Les usages courants dans la mode, comme les recommandations de produits, la prévision de la demande ou l'étiquetage d'images, ne sont généralement pas à haut risque. Cette catégorie couvre principalement les usages qui affectent sensiblement les droits ou les perspectives des personnes.