Allucinazioni degli assistenti di shopping IA: chi risponde dei claim di prodotto errati?
Un assistente che inventa un tessuto, uno sconto o una regola sui resi crea una responsabilità concreta. Come nascono le allucinazioni nell'e-commerce di moda, che cosa dice la legge e come ridurre il rischio.
IN SINTESI Sintesi della redazione
- Un'allucinazione è una risposta sicura ma falsa di un sistema di IA generativa, come una composizione del materiale, una disponibilità di taglie, uno sconto o una regola sui resi inventati.
- Nel caso Moffatt v Air Canada (2024) un tribunale della British Columbia ha ritenuto la compagnia aerea responsabile delle informazioni errate fornite dal suo chatbot, respingendo l'argomento secondo cui il chatbot sarebbe un'entità giuridica separata.
- La direttiva UE sulle pratiche commerciali sleali riguarda le informazioni non veritiere prima, durante e dopo una transazione con il consumatore, e la sua modifica tramite la direttiva (UE) 2024/825 si applica dal 27 settembre 2026.
- La nuova direttiva UE sulla responsabilità per danno da prodotti difettosi copre esplicitamente il software, compresi i sistemi di IA, e si applica ai prodotti immessi sul mercato dal 9 dicembre 2026.
- Ancorare le risposte a dati di catalogo verificati, limitare le tipologie di claim, registrare le conversazioni e prevedere un'escalation chiara sono i principali controlli pratici.
Quando un assistente di shopping IA afferma qualcosa di falso su un prodotto, il retailer che lo utilizza dovrebbe dare per scontato di esserne responsabile, esattamente come lo sarebbe per un'indicazione errata in una pagina prodotto. I tribunali hanno già respinto l'argomento secondo cui un chatbot sarebbe separato dall'azienda, e il diritto UE dei consumatori considera sleali le informazioni non veritiere indipendentemente da come sono state prodotte. La risposta pratica è ancorare l'assistente a dati verificati e limitare ciò che può affermare.
Che cos'è un'allucinazione dell'IA nell'e-commerce di moda?
Un'allucinazione è una risposta sicura che non è supportata dai fatti. I large language model generano testi plausibili e, quando i dati pertinenti mancano o sono ambigui, possono colmare le lacune. Nella moda gli esempi tipici sono facili da immaginare e costosi nella pratica.
| Tipo di claim | Esempio di risposta errata | Possibile conseguenza | Controllo |
|---|---|---|---|
| Materiale e composizione | Indicare 100% cotone per un misto cotone | Claim ingannevole, resi, reclami per allergie | Rispondere solo sulla base di dati strutturati sulla composizione |
| Sostenibilità | Definire un prodotto 'ecologico' senza prove | Esposizione al greenwashing ai sensi del diritto dei consumatori | Consentire solo claim certificati e documentati |
| Taglia e scorte | Confermare la disponibilità di una taglia esaurita | Ordini annullati, fiducia persa | Verifica delle scorte in tempo reale per taglia |
| Prezzi e promozioni | Citare uno sconto scaduto | Contestazioni, pressione a onorare il prezzo | Leggere i prezzi solo dal sistema di checkout |
| Policy | Inventare un periodo di reso più lungo | Pretese dei clienti basate su quanto detto dal chatbot | Recuperare alla lettera il testo della policy vigente |
| Manutenzione e sicurezza | Istruzioni di lavaggio errate | Prodotti danneggiati, reclami | Usare le etichette di manutenzione dai dati di prodotto |
Un retailer è responsabile di ciò che dice il suo assistente IA?
Il precedente più chiaro finora arriva dal Canada. A febbraio 2024 il Civil Resolution Tribunal della British Columbia ha deciso il caso Moffatt v Air Canada. Il chatbot della compagnia aerea aveva detto a un cliente che poteva richiedere una riduzione tariffaria per lutto entro 90 giorni dal viaggio, in contrasto con la policy effettiva. Air Canada ha sostenuto che le informazioni corrette erano disponibili altrove sul suo sito e che il chatbot era un'entità giuridica separata, responsabile delle proprie azioni. Il tribunale ha respinto questa tesi, ha stabilito che l'azienda era responsabile di tutte le informazioni presenti sul suo sito, che provenissero da una pagina statica o da un chatbot, e ha riconosciuto circa 650 dollari canadesi più interessi e spese.
Gli importi erano modesti, ma il ragionamento conta per il retail: un'azienda non può disconoscere il proprio assistente. Le leggi variano da paese a paese e il caso non è vincolante in Europa, ma il diritto UE dei consumatori arriva a un risultato pratico simile per altre vie.
Quali norme UE si applicano ai claim di prodotto errati dell'IA?
- Direttiva sulle pratiche commerciali sleali: la norma quadro dell'UE sulle pratiche commerciali sleali nei confronti dei consumatori, che riguarda le informazioni non veritiere prima, durante e dopo una transazione. La sua modifica tramite la direttiva (UE) 2024/825 si applica dal 27 settembre 2026. Le formulazioni ambientali non comprovate di un assistente meritano particolare attenzione.
- AI Act UE, articolo 50: dal 2 agosto 2026 i sistemi di IA destinati a interagire con le persone devono essere progettati in modo che gli utenti sappiano di avere a che fare con un'IA, salvo che ciò sia evidente. L'informativa non elimina la responsabilità per l'accuratezza.
- Direttiva (UE) 2024/2853 sulla responsabilità per danno da prodotti difettosi: è entrata in vigore l'8 dicembre 2024 e si applica ai prodotti immessi sul mercato dal 9 dicembre 2026. Copre esplicitamente il software, compresi i sistemi di IA, e può rendere i fabbricanti responsabili dei difetti derivanti da aggiornamenti o da funzionalità di machine learning. Riguarda prodotti difettosi che causano danni, quindi è più rilevante per i fornitori di software di IA che per una semplice risposta errata su un tessuto.
Come possono i retailer di moda ridurre il rischio di allucinazioni?
- Ancorare ogni dato di prodotto: configurare l'assistente perché risponda alle domande sui prodotti solo sulla base dei dati di catalogo recuperati e dica di non sapere quando i dati mancano.
- Limitare le categorie di claim: bloccare o vincolare a modelli rigidi le affermazioni su sostenibilità, salute e sicurezza, consentendo solo i claim documentati nei dati di prodotto.
- Usare sistemi in tempo reale per prezzi e scorte: non lasciare mai che il modello deduca disponibilità o prezzi dal testo.
- Citare le policy, non parafrasarle: recuperare i testi aggiornati su resi e consegne e rimandare alla pagina di origine.
- Testare con domande insidiose: includere nei test prima del lancio domande tendenziose come 'questo è biologico, vero?'.
- Registrare e verificare: conservare i log delle conversazioni nel rispetto delle norme sulla protezione dei dati e analizzarne campioni ogni settimana.
- Definire un processo di correzione: stabilire in anticipo come gestire i clienti che si sono basati su una risposta errata, ad esempio onorando entro certi limiti un prezzo comunicato.
E gli errori commessi da assistenti esterni come ChatGPT?
Quando un assistente di terzi descrive in modo errato un vostro prodotto, il controllo diretto è limitato, ma la stessa disciplina sui dati aiuta. Le piattaforme esterne si basano in larga misura sui feed dei merchant e sui dati strutturati; feed completi e accurati lasciano loro meno margine per tirare a indovinare. Monitorate come i principali assistenti descrivono i vostri prodotti più venduti, correggete i dati sottostanti e usate i canali di feedback delle piattaforme, dove disponibili.
Chi in azienda dovrebbe essere responsabile di questo rischio?
La responsabilità è di solito condivisa: l'e-commerce gestisce l'assistente, i team dei dati di prodotto sono responsabili dei fatti, l'ufficio legale definisce le regole sui claim e il servizio clienti gestisce escalation e correzioni. Nominate un unico responsabile, concordate una soglia di accuratezza prima del lancio e date a quella persona l'autorità di limitare o disattivare l'assistente se gli errori aumentano.
È utile anche documentare i controlli. Se un'autorità di vigilanza o un tribunale dovesse esaminare un'affermazione errata, la prova che l'azienda ha ancorato le risposte a dati verificati, limitato i claim sensibili, effettuato test prima del lancio e corretto tempestivamente gli errori avrà peso. Una breve policy interna su questi punti, rivista ogni volta che cambiano il modello, i prompt o le fonti dei dati, è uno sforzo modesto rispetto al danno reputazionale di uno screenshot ampiamente condiviso in cui un assistente fa affermazioni false su un prodotto. Rivedete la policy almeno una volta l'anno e dopo ogni incidente significativo, affinché rifletta l'uso effettivo dell'assistente.
Domande frequenti
Un'azienda può essere ritenuta responsabile degli errori del suo chatbot?
Sì, almeno in un caso noto. In Moffatt v Air Canada (2024) un tribunale della British Columbia ha ritenuto la compagnia aerea responsabile delle informazioni errate del suo chatbot, respingendo la tesi che il chatbot fosse un'entità giuridica separata. L'esito dipende dalla legge locale.
L'AI Act UE rende i retailer responsabili delle allucinazioni dell'IA?
L'articolo 50 dell'AI Act richiede soprattutto trasparenza sul fatto che gli utenti interagiscono con un'IA e si applica dal 2 agosto 2026. La responsabilità per affermazioni ingannevoli sui prodotti deriva principalmente dal diritto dei consumatori, come la direttiva sulle pratiche commerciali sleali.
Come si impedisce a un assistente di shopping IA di inventare le cose?
Ancorando le risposte ai dati di catalogo recuperati, usando sistemi in tempo reale per prezzi e scorte, limitando le tipologie di claim sensibili come la sostenibilità e istruendo l'assistente a dire di non sapere quando i dati mancano. Testate con domande insidiose e analizzate regolarmente i log.
La nuova direttiva UE sulla responsabilità per danno da prodotti difettosi copre l'IA?
Sì. La direttiva (UE) 2024/2853 copre esplicitamente il software, compresi i sistemi di IA, e si applica ai prodotti immessi sul mercato dal 9 dicembre 2026. Riguarda prodotti difettosi che causano danni, non ogni risposta errata.
Un'edizione ogni giorno feriale. Si legge in cinque minuti. Gratuita per i professionisti del settore.
