Gestire i crawler IA su un sito di moda: robots.txt, llms.txt e licenze

Quali crawler IA deve conoscere un sito di moda?

Un sito di moda riceve la visita di diversi tipi di agenti automatici, e la policy giusta dipende dalla finalità di ciascuno. I crawler di ricerca recuperano le pagine affinché un prodotto o un articolo possa essere citato in una risposta IA. I crawler di addestramento raccolgono contenuti che possono servire a costruire modelli. I fetcher attivati dall'utente caricano una pagina perché una persona ha posto una domanda a un assistente. Trattarli come un'unica categoria porta o a bloccare troppo, con la conseguenza di far sparire il marchio dalle risposte IA, o a gestire troppo poco, regalando contenuti a condizioni che l'azienda non ha mai scelto.

I siti di moda hanno asset particolari in gioco. I contenuti editoriali, i lookbook e la fotografia di campagna hanno un valore creativo, le schede prodotto un valore commerciale e le recensioni dei clienti possono avere entrambi. Parti diverse di un sito possono giustificare regole diverse, dato che robots.txt lavora per percorso. Un retailer potrebbe consentire ai crawler di scoperta l'accesso alle pagine di prodotto e di categoria, adottando una linea più rigida per le directory delle immagini o per l'archivio editoriale, se l'azienda lo ritiene opportuno.

Come funziona robots.txt con i crawler IA?

Robots.txt è una convenzione volontaria: un file nella radice di un dominio che indica ai crawler conformi quali percorsi possono recuperare. OpenAI afferma che il disallow di GPTBot segnala che i contenuti non devono essere usati per l'addestramento, che i siti che escludono OAI-SearchBot non compariranno nelle risposte della ricerca di ChatGPT, anche se possono comunque apparire come link di navigazione, e che ogni impostazione è indipendente.

Esistono dei limiti. Le richieste avviate da un utente, come ChatGPT-User, possono non rispettare robots.txt, perché la visita è stata attivata da una persona. Robots.txt, inoltre, non può fermare uno scraper non conforme e non può dimostrare chi sia l'autore di una richiesta.

Leggi anche

Farsi trovare in ChatGPT shopping e negli assistenti di IA: che cosa possono controllare i marchi di moda

Che cosa fa e che cosa non fa Google-Extended?

Google descrive Google-Extended come un token di prodotto autonomo che gli editori possono usare per stabilire se i contenuti sottoposti a crawling da Google possano servire ad addestrare i futuri modelli Gemini e al grounding, ossia alla fornitura ai modelli dei contenuti dell'indice di Search al momento del prompt. Precisa che il token non influisce sull'inclusione di un sito in Google Search e non è un segnale di ranking. Non ha una stringa user agent separata, quindi il crawling continua ad avvenire tramite gli user agent di Google già esistenti.

Un'altra pagina chiarisce che le direttive robots.txt per Googlebot controllano il crawling per Search, comprese le funzioni IA, e che i controlli sugli snippet, come nosnippet e max-snippet, limitano ciò che viene mostrato. Bloccare Googlebot per tenere i contenuti fuori dalle funzioni IA li escluderebbe quindi anche da Search, cosa che raramente un retailer desidera.

Vale la pena aggiungere llms.txt?

La proposta llms.txt, pubblicata da Jeremy Howard di Answer.AI il 3 settembre 2024, descrive un file Markdown nella radice del sito con un titolo, un breve riepilogo e link curati a pagine più dettagliate. La pagina stessa della proposta la definisce aperta ai contributi della community e una panoramica informale, non uno standard ratificato. Indica che migliaia di siti pubblicano il file e che OpenAI, Anthropic e Gemini di Google ne pubblicano uno per la propria documentazione per sviluppatori.

Per un retailer di moda le prove di un beneficio sono scarse. Google afferma che, per comparire in AI Overviews o in AI Mode, un sito non ha bisogno di nuovi file leggibili dalle macchine, file di testo per l'IA o markup speciale. Nemmeno le linee guida pubblicate da OpenAI sui crawler menzionano il file. Una posizione ragionevole è che llms.txt costi poco e sia innocuo, ma non vada messo davanti all'accesso dei crawler, a dati di prodotto puliti e a pagine veloci e indicizzabili.

Come può un sito verificare che un bot sia autentico?

Poiché le stringhe user agent possono essere copiate, la verifica conta sempre di più man mano che gli agenti iniziano a effettuare ordini. Cloudflare documenta Web Bot Auth, un metodo in cui il bot firma le proprie richieste HTTP con una chiave privata e pubblica la chiave pubblica in una directory sul proprio dominio. Il sito, o la sua CDN, verifica la firma rispetto alla chiave registrata. Cloudflare raccomanda tempi di scadenza brevi per limitare i replay.

Il tema è di competenza dei team di sicurezza e di piattaforma. Per un retailer, il vantaggio è la possibilità di far passare gli agenti verificati trattando con sospetto gli script non verificati, cosa difficile da ottenere con il solo robots.txt e con gli elenchi di IP.

Il punto di partenza pratico è il logging. I log del server mostrano quali user agent richiedono quali percorsi, con quale frequenza e da dove. Confrontarli con i nomi dei crawler pubblicati permette di capire in fretta se i crawler documentati raggiungono il sito e se agenti sconosciuti stanno facendo scraping delle pagine prodotto. Queste evidenze alimentano anche la discussione sulla policy, perché le decisioni sono più semplici quando poggiano sul traffico osservato e non su ipotesi.

Leggi anche

Come verificare la visibilità del vostro brand di moda in ChatGPT, Gemini e Perplexity

Quali passi deve compiere un sito di moda, e in quale ordine?

1. Elencare i crawler IA che si vogliono consentire per la scoperta, come OAI-SearchBot e Googlebot, e mettere per iscritto la policy insieme ai team legale e di brand.
2. Decidere separatamente sull'accesso per l'addestramento, con le regole per GPTBot e Google-Extended.
3. Verificare le regole di CDN e firewall, in modo che i crawler consentiti non vengano bloccati.
4. Esaminare ogni mese i log di accesso alla ricerca di agenti sconosciuti e valutare la verifica della firma per quelli su cui si fa affidamento.
5. Aggiungere llms.txt solo dopo aver sistemato le basi, mantenendolo breve e accurato.
6. Quando contenuti come lookbook o fotografia editoriale hanno un valore in termini di licenza, coinvolgere un legale prima di decidere un accesso generalizzato.

La questione delle licenze merita una nota. Robots.txt esprime una preferenza e non è un contratto. I brand che vogliono essere pagati per l'uso a fini di addestramento, o che vogliono limitarlo per via contrattuale, hanno bisogno di condizioni d'uso e, se del caso, di una trattativa diretta, e la normativa varia da una giurisdizione all'altra.