KI-Crawler auf einer Modewebsite steuern: robots.txt, llms.txt und Lizenzierung

Welche KI-Crawler sollte eine Modewebsite kennen?

Eine Modewebsite wird von mehreren Arten automatisierter Agenten besucht, und die richtige Richtlinie hängt vom Zweck des jeweiligen Agenten ab. Such-Crawler rufen Seiten ab, damit ein Produkt oder ein Artikel in einer KI-Antwort zitiert werden kann. Trainings-Crawler sammeln Inhalte, die zum Aufbau von Modellen verwendet werden können. Nutzerausgelöste Abrufe laden eine Seite, weil eine Person einen Assistenten danach gefragt hat. Wer diese Typen gleich behandelt, riskiert entweder zu starkes Blockieren, wodurch die Marke aus KI-Antworten verschwindet, oder zu schwache Steuerung, wodurch Inhalte zu Bedingungen weitergegeben werden, die das Unternehmen nie gewählt hat.

Auf Modewebsites stehen besondere Werte auf dem Spiel. Redaktionelle Inhalte, Lookbooks und Kampagnenfotografie haben kreativen Wert, Produktseiten haben kommerziellen Wert, und Kundenbewertungen können beides haben. Unterschiedliche Bereiche einer Website können unterschiedliche Regeln rechtfertigen, da robots.txt pfadbasiert funktioniert. Ein Händler könnte Discovery-Crawler auf Produkt- und Kategorieseiten zulassen, bei Bildverzeichnissen oder archivierten redaktionellen Inhalten aber eine strengere Linie fahren, sofern das Unternehmen dies für sinnvoll hält.

Wie funktioniert robots.txt bei KI-Crawlern?

Robots.txt ist eine freiwillige Konvention: eine Datei im Stammverzeichnis einer Domain, die konformen Crawlern mitteilt, welche Pfade sie abrufen dürfen. OpenAI erklärt, dass ein Disallow für GPTBot signalisiert, dass Inhalte nicht für das Training verwendet werden sollen, dass Websites, die OAI-SearchBot ausschliessen, nicht in den Suchantworten von ChatGPT erscheinen, wohl aber weiterhin als Navigationslinks angezeigt werden können, und dass jede Einstellung unabhängig ist.

Es gibt Grenzen. Abrufe, die ein Nutzer auslöst, etwa durch ChatGPT-User, befolgen robots.txt möglicherweise nicht, weil eine Person den Besuch veranlasst hat. Robots.txt kann zudem keinen nicht konformen Scraper aufhalten und nicht belegen, wer eine Anfrage stellt.

Lesen Sie auch

In ChatGPT Shopping und KI-Assistenten gefunden werden: Was Modemarken steuern können

Was bewirkt Google-Extended und was nicht?

Google beschreibt Google-Extended als eigenständiges Produkt-Token, mit dem Publisher steuern können, ob von Google gecrawlte Inhalte zum Training künftiger Gemini-Modelle und für das Grounding verwendet werden dürfen, bei dem Inhalte des Suchindex den Modellen zum Zeitpunkt der Anfrage zugeführt werden. Google erklärt, das Token wirke sich nicht auf die Aufnahme einer Website in die Google-Suche aus und sei kein Rankingsignal. Es hat keinen eigenen User-Agent-String, das Crawling erfolgt also weiterhin über die bestehenden Google-User-Agents.

Eine separate Seite hält fest, dass die robots.txt-Direktiven für Googlebot das Crawling für die Suche steuern, einschliesslich KI-Funktionen, und dass Snippet-Steuerungen wie nosnippet und max-snippet begrenzen, was angezeigt wird. Wer Googlebot blockiert, um Inhalte aus KI-Funktionen herauszuhalten, entfernt sie deshalb auch aus der Suche, was ein Händler selten will.

Lohnt sich llms.txt?

Der llms.txt-Vorschlag, den Jeremy Howard von Answer.AI am 3. September 2024 veröffentlicht hat, beschreibt eine Markdown-Datei im Stammverzeichnis der Website mit einem Titel, einer kurzen Zusammenfassung und kuratierten Links zu detaillierteren Seiten. Die Seite des Vorschlags selbst bezeichnet ihn als offen für Beiträge der Community und als informellen Überblick, nicht als verabschiedeten Standard. Sie gibt an, dass Tausende Websites die Datei veröffentlichen und dass OpenAI, Anthropic und Googles Gemini jeweils eine für ihre Entwicklerdokumentation bereitstellen.

Für einen Modehändler ist der Nutzen kaum belegt. Google erklärt, dass eine Website für die Anzeige in AI Overviews oder im AI Mode keine neuen maschinenlesbaren Dateien, KI-Textdateien oder spezielle Auszeichnungen benötigt. Auch die veröffentlichten Crawler-Hinweise von OpenAI erwähnen die Datei nicht. Eine vernünftige Sichtweise lautet: llms.txt ist günstig zu erstellen und unschädlich, sollte aber nicht vor Crawl-Zugang, sauberen Produktdaten und schnellen, indexierbaren Seiten priorisiert werden.

Wie lässt sich prüfen, ob ein Bot echt ist?

Da User-Agent-Strings kopiert werden können, gewinnt die Verifizierung an Bedeutung, sobald Agenten beginnen, Bestellungen aufzugeben. Cloudflare dokumentiert Web Bot Auth, ein Verfahren, bei dem ein Bot seine HTTP-Anfragen mit einem privaten Schlüssel signiert und den öffentlichen Schlüssel in einem Verzeichnis auf seiner eigenen Domain veröffentlicht. Die Website oder ihr CDN prüft die Signatur anhand des registrierten Schlüssels. Cloudflare empfiehlt kurze Ablaufzeiten, um Replay-Angriffe einzugrenzen.

Das ist Sache der Sicherheits- und Plattformteams. Für einen Händler liegt der Nutzen darin, verifizierte Agenten durchzulassen und nicht verifizierten Skripten mit Misstrauen zu begegnen, was mit robots.txt und IP-Listen allein schwer zu leisten ist.

Praktischer Ausgangspunkt ist das Logging. Server-Logs zeigen, welche User-Agents welche Pfade abrufen, wie oft und von wo. Der Abgleich mit den veröffentlichten Crawler-Namen zeigt rasch, ob die dokumentierten Crawler die Website erreichen und ob unbekannte Agenten Produktseiten scrapen. Diese Belege fliessen auch in die Diskussion über die Richtlinie ein, denn Entscheide fallen leichter, wenn sie auf beobachtetem Traffic statt auf Annahmen beruhen.

Lesen Sie auch

So prüfen Sie die Sichtbarkeit Ihrer Modemarke in ChatGPT, Gemini und Perplexity

Welche Schritte sollte eine Modewebsite in welcher Reihenfolge unternehmen?

1. Die KI-Crawler festlegen, die für die Discovery zugelassen werden sollen, etwa OAI-SearchBot und Googlebot, und diese Richtlinie gemeinsam mit Recht und Marke schriftlich festhalten.
2. Den Trainingszugang separat entscheiden, mit Regeln für GPTBot und Google-Extended.
3. CDN- und Firewall-Regeln prüfen, damit zugelassene Crawler nicht blockiert werden.
4. Zugriffs-Logs monatlich auf unbekannte Agenten durchsehen und für die Agenten, auf die man sich stützt, eine Signaturprüfung erwägen.
5. llms.txt erst ergänzen, wenn die Grundlagen stehen, und die Datei kurz und korrekt halten.
6. Bei Inhalten mit Lizenzwert, etwa Lookbooks oder redaktioneller Fotografie, vor einer Entscheidung für pauschalen Zugang Rechtsberatung beiziehen.

Die Lizenzierung verdient eine Anmerkung. Robots.txt drückt eine Präferenz aus und ist kein Vertrag. Marken, die für die Nutzung zu Trainingszwecken bezahlt werden oder sie vertraglich einschränken wollen, brauchen Nutzungsbedingungen und gegebenenfalls direkte Verhandlungen, und die Rechtslage unterscheidet sich je nach Rechtsordnung.