Warum RobotCheck seine Regeln
automatisch aktualisiert
AI-Crawler entwickeln sich schneller als jede Dokumentation. Wer seine Website einmal prüft und dann wartet, prüft bald gegen veraltete Regeln — und merkt es nicht.
Das Problem: Regeln veralten, Websites nicht
Als RobotCheck.coffee im letzten Jahr gestartet ist, war llms.txt gerade ein Vorschlag auf einer Handvoll Blogs. Heute haben Anthropic, OpenAI und Google eigene Crawler-Richtlinien, eigene Bot-Namen und eigene Direktiven — und alle drei haben ihre Dokumentation seither mehrfach geändert.
Das klassische Problem bei Analyse-Tools: Die Regeln, gegen die eine Website geprüft wird, sind zum Zeitpunkt der Prüfung schon nicht mehr aktuell. Der Nutzer sieht ein grünes Häkchen und glaubt, alles sei in Ordnung. Dabei fehlt vielleicht bereits eine neue Direktive, die ClaudeBot oder GPTBot ausschließen oder erlauben würde.
Eine Website gegen veraltete AI-Regeln zu prüfen ist wie Einparkhilfe mit einer Karte von 2019 — die Welt hat sich verändert.
Die Lösung: Ein lebender Regelkatalog
RobotCheck.coffee löst das mit einem vollautomatischen Update-Mechanismus: Einmal wöchentlich durchsucht ein Job die offiziellen Quellen der AI-Anbieter — Anthropic, OpenAI, Google, llmstxt.org — extrahiert neue oder geänderte Regeln, vergleicht sie mit dem bestehenden Katalog und schreibt nur dann eine neue Version, wenn sich etwas wirklich geändert hat.
// Wie die Pipeline funktioniert
jedem Montag, 06:00
Google, llmstxt.org
als strukturiertes JSON
Regeln vergleichen
nur bei echten Änderungen
Der entscheidende Punkt in Schritt 5: Kein Commit ohne Änderung. Wenn die Quellen identisch sind, passiert nichts. Die Versionsnummer steigt nur, wenn sich Regeln inhaltlich unterscheiden — eine neue Direktive auftaucht, eine alte wegfällt oder sich ein Severity-Level ändert.
// Warum jede Regel eine stabile ID hat
Jede Regel bekommt eine unveränderliche ID wie robots-gptbot-disallow oder llmstxt-contact-url-present. Das ermöglicht den Diff erst zuverlässig: Wenn sich der Text einer Regel ändert, bleibt die ID gleich — der Analyzer erkennt: „Diese Regel kenne ich, aber sie sieht jetzt anders aus.“ Ohne stabile IDs würde jeder Run eine Flut von vermeintlich neuen Regeln produzieren.
Versionen: Was sich wann geändert hat
Jede neue Version des Regelkatalogs landet in einem versionierten CHANGELOG. So lässt sich nachvollziehen, wann eine Regel erstmals aufgetaucht ist — und welche Quelle sie ausgelöst hat:
Das gibt Nutzern Sicherheit: Wenn sich ein Score plötzlich verschlechtert, obwohl an der Website nichts geändert wurde, lässt sich im Changelog nachvollziehen, welche neue Regel das ausgelöst hat — und seit wann sie gilt.
Wo die Regelversionen zu finden sind
Die öffentliche Changelog-Seite zeigt jede Version mit Datum, geänderter Regelanzahl und Quellenangabe. Jeder Analyse-Bericht zeigt außerdem unten rechts an, gegen welche Regelversion die Prüfung gelaufen ist — damit ein gespeicherter Report auch drei Monate später nachvollziehbar bleibt.
Ein zusätzlicher Nutzen der öffentlichen Changelog-Seite: Sie macht sichtbar, wie aktiv der Standard sich entwickelt. Wer regelmäßig vorbeischaut, bekommt ein Gefühl dafür, in welche Richtung sich AI-Readability als Thema bewegt — und wann eine Re-Analyse der eigenen Website sinnvoll wäre.
Was als nächstes kommt
Demnächst: Optionale E-Mail-Benachrichtigung wenn eine neue Regelversion erscheint — mit direktem Link zur Re-Analyse.
Später: Eine öffentliche API für den Regelkatalog, sodass andere Tools denselben lebenden Standard nutzen können.
☕ RobotCheck.coffee unterstützen
Das Tool ist kostenlos — der Betrieb nicht ganz. Wer die Arbeit an der AI-lesbaren Website nützlich findet, kann mit einem Kaffee helfen, die Pipeline am Laufen zu halten.
Danke — jede Unterstützung fließt direkt in API-Kosten und Hosting.