Fair gemessen: Was robotcheck nach der Überarbeitung mit Fable 5.2 besser macht
Eine fehlerfreie Website konnte bei uns bisher keine 10 von 10 erreichen. Mit Fable 5.2 haben wir analysiert, warum, und das Bewertungssystem von Grund auf neu gedacht: fairer, nachvollziehbarer und selbst überprüft.
Ein Messwerkzeug hat nur ein Kapital: dass man seinen Zahlen glaubt. Wir mussten im November feststellen, dass unsere eigenen Zahlen an einer Stelle nicht ganz verdient waren. Eine Website, die alles richtig machte, konnte bei robotcheck keine 10 von 10 erreichen. Nicht, weil ihr etwas fehlte, sondern weil unsere Regeln es nicht vorsahen.
Dieser Beitrag erzählt, wie wir das gefunden und behoben haben, und was sich für alle ändert, die ihre Website prüfen lassen. Er ist ein Bericht aus der eigenen Werkstatt, belegt durch die Änderungsprotokolle des Projekts, keine Studie über fremde Systeme.
Wie wir die Schwäche gefunden haben
Die Analyse und das Konzept der Überarbeitung stammen von Fable 5.2. Die Fragestellung war schlicht: Wo bestraft unser Score Seiten für etwas, das gar kein Mangel ist? Die Antworten waren unbequem, weil sie klein und zahlreich waren. Eine einsprachige Website bekam beim Thema hreflang nur 0,3 Punkte, obwohl sie dort nichts falsch machen konnte. Ein korrektes HTTPS-Canonical erreichte höchstens 0,7. Die Performance-Bewertung kam ohne Bilder auf der Seite nie über 0,85. Und bei der llms.txt kostete es Punkte, zwei freiwillige Empfehlungen nicht umzusetzen, die kaum eine Seite umsetzt. Bei stripe.com war das zu sehen: Punktabzug ohne echten Mangel.
Keiner dieser Fehler war für sich dramatisch. Zusammen ergaben sie ein System, das ehrliche Seiten leise abwertete. Das ist die gefährlichste Art von Fehler, weil niemand sie bemerkt, der nur auf die Note schaut.
Was sich geändert hat
Das Konzept ruht auf einem einfachen Gedanken: Was wir nicht feststellen können oder was eine Seite gar nicht betrifft, zählt nicht als Mangel. Solche Regeln gelten jetzt als nicht anwendbar, haben kein Gewicht und ziehen nichts ab. Der Gesamtscore ist der gewichtete Durchschnitt der Kriterien, die für die jeweilige Seite überhaupt gelten. Die Folge ist die, die wir uns gewünscht haben: Eine fehlerfreie Seite kann jetzt die volle Punktzahl erreichen. Dazu wurden die Auswertung der robots.txt nach Gruppen gemäß RFC 9309 genauer gemacht und die Schema.org-Prüfung um verschachtelte Strukturen erweitert, die sie vorher übersehen hat.
Der zweite Gedanke betrifft die Frage, welche Regeln überhaupt Punkte kosten dürfen. Früher entschied eine Automatik anhand der Schwere einer Regel. Heute steht in einer ausdrücklichen Liste, was zählt: neun Regeln aus der llms.txt-Spezifikation und sieben Regeln dazu, dass Such- und Nutzer-Bots wie Googlebot, die Bots von OpenAI, Anthropic und Perplexity nicht ausgesperrt werden. Alles andere erscheint im Bericht als Hinweis ohne Punktabzug. Wer etwas in den Score aufnehmen will, muss das bewusst in der Liste ändern. Das macht jede Änderung am Score zu einer Entscheidung, die man nachlesen kann, statt zu einem Nebeneffekt.
Der dritte Gedanke ist der, den man in der Oberfläche am meisten sieht. Jede Score-Regel hat jetzt einen verständlichen Hinweistext, geschrieben in allen 15 Sprachen der Website. Und der Bericht widerspricht sich nicht mehr selbst: keine Doppelungen, keine Mischung aus Sprachen, keine Empfehlung zu einer Regel, die die Seite bestanden hat.
Umsetzung und Kontrolle
Die Umsetzung haben Claude Opus 5.5 und Sonnet 5.5 übernommen, in kleinen Schritten, jeder mit eigener Beschreibung im Protokoll. Der Teil, der uns am meisten Ruhe gibt, ist nicht sichtbar: Bevor die wöchentlich neu erzeugten Prüfungen freigegeben werden, laufen alte und neue Fassung gegen feste Momentaufnahmen von acht Vergleichsdomains, darunter heise.de, stripe.com, python.org und robotcheck.coffee selbst. Fällt die Referenzdomain bei einer Score-Regel durch, wird nicht freigegeben, und die bisherigen Prüfungen bleiben aktiv. Jede Regel, die dabei ihr Urteil ändert, steht in der Wochenmeldung.
Auch die Regeln selbst werden strenger aufgenommen. Ein Vorschlag für eine neue Regel braucht ein wörtliches Zitat, das sich im Quelltext wiederfinden lässt, und eine Anforderungsstufe. Pro Quelle und Woche gibt es höchstens drei neue Regeln, und geänderte Regeln dürfen nicht strenger eingestuft werden, als sie es waren. Eine Beispieldatei von Anthropic, die man früher als Spezifikation behandelt hat, ist als Quelle stillgelegt, weil sie eben nur ein Beispiel ist. Auch unsere eigene llms.txt haben wir dabei wieder spezifikationsgetreu gemacht.
Der naheliegende Einwand
Man kann das alles zynisch lesen: Ein Bewertungssystem wird großzügiger, und plötzlich sehen alle besser aus. Der Verdacht ist berechtigt, und wir wollen ihn nicht wegreden. Er trifft aber nur zu, wenn Großzügigkeit das Ziel wäre. Das Ziel war Genauigkeit. Eine Seite mit einem echten Mangel, etwa einer gesperrten Such-Bot-Gruppe in der robots.txt oder einer kaputten llms.txt, verliert weiterhin Punkte. Was nicht mehr passiert, ist, dass sie Punkte für Dinge verliert, die kein Mangel sind. Dass der Unterschied überprüfbar bleibt, dafür sorgt der Regressionstest. Ein Urteil lässt sich nicht stillschweigend lockern, ohne dass es in der Wochenmeldung auftaucht.
Ein ehrlicher Vorbehalt bleibt. Auch ein faires Regelwerk misst nur, was sich von außen messen lässt. Es sagt nicht, ob ein KI-System eine Seite am Ende tatsächlich zitiert. Der Score ist eine Orientierung, kein Versprechen.
Was wir daraus mitnehmen
Dass Fable 5.2 die Schwächen so nüchtern aufgelistet hat, hat uns geholfen, weil es das Problem von einer vagen Sorge zu einer Liste konkreter Korrekturen gemacht hat. Eine Liste kann man abarbeiten. Nach dem Abarbeiten gilt, was für jedes Prüfwerkzeug gelten sollte: Es muss sich selbst prüfen lassen, bevor es andere prüft.
Wer wissen will, wie die eigene Seite jetzt abschneidet, kann den Check einfach noch einmal laufen lassen. Die Note kann sich geändert haben, und wenn ja, dann aus einem Grund, den der Bericht benennt.
— Andreas Kurt Peter Reuter