Igazságosan mérve: mit csinál jobban a robotcheck a Fable 5.2-vel végzett átdolgozás után
Egy hibátlan weboldal eddig nem érhetett el nálunk 10-ből 10 pontot. A Fable 5.2-vel megvizsgáltuk, miért, és az alapoktól újragondoltuk az értékelési rendszert: igazságosabb, követhetőbb, és önmagán is ellenőrzött.
Egy mérőeszköznek egyetlen tőkéje van: hogy hisznek a számainak. Novemberben be kellett látnunk, hogy a saját számaink egy ponton nem voltak teljesen megérdemeltek. Az a weboldal, amely mindent jól csinált, nem érhetett el 10 pontot a 10-ből a robotcheckben. Nem azért, mert hiányzott neki valami, hanem mert a szabályaink ezt nem tették lehetővé.
Ez a bejegyzés elmeséli, hogyan találtuk meg és javítottuk ki ezt, és mi változik mindenkinek, aki ellenőrizteti a weboldalát. Beszámoló a saját műhelyünkből, a projekt változásnaplóival alátámasztva, nem tanulmány idegen rendszerekről.
Hogyan találtuk meg a gyenge pontot
Az átdolgozás elemzése és koncepciója a Fable 5.2-től származik. A kérdés egyszerű volt: hol büntet a pontozásunk egy oldalt olyasmiért, ami egyáltalán nem hiba? A válaszok kellemetlenek voltak, mert kicsik és sokan voltak. Egy egynyelvű weboldal csak 0,3 pontot kapott a hreflangra, pedig ott nem is hibázhatott. Egy helyes HTTPS canonical legfeljebb 0,7-et ért el. A teljesítményértékelés kép nélküli oldalon soha nem ment 0,85 fölé. Az llms.txt esetében pedig pontba került, ha valaki nem valósított meg két önkéntes ajánlást, amelyet alig valamelyik oldal valósít meg. A stripe.com-nál ez látszott: pontlevonás valódi hiba nélkül.
Ezek közül egyik hiba sem volt önmagában drámai. Együtt olyan rendszert alkottak, amely csendben leértékelte a tisztességes oldalakat. Ez a legveszélyesebb fajta hiba, mert senki nem veszi észre, aki csak a jegyet nézi.
Mi változott
A koncepció egy egyszerű gondolaton nyugszik: amit nem tudunk megállapítani, vagy ami az oldalt egyáltalán nem érinti, az nem számít hibának. Az ilyen szabályok mostantól nem alkalmazhatónak minősülnek, nincs súlyuk, és nem vonnak le semmit. Az összpontszám azoknak a szempontoknak a súlyozott átlaga, amelyek az adott oldalra egyáltalán vonatkoznak. A következmény az, amit szerettünk volna: egy hibátlan oldal mostantól elérheti a teljes pontszámot. Emellett pontosabb lett a robots.txt csoportok szerinti kiértékelése az RFC 9309 szerint, és a Schema.org-ellenőrzés mostantól a korábban elkerülő beágyazott szerkezeteket is figyelembe veszi.
A második gondolat azt érinti, hogy egyáltalán mely szabályok kerülhetnek pontba. Korábban egy automatika döntött a szabály súlyossága alapján. Ma egy kifejezett lista mondja meg, mi számít: kilenc szabály az llms.txt specifikációból, és hét szabály arról, hogy a kereső- és felhasználói botokat, például a Googlebotot, valamint az OpenAI, az Anthropic és a Perplexity botjait nem zárják-e ki. Minden más a jelentésben pontlevonás nélküli tippként jelenik meg. Aki valamit fel akar venni a pontszámba, annak ezt a listát kell tudatosan módosítania. Így a pontszám minden változása nyomon követhető döntés, nem mellékhatás.
A harmadik gondolatot látni a legjobban a felületen. Minden pontozott szabályhoz érthető tipp tartozik, a weboldal mind a 15 nyelvén megírva. A jelentés pedig többé nem mond ellent önmagának: nincsenek ismétlések, nincs nyelvkeveredés, és nincs ajánlás olyan szabályra, amelyen az oldal megfelelt.
Megvalósítás és ellenőrzés
A megvalósítást a Claude Opus 5.5 és a Sonnet 5.5 végezte, kis lépésekben, mindegyik saját leírással a naplóban. A legtöbb nyugalmat az adja, ami nem látszik: mielőtt a hetente újragenerált ellenőrzéseket jóváhagynák, a régi és az új változat nyolc összehasonlító domain rögzített pillanatfelvételein fut, köztük a heise.de, a stripe.com, a python.org és maga a robotcheck.coffee. Ha a referenciadomain megbukik egy pontozott szabályon, nincs jóváhagyás, és a korábbi ellenőrzések maradnak aktívak. Minden szabály, amely így ítéletet változtat, szerepel a heti jelentésben.
Maguk a szabályok is szigorúbban kerülnek be. Egy új szabály javaslatához szó szerinti idézet kell, amely megtalálható a forrásszövegben, valamint egy követelményszint. Forrásonként és hetente legfeljebb három új szabály lehet, a módosított szabályokat pedig nem lehet a korábbinál szigorúbbnak minősíteni. Egy Anthropic-példafájlt, amelyet korábban specifikációként kezeltünk, forrásként leállítottunk, mert csak példa. Közben a saját llms.txt-ünket is újra specifikációhűvé tettük.
A kézenfekvő ellenvetés
Mindezt lehet cinikusan olvasni: egy értékelési rendszer engedékenyebb lesz, és hirtelen mindenki jobban néz ki. A gyanú jogos, és nem akarjuk elbagatellizálni. De csak akkor állna meg, ha az engedékenység lett volna a cél. A cél a pontosság volt. Az az oldal, amelynek valódi hibája van, például letiltott keresőbot-csoport a robots.txt-ben vagy hibás llms.txt, továbbra is pontot veszít. Ami már nem történik meg, az az, hogy olyasmiért veszít pontot, ami nem hiba. Hogy a különbség ellenőrizhető maradjon, azt a regressziós teszt biztosítja. Egy ítélet nem enyhíthető csendben úgy, hogy ne jelenne meg a heti jelentésben.
Egy őszinte fenntartás marad. Még egy igazságos szabályrendszer is csak azt méri, ami kívülről mérhető. Nem mondja meg, hogy egy MI-rendszer végül ténylegesen idéz-e egy oldalt. A pontszám tájékozódási pont, nem ígéret.
Amit ebből magunkkal viszünk
Az, hogy a Fable 5.2 ilyen józanul sorolta fel a gyenge pontokat, segített nekünk, mert a problémát homályos aggodalomból konkrét javítások listájává tette. Egy listát végig lehet dolgozni. Utána az érvényes, aminek minden ellenőrző eszközre érvényesnek kell lennie: ellenőriztetnie kell magát, mielőtt másokat ellenőriz.
Aki tudni szeretné, hogyan teljesít most a saját oldala, futtassa le újra az ellenőrzést. A jegy megváltozhatott, és ha igen, akkor olyan okból, amelyet a jelentés megnevez.
— Andreas Kurt Peter Reuter