Google negeert Cloudflare's robots.txt 'Content Signals' richtlijn

In een recente uitspraak heeft John Mueller van Google duidelijkheid verschaft over de effectiviteit van de 'Content Signals' robots.txt-richtlijn, geïntroduceerd door Cloudflare. Zijn boodschap is eenduidig: deze richtlijn heeft "geen enkel effect" op welke crawler of Large Language Model (LLM) dan ook.

Google negeert Cloudflare's richtlijn

Mueller reageerde op een vraag op Reddit over het nut van 'Content-Signal headers' en 'llms.txt' voor entiteitsdisambiguatie. Hij benadrukte dat Google geen gebruik maakt van 'llms.txt' of 'llms-author.txt' en dat er geen bevestiging is van andere crawlers of LLM's die deze gebruiken, afgezien van SEO-tools. Wat de 'content-signal' robots.txt-richtlijnen betreft, stelt Mueller dat deze door Cloudflare zijn bedacht en "geen enkel effect hebben whatsoever voor welke crawler of LLM dan ook." Hij voegt eraan toe dat het gebruik ervan alleen "bloat en toekomstig onderhoud" toevoegt aan het robots.txt-bestand.

Implicaties voor webmasters en Cloudflare-gebruikers

Deze verklaring is cruciaal voor webmasters, vooral voor degenen die Cloudflare gebruiken. Cloudflare, dat ongeveer 21,3% van alle websites op het internet bedient, heeft een deadline gesteld van 15 september 2026 voor het instellen van nieuwe standaardwaarden voor contentclassificatie. Voor nieuwe domeinen die Cloudflare gebruiken, zullen de categorieën 'Training' en 'Agent' standaard worden geblokkeerd op pagina's met advertenties, terwijl 'Search' standaard toegestaan blijft. Hoewel Cloudflare deze classificaties introduceert, maakt Mueller duidelijk dat de specifieke 'content-signal' robots.txt-richtlijn die hierbij hoort, door Google niet wordt gerespecteerd.

Dit betekent dat webmasters die vertrouwen op deze specifieke robots.txt-richtlijn om de toegang van crawlers of LLM's te beheren, moeten weten dat dit voor Google (en waarschijnlijk andere grote spelers) geen effect heeft. Het is essentieel om te begrijpen dat crawlers alleen de richtlijnen gebruiken die ze ondersteunen en de rest negeren. Het advies is dan ook om de instellingen binnen Cloudflare zelf te controleren en niet te vertrouwen op de 'content-signal' robots.txt-richtlijn voor het beheer van Google's toegang.

Conclusie

De boodschap van John Mueller is helder: de 'Content Signals' robots.txt-richtlijn van Cloudflare is ineffectief voor Google en andere belangrijke crawlers/LLM's. Webmasters moeten zich richten op de traditionele robots.txt-richtlijnen en de instellingen binnen hun CDN (zoals Cloudflare) om de toegang van bots effectief te beheren.