Google negeert Cloudflare's robots.txt 'Content Signals' richtlijn
Google's John Mueller bevestigt dat Cloudflare's 'Content Signals' robots.txt-richtlijn geen effect heeft op crawlers of LLM's. Het voegt alleen onnodige code toe en wordt niet ondersteund, ondanks Cloudflare's nieuwe standaardinstellingen voor contentclassificatie.