Cloudflare's Nieuwe AI-Trainingsblok Spreekt Googlebot Vrij: Wat Betekent Dit voor SEO?

Cloudflare's Nieuwe Aanpak voor AI-Training en Zoekmachinezichtbaarheid

Cloudflare heeft een belangrijke update uitgebracht die de manier waarop website-eigenaren hun content beheren ten opzichte van AI-training en zoekmachines drastisch verandert. Vanaf 15 september is de nieuwe instelling 'Disallow AI Training' beschikbaar, waarmee sites kunnen voorkomen dat hun content wordt gebruikt voor het trainen van AI-modellen, zonder de cruciale zoekmachine-crawlers zoals Googlebot, Bingbot en Applebot te blokkeren. Dit is een gamechanger, aangezien het voorheen vaak betekende dat het blokkeren van AI-training ook leidde tot verlies van zoekmachinezichtbaarheid.

Hoe de 'Disallow AI Training'-instelling Werkt

Wanneer de 'Disallow AI Training'-instelling wordt geactiveerd, voegt Cloudflare's Bot Preference Sync automatisch twee regels toe aan het robots.txt-bestand van de website: één voor 'Google-Extended' en één voor 'Applebot-Extended'. Deze specifieke tokens worden door Google en Apple uitsluitend gebruikt voor AI-training. Dit betekent dat de reguliere Googlebot, Bingbot en Applebot, die verantwoordelijk zijn voor het indexeren van pagina's voor zoekresultaten, ongestoord hun werk kunnen blijven doen. Bedrijven als Amazon, Anthropic, Meta en OpenAI gebruiken al aparte crawlers voor training en zoeken, en Cloudflare blokkeert hun trainingscrawlers direct.

Samenwerking met Techreuzen en Toekomstige Ontwikkelingen

Cloudflare heeft intensief overleg gevoerd met Google, Microsoft en Apple. Als gevolg hiervan hebben deze techgiganten toegezegd (of reeds geïmplementeerd) om opt-out-mogelijkheden voor AI-training aan te bieden. Google en Apple zullen URL-niveau rapportage bieden over welke pagina's beschikbaar zijn gesteld voor training, hoewel Microsoft hierin nog achterloopt. Bingbot zal de robots.txt-regel pas begin 2027 lezen, wat betekent dat voor Bing momenteel een NOARCHIVE meta tag de enige manier is om training te voorkomen.

Impact op AI-Antwoorden versus AI-Training

Het is cruciaal om te begrijpen dat de nieuwe instelling alleen bepaalt of content mag worden gebruikt voor het *trainen* van AI-modellen. Het heeft geen invloed op de verschijning van content in *AI-antwoorden* of samenvattingen. Dit betekent dat website-eigenaren nu afzonderlijke keuzes moeten maken voor zoekmachine-indexering, AI-training en AI-antwoorden. Cloudflare heeft aangekondigd dat controles voor AI-samenvattingen volgend jaar op de planning staan.

Strategische Keuzes voor Website-Eigenaren

De beslissing om AI-training toe te staan of te weigeren is niet voor elke site hetzelfde. Voor sites die geen advertenties tonen, adviseert Cloudflare de standaardinstelling 'Allow'. Merken die willen dat AI-tools hen kennen en vermelden, kunnen baat hebben bij opname in de trainingsdata. Echter, voor uitgevers die inkomsten genereren uit advertenties op hun content, wordt 'Disallow AI Training' aanbevolen. Het is belangrijk te onthouden dat een robots.txt-regel een verzoek is; Cloudflare zal echter crawlers die deze negeren detecteren en blokkeren, en zal de voortgang van Google, Apple en Microsoft publiekelijk volgen via Cloudflare Radar.

Controleer je Instellingen met Semrush Tools

Voor SEO-professionals biedt Semrush handige tools om deze wijzigingen te monitoren. De 'Blocked from AI Search' check in Site Audit leest het robots.txt-bestand en toont welke AI-crawlers worden geblokkeerd. 'Google-Extended' zal hier als geblokkeerd verschijnen zodra 'Disallow AI Training' is ingeschakeld. De AI Visibility Toolkit kan worden gebruikt om te zien of de wijzigingen invloed hebben op de frequentie van verschijningen in AI-antwoorden van platforms zoals ChatGPT, Google AI Mode en Gemini. Het is raadzaam om de huidige cijfers te registreren en deze enkele weken na de wijziging te vergelijken.