Google introduceert uniforme AI-trainingscontrole via robots.txt

Google's Nieuwe AI-Trainingscontrole: Wat Betekent Dit voor SEO?

Google heeft aangekondigd dat het, in navolging van andere grote AI-spelers zoals Bing, OpenAI en Anthropic, een nieuwe, vrijwillige controle voor AI-training zal adopteren. Deze ontwikkeling, die voortkomt uit een voorstel van de IETF (Internet Engineering Task Force), is gericht op het stroomlijnen van de manier waarop webuitgevers en contentmakers hun voorkeuren voor AI-training kunnen communiceren.

De kern van deze update is de introductie van een gedeelde 'policy token' binnen het bekende robots.txt-bestand. Dit betekent dat website-eigenaren in de toekomst niet langer afzonderlijke instructies voor elke individuele AI-ontwikkelaar hoeven te beheren. In plaats daarvan kunnen ze met één enkele stap hun brede voorkeuren kenbaar maken aan alle deelnemende AI-providers. Google is van plan deze functionaliteit begin 2027 te implementeren.

Impact op Contentbeheer en SEO

Voor SEO-professionals en website-eigenaren is dit een belangrijke stap richting meer controle over hoe hun content wordt gebruikt door AI-modellen. Het robots.txt-bestand, traditioneel gebruikt om crawlers te instrueren welke delen van een site wel of niet geïndexeerd mogen worden, krijgt hiermee een uitgebreidere rol. Het wordt een centraal punt voor het beheren van de interactie tussen websites en AI-systemen.

Google heeft aangegeven dat wanneer een website deze nieuwe policy token gebruikt om zich af te melden voor AI-training (en Google-Extended niet expliciet wordt toegestaan), Google dit zal interpreteren alsof de uitgever Google-Extended heeft uitgesloten. Dit is cruciaal, aangezien Google-Extended de crawler is die content verzamelt voor onder andere Google's generatieve AI-functies zoals Gemini Apps. Websites die Google-Extended specifiek toestaan, komen in aanmerking om te verschijnen in antwoorden en klikken te ontvangen via 'grounding' in Gemini Apps.

De Toekomst van Content en AI

Het mooie van deze aanpak is dat bestaande, bedrijfsspecifieke controles (zoals Google-Extended) blijven functioneren naast dit nieuwe, gezamenlijke signaal. Dit biedt website-eigenaren de flexibiliteit om een brede keuze te maken via het sectorbrede signaal, terwijl ze indien gewenst nog steeds specifieke instructies kunnen geven aan individuele AI-ontwikkelaars. Deze ontwikkeling is een direct antwoord op de feedback van uitgevers, maatschappelijke organisaties en regelgevers die pleiten voor eenvoudigere, sectorbrede controles op AI-training.

Deze stap van Google en andere AI-providers onderstreept een groeiende consensus in de industrie om een 'creator-first' webeosysteem te bevorderen. Het biedt uitgevers de broodnodige tools om hun digitale activa te beschermen en te controleren in een tijdperk waarin AI-modellen steeds meer content verbruiken. Voor SEO betekent dit een nieuwe laag van overwegingen bij het beheren van de zichtbaarheid en het gebruik van content online.