Google Verduidelijkt robots.txt Regels voor AI Crawlers, Emoji's en Internationale URL's
Google heeft nieuwe richtlijnen uitgebracht over robots.txt, met focus op AI crawlers, internationale URL's en emoji's. Belangrijke punten zijn het valideren van regels, het volgen van RFC 9309, en het onderscheid tussen crawling en AI-training. Robots.txt is geen beveiligingsmechanisme.

