Google Update: Nieuwe details over Crawl Rate en Retry-After HTTP Header
Google heeft de documentatie over de crawl rate bijgewerkt, met nadruk op de Retry-After HTTP header. Dit helpt website-eigenaren om de Googlebot-verkeer urgent te verminderen bij serverproblemen, door expliciete instructies voor 503/429 statuscodes.