Google StoreBot Update: Nieuwe Richtlijnen voor Toegankelijkheid en Crawling

Belangrijke Update voor Google StoreBot Toegankelijkheid

Google heeft een cruciale update uitgebracht voor zijn helpdocument getiteld 'How to fix: Google StoreBot crawler can’t access your in-store product page'. Deze wijziging is van groot belang voor merchants die afhankelijk zijn van Google Merchant Center en lokale voorraadadvertenties, evenals voor SEO-professionals die zich bezighouden met de technische aspecten van crawling en indexering.

Verduidelijking van Crawling-mechanismen

De bijgewerkte documentatie biedt aanzienlijke verduidelijkingen over diverse aspecten van de Google StoreBot-crawler. Dit omvat gedetailleerde informatie over de gebruikte user-agents, hoe robots.txt-bestanden de toegang beïnvloeden, methoden voor het blokkeren van IP-adressen, en de impact van paginasnelheid op de crawlbaarheid. Een belangrijke toevoeging is de specificatie van de herverwerkingstijden: Google stelt nu dat het doorgaans 12 tot 48 uur duurt voordat het systeem veranderingen in toegankelijkheid reflecteert en producten opnieuw worden goedgekeurd. Deze periode is essentieel voor Google om te verifiëren dat de landingspagina's crawlbaar zijn, waarna de producten weer kunnen verschijnen in lokale voorraadadvertenties.

Veelvoorkomende Blokkeringsmethoden

De update belicht ook de meest voorkomende manieren waarop merchants onbedoeld of opzettelijk Google's crawlers (waaronder StoreBot, Googlebot en Googlebot-image) blokkeren. Deze methoden omvatten:

• Het gebruik van robots.txt om toegang te ontzeggen.
• User-agent switching, waarbij verschillende content wordt getoond aan verschillende user-agents.
• Het blokkeren van specifieke IP-adressen.
• Firewall-blokkades.
• Fingerprinting-technieken.
• Problemen met de laadsnelheid van pagina's.

Voor iedereen die Google Merchant Center gebruikt, is het raadzaam dit bijgewerkte document grondig door te nemen om ervoor te zorgen dat hun in-store productpagina's optimaal toegankelijk zijn voor Google's crawlers en zo de zichtbaarheid in lokale zoekresultaten te maximaliseren.