Google Crawlers Gebruiken Meer HTTP-Verzoeken Dan Verwacht: Wat Betekent Dit Voor SEO?

Dit artikel werpt licht op een interessant en vaak over het hoofd gezien aspect van hoe Google websites crawlt. Gary Illyes van Google heeft bevestigd dat de crawlers van Google niet alleen de veelvoorkomende HTTP GET- en POST-verzoeken versturen, maar ook een reeks andere methoden gebruiken, waaronder HEAD, OPTIONS, PUT, PATCH en DELETE.

De Nuance van Google's Crawlgedrag

Traditioneel wordt aangenomen dat zoekmachinecrawlers voornamelijk GET-verzoeken gebruiken om content op te halen. De onthulling van Illyes, gedaan op LinkedIn, toont echter een complexer beeld. Hoewel deze aanvullende verzoeken minder dan 1,5% van het totale aantal verzoeken uitmaken, is hun aanwezigheid significant voor een dieper begrip van Google's interactie met websites.

Waarom Deze Andere Verzoeken?

De belangrijkste reden voor het gebruik van HEAD, OPTIONS, PUT, PATCH en DELETE-verzoeken ligt in de rendering van JavaScript. Illyes merkte op dat "sommige JavaScript-onzin deze verzoeken initieert en rendering zijn renderingdingen doet." Dit benadrukt de geavanceerde aard van Google's rendering-engine, die probeert websites zo volledig mogelijk te interpreteren, inclusief de dynamische elementen die door JavaScript worden gegenereerd.

Implicaties voor SEO en Webontwikkeling

Voor technische SEO-specialisten en webontwikkelaars is deze informatie waardevol. Het betekent dat bij het analyseren van serverlogs of het debuggen van websitegedrag, rekening moet worden gehouden met deze minder gangbare HTTP-methoden die door Google's crawlers kunnen worden gebruikt. Hoewel ze zeldzaam zijn, kunnen ze in specifieke scenario's inzicht geven in hoe Google interacteert met complexe JavaScript-applicaties of API-endpoints op een website. Het onderstreept nogmaals het belang van een robuuste serverconfiguratie die alle HTTP-methoden correct afhandelt, zelfs als ze niet direct bedoeld zijn voor contentweergave.