Het probleem met unavailable_after: Google ziet mogelijk geen bijgewerkte datums

Het artikel bespreekt een belangrijk technisch SEO-probleem met betrekking tot de unavailable_after meta tag van Google. Deze tag is ontworpen om webmasters in staat te stellen aan te geven dat een specifieke pagina na een bepaalde datum en tijd niet langer in de zoekresultaten van Google moet verschijnen. Dit is bijzonder nuttig voor content met een beperkte levensduur, zoals evenementen, aanbiedingen of producten die niet langer beschikbaar zijn.

Het kernprobleem: Dynamische datums en crawlgedrag

De crux van het probleem ligt in de interactie tussen dynamisch bijgewerkte unavailable_after datums en het crawlgedrag van Googlebot. Veel websites, met name die met kortstondige content zoals advertenties of vacatures, passen de vervaldatum van hun pagina's dynamisch aan. Als een advertentie bijvoorbeeld wordt verlengd, wordt ook de unavailable_after datum op de pagina naar de toekomst verschoven.

De uitdaging is dat Google, nadat het de oorspronkelijke unavailable_after datum heeft verwerkt, mogelijk niet opnieuw naar die pagina kijkt voordat die datum is bereikt. Als Google de pagina niet opnieuw crawlt vóór de oorspronkelijke vervaldatum, zal het de bijgewerkte, latere datum niet zien. Het resultaat is dat Google de pagina uit de index verwijdert op basis van de oude datum, zelfs als de content nog steeds relevant en beschikbaar is op de website.

Inzicht van Google's Gary Illyes

Javier Lorente Murillo bracht dit specifieke scenario ter sprake op LinkedIn, waarbij hij vroeg naar de SEO-implicaties van constant verschuivende unavailable_after datums voor kortstondige advertenties. Hij maakte zich zorgen over mogelijke negatieve SEO-gevolgen en of Googlebot de tag uiteindelijk zou negeren door de frequente wijzigingen.

Gary Illyes van Google reageerde hierop en bevestigde de 'gut feeling' dat het prima is om de datum vooruit te schuiven, MAAR benadrukte dat Google de pagina opnieuw moet crawlen om de nieuwe datum te 'zien'. Hij stelde duidelijk dat het geen implicaties heeft voor iets anders dan de indexselectie, waar het fungeert als een "je kunt dit nu laten vallen"-signaal.

Implicaties en overwegingen

Dit betekent dat hoewel de tag op zich geen negatieve SEO-implicaties heeft, de timing van het crawlen cruciaal is. Als Google de pagina niet tijdig opnieuw crawlt, zal de pagina verdwijnen uit de zoekresultaten, zelfs als de content nog steeds geldig is. Dit kan leiden tot een verminderde zichtbaarheid en verkeer voor dynamische, kortstondige content.

Webmasters die deze tag gebruiken, moeten zich bewust zijn van dit gedrag. Mogelijke strategieën kunnen zijn om de unavailable_after datum pas in te stellen wanneer de content definitief verloopt, of om te zorgen voor voldoende crawlbudget en interne linking om Google aan te moedigen pagina's met dynamische datums vaker te crawlen. Het is een delicate balans tussen het beheren van de indexatielevenscyclus en het garanderen dat waardevolle content niet voortijdig verdwijnt.