Google over Indexering, Kwaliteitsproblemen en AI-Content: Wat betekent 'Discovered vs Crawled Not Indexed'?

In een recente aflevering van de 'Search Off the Record' podcast, hebben Google's John Mueller en Martin Splitt dieper ingegaan op de veelvoorkomende statusmeldingen in Google Search Console: 'Discovered - currently not indexed' en 'Crawled - currently not indexed'. Deze discussie is van cruciaal belang voor SEO-professionals en contentmakers, vooral in het licht van de toenemende populariteit van AI-gegenereerde content.

De Betekenis van 'Discovered vs Crawled Not Indexed'

Mueller en Splitt benadrukten dat hoewel deze meldingen technisch van aard lijken, ze vaak een dieper liggend probleem signaleren: de kwaliteit van de website. 'Discovered - currently not indexed' betekent dat Google de pagina kent, maar deze nog niet heeft gecrawld. 'Crawled - currently not indexed' betekent dat Google de pagina heeft bezocht, maar besloten heeft deze niet op te nemen in de index.

Volgens Mueller, als Google's systemen serieuze zorgen hebben over de algehele kwaliteit van een website, zullen ze het aantal pagina's dat ze indexeren verminderen. Dit komt omdat het voor Google geen zin heeft om veel tijd te besteden aan een website waarvan de kwaliteit twijfelachtig is. Dit kan leiden tot een toename van zowel 'crawled not indexed' als 'discovered not indexed' meldingen.

De Rol van AI-gegenereerde Content

Een belangrijk aspect van de discussie was de impact van AI-gegenereerde content. Mueller stelt niet expliciet dat alle AI-content slecht is, maar hij waarschuwt wel voor content die 'schreeuwt' dat het door AI is gegenereerd. Als content generiek is, niets nieuws of unieks biedt, en door 'iedereen' geschreven had kunnen zijn, dan is er weinig reden voor Google om deze te indexeren.

Dit sluit aan bij Google's langdurige focus op E-E-A-T (Experience, Expertise, Authoritativeness, Trustworthiness). Content die duidelijk door AI is gegenereerd zonder menselijke input of unieke inzichten, mist vaak de diepgang en de geloofwaardigheid die Google waardeert. Het kan leiden tot een perceptie van lage kwaliteit en daarmee tot indexeringsproblemen.

Advies voor Webmasters

Mueller's advies is duidelijk: in plaats van te zoeken naar technische oplossingen voor individuele pagina's met deze status, moeten webmasters een stap terug doen en de algehele kwaliteit van hun website kritisch beoordelen. Het is vaak moeilijk om objectief naar je eigen 'baby' te kijken, maar het is essentieel om te overwegen of de content werkelijk uniek, waardevol en betrouwbaar is voor de gebruiker.

Dit betekent dat zelfs als AI-tools worden gebruikt, de output grondig moet worden bewerkt, aangevuld en gecontroleerd door een menselijke expert om ervoor te zorgen dat het voldoet aan hoge kwaliteitsstandaarden en een duidelijke toegevoegde waarde biedt. Het gaat erom dat de content niet alleen leesbaar is, maar ook autoriteit uitstraalt en de gebruiker echt helpt.