Hoe Google webshops vindt

Googlebot is de software die Google gebruikt om webpagina's op te halen. Het werkt door links te volgen van de ene pagina naar de andere, vergelijkbaar met een shopper die door je webshop klikt. Wanneer het op een pagina landt, leest het de HTML, volgt links die het daar vindt en voegt nieuw ontdekte URL's toe aan zijn crawl-wachtrij.

Voor ecommerce-sites loopt dit crawlproces snel tegen complicaties aan. Een homepage kan linken naar 15 categoriepagina's, die elk linken naar 20 subcategorieën, die elk 40 producten vermelden. Dat zijn al 12.000 productpagina's ontdekt vanuit één crawlpad. Maar Googlebot heeft geen onbeperkte middelen. Google wijst elke site een crawlbudget toe op basis van de autoriteit van de site en de servercapaciteit.

Een middelgrote webshop met gematigde domeinautoriteit ziet Googlebot mogelijk 5.000 tot 15.000 pagina's per dag opvragen. Als je webshop 80.000 URL's heeft inclusief gefilterde weergaven en paginering, kan het weken duren voordat Googlebot elke pagina één keer heeft bezocht. Daarom is crawl-efficiëntie zo belangrijk voor ecommerce. Elke URL die Googlebot verspilt aan een waardeloze filterpagina is een URL die niet is besteed aan een productpagina die je daadwerkelijk wilt laten ranken.

Googlebot crawlt niet alle pagina's gelijk. Het onderhoudt een prioriteitswachtrij die bepaalt welke URL's eerst worden gecrawld en hoe vaak ze worden herbezocht. Pagina's die vaak veranderen, meer interne links ontvangen of hogere autoriteit hebben, worden vaker gecrawld.

Je homepage wordt mogelijk meerdere keren per dag gecrawld. Categoriepagina's op het hoogste niveau worden dagelijks of om de paar dagen gecrawld. Individuele productpagina's dieper in de sitestructuur worden misschien maar elke paar weken gecrawld. Voor een seizoensproduct dat net is gelanceerd, kan die vertraging betekenen dat je weken aan potentieel zoekverkeer mist.

We kunnen crawlprioriteit beïnvloeden via interne links. Een productpagina die gelinkt is vanaf je homepage, een categoriepagina en drie blogposts wordt eerder en vaker gecrawld dan een die alleen bereikbaar is via twee niveaus van categorienavigatie. Daarom is strategische interne linking een van de meest impactvolle SEO-tactieken voor webshops.

Veel moderne ecommerce-platforms gebruiken JavaScript om productinformatie, prijzen en reviews te laden. Shopify-thema's, React-gebaseerde headless webshops en sommige WooCommerce-setups vertrouwen sterk op client-side rendering. Dit creëert een uitdaging omdat Googlebot in twee fasen crawlt.

In de eerste fase haalt Googlebot de ruwe HTML op. Als je producttitel, beschrijving en prijs via JavaScript worden geladen nadat de pagina is gerenderd, levert die eerste HTML-ophaling een lege schil op. Google zet de pagina dan in de wachtrij voor een tweede renderingfase waarin het JavaScript uitvoert. Deze renderingwachtrij kan dagen of zelfs weken vertraging toevoegen voordat Google je daadwerkelijke content ziet.

Shopify-webshops die het standaard Liquid-templatesysteem gebruiken, vermijden dit probleem over het algemeen omdat productdata server-side wordt gerenderd. Maar webshops die headless commerce-setups met frameworks als Next.js of Nuxt gebruiken, moeten server-side rendering (SSR) of static site generation (SSG) implementeren om ervoor te zorgen dat Googlebot de productinhoud bij de eerste ophaling ziet.

We hebben webshops geaudit waar 30 % van de productpagina's niet geïndexeerd was omdat de product schema-markup, reviews en zelfs de producttitel allemaal via JavaScript werden geladen dat Googlebot niet kon renderen. Overschakelen naar server-side rendering loste de indexering binnen drie weken op.

Een XML-sitemap is een bestand dat de URL's vermeldt waarvan je wilt dat Google ze kent. Voor ecommerce-sites dienen sitemaps als een direct kanaal om Google te vertellen welke pagina's bestaan, wanneer ze voor het laatst zijn bijgewerkt en hoe vaak ze veranderen.

Een goed gestructureerde ecommerce-sitemapstrategie gebruikt meerdere sitemapbestanden. Eén sitemap voor productpagina's, een andere voor categoriepagina's, een voor blogcontent en een voor statische pagina's zoals je over-ons-pagina en verzendbeleid. Deze scheiding laat je indexering per paginatype monitoren in Search Console.

We raden doorgaans aan om alleen canonieke, indexeerbare pagina's in je sitemaps op te nemen. Gefilterde URL's, uitverkochte productpagina's die je op noindex hebt gezet, en gepagineerde lijstpagina's voorbij pagina één moeten worden uitgesloten. Een sitemap die 200.000 URL's vermeldt terwijl slechts 30.000 indexeerbaar zijn, stuurt een verwarrend signaal naar Google over de kwaliteit van je site.

De meeste ecommerce-platforms genereren sitemaps automatisch. Shopify maakt een sitemap.xml aan die producten, collecties, pagina's en blogposts bevat. WooCommerce met Yoast SEO of RankMath genereert sitemaps met meer configuratieopties. Ongeacht het platform, bekijk je sitemap maandelijks om ervoor te zorgen dat het je huidige sitestructuur weerspiegelt.

Terwijl sitemaps Google vertellen dat pagina's bestaan, laten interne links Google zien hoe die pagina's zich tot elkaar verhouden en welke het meest belangrijk zijn. Een productpagina met 50 interne links die ernaar wijzen heeft meer crawlprioriteit dan een met slechts 2.

Categoriepagina's zijn de ruggengraat van interne linking voor ecommerce. Elke categoriepagina linkt naar tientallen producten en geeft crawlprioriteit en rankingsignalen door aan die productpagina's. Goed gestructureerde breadcrumb-navigatie voegt een extra laag interne links toe, die producten terugkoppelen naar hun bovenliggende categorieën en de homepage.

Cross-selling en gerelateerde productsecties creëren laterale interne links tussen producten. Wanneer een productpagina voor hardloopschoenen linkt naar gerelateerde veters, inlegzolen en sokken, helpen die verbindingen Googlebot meer van je catalogus te ontdekken terwijl ze ook link-equity over je webshop verdelen.

Weespagina's zijn de vijand van ontdekking. Een weespagina heeft geen interne links die ernaar wijzen. Het kan bestaan in je sitemap, maar als Googlebot het niet kan bereiken door links te volgen vanaf een andere pagina, signaleert dat lage belangrijkheid. We vinden regelmatig wees-productpagina's in webshops die hun categorieën hebben geherstructureerd zonder interne links bij te werken.

Het meest voorkomende ontdekkingsprobleem dat we zien is webshops die Googlebot blokkeren van essentiële bronnen in hun robots.txt-bestand. Sommige WooCommerce-installaties blokkeren de /wp-admin/-directory, wat correct is, maar blokkeren per ongeluk ook CSS- en JavaScript-bestanden die Googlebot nodig heeft om pagina's correct te renderen.

Een ander veelvoorkomend probleem zijn oneindige crawl-vallen door gefacetteerde navigatie. Een kledingwinkel die gebruikers laat combineren op maat, kleur, materiaal, merk en prijsfilters kan miljoenen unieke URL's genereren. Zonder adequate controles kan Googlebot zijn volledige crawlbudget besteden aan het verkennen van deze filtercombinaties zonder ooit diepe productpagina's te bereiken.

Sessie-gebaseerde URL's veroorzaken ook problemen. Sommige ecommerce-platforms voegen sessie-ID's of trackingparameters toe aan URL's, waardoor het lijkt alsof er duizenden dubbele pagina's zijn. Elk bezoek van Googlebot genereert een nieuwe URL-variant, wat crawlbudget verspilt aan pagina's die allemaal identieke content hebben.

Paginering kan ontdekking ook vertragen. Als je categoriepagina 500 producten vermeldt over 25 gepagineerde pagina's, moet Googlebot door pagina 1, pagina 2, pagina 3, enzovoort crawlen om alle producten te ontdekken. Producten op pagina 20 kunnen aanzienlijk langer duren om ontdekt en geïndexeerd te worden dan die op pagina 1.