Wat is een: Crawl budget?

Je crawl budget geeft aan hoeveel pagina’s Google van jouw site scant. Hoe hoger je crawl budget is, hoe meer van je pagina’s geïndexeerd kunnen worden.

Wat is crawlen?

Crawlen noemen we datgene wat Google doet om te bepalen welke pagina’s van je website geïndexeerd worden in de zoekresultaten. Google bots komen dagelijks langs om de website te crawlen, maar crawlen niet de gehele website. Dit is afhankelijk van het crawl budget wat is bepaald voor jouw website. Het crawl budget is dus de hoeveelheid pagina’s die een Google bot dagelijks crawlt. Dit budget wordt bepaald aan de hand van verschillende factoren die nauw samen staan met zoekmachine optimalisatie. Het crawl budget is (voorlopig alleen) terug te vinden in de oude omgeving van de Google Search Console onder crawlstatistieken.

Hoe hoog is mijn crawl budget?

Hoe vaak jouw pagina’s geïndexeerd worden hangt af van hoe populair je site is en hoe populair de pagina is. Hoe meer bezoekers beide trekken hoe vaker Google de pagina crawlt voor indexering. Ook de “versheid” van de pagina speelt een rol. Eigenschappen als hoe oud de pagina is, hoe vaak er veranderingen op de pagina zijn en of links die naar de pagina wijzen verdwijnen hebben invloed op hoe vaak de pagina gecrawld wordt. Deze “crawl-behoefte” wordt ingeperkt door de crawl-limiet. Als Google merkt dat de ervaring op de site negatief wordt beïnvloed door het verkeer van de crawler schalen ze terug hoe vaak gecrawld wordt. De crawl behoefte tot en met de crawl limiet is je crawl budget.

Online marketing uitbesteden? Neem dan snel contact met ons op!

Hoe verhoog ik het crawl budget?

De ideale situatie is dat er zoveel mogelijk pagina’s zo vaak mogelijk gecrawld worden. Om te bekijken of de verhouding in balans is, kun je de gegevens uit de Search Console vergelijken met het aantal geïndexeerde pagina’s in Google. Dit kun je achterhalen door in de zoekbalk van Google ‘site:www.hieruwsite.nl’ in te voeren. Het aantal pagina’s dat dagelijks door Google wordt gecrawld is afhankelijk van een aantal factoren. Zo speelt de grootte van de website een belangrijke rol, maar ook de autoriteit en inkomende links. De snelheid van de website is ook van invloed, want als de Google bots sneller door je website kunnen navigeren, dan worden er ook meer pagina’s gecrawld.

Het is belangrijk om ervoor te zorgen dat het crawl budget niet verspild wordt aan url’s die niet belangrijk zijn om geïndexeerd te worden, zoals filter pagina’s, duplicate content, gebroken pagina’s of pagina’s met geen of weinig content. Het optimaliseren van de techniek en de content achter je website is dus een belangrijke factor om ervoor te zorgen dat het crawl budget optimaal en efficiënt gebruikt wordt.

Hoe krijg ik een pagina geïndexeerd?

Zijn er specifieke pagina’s die niet geïndexeerd worden? Als je de pagina toevoegt aan je XML sitemap of interne links naar de pagina plaatst, zal deze sneller alsnog geïndexeerd worden. Door de pagina toe te voegen aan je XML sitemap is het voor de bots van Google duidelijker hoe ze moeten crawlen. Dit helpt dus om de pagina eerder gecrawld te laten worden dan een pagina die minder belangrijk is. Interne links zorgen er ook voor dat deze pagina eerder gevonden wordt. Als een pagina ondanks de eerdere oplossingen niet geïndexeerd wordt kan je met de Fetch functie in de Google Webmaster Tools je pagina handmatig opgeven om geïndexeerd te worden door Google. Dit doe je door een URL op je site in de zoekbalk te inspecteren en dan op de knop “Indexering aanvragen” te klikken. 

In het kort

Om je crawl budget beter te benutten kan je de volgende dingen doen;

• De autoriteit van je pagina’s te verhogen
• Inkomende links verkrijgen die naar deze pagina’s wijzen
• De snelheid van je website te verhogen
• Pagina’s met technische problemen verhelpen
• Geef pagina’s die niet gecrawld te hoeven worden zoals een URL met een productfilter of een winkelmandje pagina de tag Noindex of de originele pagina de tag Rel=“canonical”
• Voeg de pagina’s toe aan een XML sitemap en dien deze opnieuw in
• Vraag indexering van de pagina aan in Google Search Console