Google crawlsnelheid handmatig aanpassen

Naast normale bezoekers, worden websites ook regelmatig bezocht door de Googlebot. Dat zorgt er onder andere voor dat nieuwe content kan worden opgenomen in de zoekresultaten in Google.

Blokkeren is dus niet raadzaam, maar wat nou te doen als de Googlebot je website sneller crawlt dan wenselijk is? Dan kun je dit heel eenvoudig handmatig instellen. Maar let op, want handmatige instellingen blijven maar 90 dagen staan.

Inzage in Crawlstatistieken

Google Crawlstatistieken Byte
Google Crawlstatistieken Byte

Voordat je handmatig de crawlinstellingen gaat wijzigingen, is het belangrijk om te kijken naar wat de huidige crawlstatistieken zijn. Deze vind je terug in de Webmasterhulpprogramma’s van Google.

Kijk daar in de linkerkolom onder Diagnose >> Crawlstatistieken. Daar vind je het aantal per dag gecrawlde pagina’s en de daarmee gedownloade kilobytes. Hiernaast een voorbeeld van deze statistieken voor byte.nl.

Handmatig aanpassen crawlsnelheid – Geldig voor 90 dagen

Mocht je in de statistieken terug zien dat de Googlebot te actief aan het crawlen is, dan kun je dat instellen onder Siteconfiguratie >> Instellingen >> Crawlsnelheid >> Aangepaste crawlsnelheid instellen. Maar let op! Deze handmatige aanpassing geldt slechts voor 90 dagen.

Dat de Googlebot meteen na die 90 dagen weer direct terugschiet naar het oude gedrag, merkten we hier zelf bij Byte ook. Zoals we vorig jaar oktober blogden (Zoekmachine en serverbelasting), zagen we dat het aantal gecrawlde pagina’s op byte.nl vele malen hoger lag dan het aantal pagina’s dat we überhaupt hebben. Niet nodig en de bijkomende hoge load die de Googlebot daarmee veroorzaakte, was bovendien bizar hoog. We stelden dus de crawlsnelheid handmatig bij naar beneden.

Daarmee dachten we dat het klaar was, maar hadden er even overheen gelezen dat die handmatige instelling maar 90 dagen geldt. Na verloop schoten de statistieken weer ongekend de hoogte in, zoals je ook ziet in de grafiekjes hierboven.

Meer tips om zoekmachine verkeer te reguleren

Goede indexatie is essentieel voor een goede vindbaarheid in zoekmachines, maar het mag niet ten koste gaan van de snelheid van je website of je kosten onnodig omhoog schroeven. Het is dan ook belangrijk om te zorgen dat de crawlers zich gedragen zoals jij dat wilt en alleen datgene indexeren waarop het voor jou gunstig is dat je goed gevonden wordt.

De zoekmachinerobots kunnen hier meestal wel wat hulp bij gebruiken. Om je te helpen bij het instellen van gedragsregels, hebben we verschillende artikelen geschreven: