Blokkeer gemakkelijk ongewenste bots op Hypernode

Een groot deel van het verkeer op je Magento shop is afkomstig van bots. Veel van deze bots kunnen geen kwaad, maar ze hebben wel een vertragende werking op je webshop. Sterker nog, op ons Hypernode platform zien we dat botverkeer de belangrijkste veroorzaker is van slechte performance. In sommige gevallen wil je ze dus liever niet op je site hebben. En daar hebben we een mooie tool voor gebouwd: de bot blacklist!

Voordat we verder gaan, wat zijn deze bots nu eigenlijk? Bots zijn computerprogrammaatjes die websites bezoeken en geautomatiseerde taken kunnen uitvoeren. Ze komen in allerlei soorten en maten en worden bijvoorbeeld door zoekmachines gebruikt voor het indexeren van websites. Deze specifieke bots maken een kopie van een webpagina. Zoekmachines gebruiken deze informatie voor de optimalisatie van hun zoekindex. Een nuttig en onschuldig voorbeeld van een functie die een bot kan hebben. Bots zijn echter lang niet altijd goedaardig. Ze kunnen namelijk ook worden gebruikt voor het versturen van spam of vinden van kwetsbaarheden.

Uiteraard heb je sommige zoekmachine-bots nodig, maar een groot aantal, zeker de kwaadaardige, bots ook niet. En zoals we al eerder zeiden kan je shop onnodig traag worden door het bezoek van deze bots. Om je Magento-installatie supersnel te houden hebben we het met onze nieuwe tool nóg gemakkelijker gemaakt om bots te (de)blokkeren.

Het ‘Bot and Spicy’ project

Het was altijd al mogelijk om bots te blokkeren via de shell maar nu hebben we het op verzoek gemakkelijker gemaakt. De tool, intern bekend onder de projectnaam ‘Bot-and-Spicy’, maakt het heel eenvoudig om bots te blokkeren en deblokkeren. Vanaf nu bepaal jij dus welke bots je op je Magento-applicatie toelaat! Dit alles kun je heel eenvoudig doen via je Service Panel.

Shortlist van ongewenste bots

Om het nog makkelijker voor je te maken hebben we alvast de 20 meest voorkomende bots op Hypernode voor je op een rijtje gezet. Hiervoor hebben we eerst het bot-verkeer op onze Hypernodes onderzocht. Aan de hand van deze data hebben we een shortlist gemaakt van bots die veel verkeer opleveren, maar over het algemeen als ongewenst worden beschouwd. Daarnaast heb je ook de mogelijkheid om zelf bots aan de blacklist toe te voegen.

bots blacklist hypernode

Bekijk bot-traffic op MageReport Premium

Het resultaat van het blokkeren van deze bots kan per webshop verschillen. In MageReport Premium (inloggen met je Byte klantaccount) kun je zien hoeveel procent van het verkeer naar jouw websop afkomstig is van bots. We raden altijd aan om dit percentage onder de 50% te houden. Lees hoe je kunt achterhalen welke bots jouw webshop bezoeken in het Hypernode Kennisbank artikel: “Fixing bad performance caused by search engines“.