Op deze pagina geven we meer uitleg over hoe je meta tags in Magento kunt toepassen om zoekmachines te helpen jouw Magento shop gestructureerd te doorlopen.
We adviseren om naast een robots.txt ook gebruik te maken van meta tag robots om de zoekmachines aan te geven wat ze wel of niet mogen indexeren.

Standaard meta tag robots

Is er op de pagina geen metatag robots aanwezig, dan worden de standaard waarden “index” en “follow” aangehouden. De zoekmachines zullen de betreffende pagina indexeren en elke link op de pagina volgen.

<meta name="robots" value="index,follow" />

Dit is echter niet voor iedere pagina wenselijk. Bovendien kost elk bezoek van een zoekmachine aan een pagina op je website resources van de server waar de website op gehost wordt. Het loont dus zeker om hier op een slimme manier mee om te gaan. Als je dit goed doet, heb je zelf in de hand welke delen van je shop wel netjes in de zoekresultaten verschijnen én kun je de serverload verlagen.

Serverload verlagen met behulp van metatag robots

Reduceer de belasting van je server door verstandig gebruik van meta tag robots. Door op bepaalde pagina de zoekmachines niet toe te staan content te indexeren of links te volgen reduceer je de belasting van de server. Dankzij de XML opbouw van Magento is het mogelijk om afzonderlijke paginatypes te benaderen.

Magento Meta tag robots voorbeeld

In het onderstaande voorbeeld zorgen we ervoor dat de categoriepagina’s niet meer geïndexeerd worden. Dit geeft als resultaat dat de productpagina’s nu veel belangrijker worden. De zoekresultaten zullen hierdoor ook veel hoger worden.Deze code voeg je toe aan het local.xml bestand van je eigen gebruikte theme in Magento (app/design/frontend/<package>/<theme>/layout/local.xml)

<!--Category layered navigation layout-->    
<catalog_category_layered>        
<reference name="head">            
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>        
</reference>    
</catalog_category_layered>    
<catalog_category_layered_nochildren>        
<reference name="head">            
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>        
</reference>    
</catalog_category_layered_nochildren>
<!--Search pages-->      
<catalogsearch_result_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</catalogsearch_result_index>    
<catalogsearch_advanced_result>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</catalogsearch_advanced_result>        
<catalogsearch_advanced_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</catalogsearch_advanced_index>
<!--Customer Account-->      
<customer_account_login>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</customer_account_login>    
<customer_account_forgotpassword>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</customer_account_forgotpassword>    
<customer_account>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</customer_account>
<!--Checkout-->    
<checkout_cart_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</checkout_cart_index>    
<checkout_onepage_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</checkout_onepage_index>    
<checkout_onepage_success>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</checkout_onepage_success>    
<checkout_onepage_failure>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</checkout_onepage_failure>
<!--Contacts-->    
<contacts_index_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</contacts_index_index>
<!--Wishlist-->    
<wishlist_index_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</wishlist_index_index>    
<wishlist_index_share>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</wishlist_index_share>    
<wishlist_shared_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</wishlist_shared_index>
<!--Compare products page-->    
<catalog_product_compare_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</catalog_product_compare_index>
<!--Send to friend page-->    
<catalog_product_send>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>        
</catalog_product_send>    
<sendfriend_product_send>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</sendfriend_product_send>
<!--Review product page-->   
<reviews>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</reviews>    
<review_product_list>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</review_product_list>    
<review_product_view>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</review_product_view>
<!--Tag pages-->    
<tag_list_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</tag_list_index>    
<tag_product_list>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</tag_product_list>
<!--Rss pages-->    
<rss_index_index>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_index_index>    
<rss_index_nofeed>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_index_nofeed>    
<rss_catalog_new>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_catalog_new>    
<rss_catalog_special>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_catalog_special>    
<rss_catalog_salesrule>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_catalog_salesrule>    
<rss_catalog_tag>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_catalog_tag>    
<rss_catalog_notifystock>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_catalog_notifystock>    
<rss_catalog_review>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_catalog_review>    
<rss_catalog_category>      
<reference name="head">        
<action method="setRobots"><meta>NOINDEX,FOLLOW</meta></action>      
</reference>    
</rss_catalog_category>
21