Academy

Wat je kunt verwachten van dit artikel

De meta robots tag vertelt zoekmachines welke pagina's je wilt laten indexeren en hoe. In dit artikel kijken we naar sommige bijzondere aspecten van deze tag, en nog belangrijker, hoe jij ze vandaag nog kunt gebruiken.

Wat is een meta robots tag?

De meta robots tag wordt gebruikt aan zoekmachines instructies te geven over het wel of niet indexeren van de pagina waar de tag op geplaatst. De meta robots tag wordt geplaatst in de HTML broncode van de pagina, en kan er als volgt uitzien:

<meta name="robots" content="noindex, follow" />

Kort gezegd kan je middels de meta robots tags fine-tunen of een zoekmachine een specifieke pagina wel of niet moet opnemen in de zoekresultaat pagina's.

Waarom meta robots tag voor jou belangrijk zijn

Of je nou de eigenaar van een website of een SEO bent, je moet aan duidelijk aan zoekmachines kunnen doorgeven hoe je jouw websites geïndexeerd wilt zien. De meta robots tag maakt dit mogelijk.

Hoewel zoekmachines websites al aardig kunnen begrijpen, wanneer het om indexering draait, wil je het niet aan hun algoritmes overlaten om te bepalen welke pagina's geïndexeerd moeten worden en welke niet. Dit alleen al is reden om de meta robots tag een belangrijk onderdeel te laten zijn van jouw SEO toolbox.

De meta robots tag wordt vaak gebruikt om dubbele content te voorkomen (pagina's die bereikbaar zijn via meerdere URLs). Dit geeft verkeerde signalen af aan zoekmachines, en maakt ze in wezen in de war (wat natuurlijk nooit goed is!).

De meta robots tag directives

Met de meta robots tag kunnen veel verschillende instructies gegeven worden aan zoekmachines. Een overzicht:

noindex

Middels de noindex directive geef je aan dat zoekmachines de pagina niet moeten indexeren, waardoor deze niet getoond wordt wanneer zoekmachine gebruikers een zoekactie doen.

nofollow

De nofollow directive geeft aan dat zoekmachine robots de links binnen de pagina niet moeten volgen en geen link autoriteit moeten doorgeven.

none

Met de none directive vertel je zoekmachines dat de pagina genegeerd moet worden. Deze directive wordt soms gebruikt als afkorting voor noindex en nofollow directives.

Protip: wanneer je de none directive of de noindex,nofollow directive gebruikt is het aan te raden om de pagina volledig uit te sluiten middels het robots.txt bestand.

noarchive

Middels de noarchive directive voorkom je dat zoekmachines een gecachete variant van de pagina tonen.

nosnippet

Met de nosnippet directive zorg je ervoor dat dat zoekmachines geen snippets in de resultaatpagina's tonen en voorkomt tevens het cachen van de pagina door zoekmachines.

noodp

Voorheen werd de noodp directive gebruikt om te voorkomen dat zoekmachines de beschrijving van de pagina uitlezen van DMOZ (een open content catalogus welke door vrijwilligers werd beheerd) om als snippet voor de pagina te gebruiken. Sinds mei 2017 is DMOZ gesloten waardoor deze directive geen waarde meer heeft.

notranslate

Middels de notranslate directive geef je aan dat zoekmachines geen vertaalde versie van de pagina moet weergeven in de resultaatpagina's.

unavailable_after

De unavailable_after directive vertelt zoekmachines dat de pagina niet getoond moet worden na een specifieke datum. De datum/tijd combinatie moet het RFC 850 formaat volgen.

index

De index directive geeft het signaal aan zoekmachines dat je wil dat de pagina geïndexeerd wordt. Normaliter wordt deze directive automatisch ingesteld door de meeste Content Management Systems.

Situaties waarbij je de meta robots tag moet gebruiken

Een goed voorbeeld van hoe je de meta robots tag kunt gebruiken is wanneer je een staging environment hebt die wordt gebruikt om nieuwe features te introduceren, te testen, goed te keuren en dan ze te vrij te geven voor de production environment. Je wilt voorkomen dat de staging environment geïndexeerd wordt vanwege dubbele content issues. Je kunt dan een <meta name="robots" content="noindex" /> instellen op de pagina om te voorkomen dat zoekmachines de staging environment laten zien, als ze op één of andere manier toegang krijgen. Het is aan te bevelen om meerdere maatregelen treffen om te voorkomen dat zoekmachines jouw staging environment indexeren, maar de meta robots tag is er zeker één van.

<!DOCTYPE html> <html><head> <meta name="robots" content="noindex" /> (…) </head> <body>(…)</body> </html>

Als het geval zich voordoet dat er meerdere concurrerende directives zijn, zullen crawlers standaard de meest beperkende directive volgen (net als het robots.txt bestand).

Combinatie van meta robots tag directives

Het is vrij gewoon dat je verschillende commando wilt geven aan bots die jouw pagina bezoeken. En het combineren van meta robots tag directives is veruit de beste manier om dat te doen. Je kunt hiermee beginnen door een multi-directive instructie te creëren. Gebruik hiervoor meta robots tag directives die je gelijktijdige acties toestaan.

Voorbeeld:

<meta name="robots" content="noindex, nofollow”>

Er zijn ook situaties die vragen om verschillende directives voor verschillende crawlers. De onderstaande directives bijvoorbeeld, geven een noindex, nofollow wanneer ze gecrawld worden door een Googlebot en een Bingbot kiest ervoor om de noindex directive helemaal te negeren.

<meta name="robots" content="nofollow"> <meta name="googlebot" content=“noindex">

De X-Robots-Tag HTTP header

Wanneer je te maken hebt met afbeeldingen en PDF bestanden die je niet door zoekmachines geïndexeerd wilt hebben, is de X-Robots-Tag de beste keuze.

In de HTTP response op een pagina kun je jouw voorkeur met betrekking tot indexering doorgeven aan zoekmachines.

Bijvoorbeeld, als je een Apache web server gebruikt en je wilt een noindex, nofollow X-Robots-Tag toevoegen aan de HTTP response voor al jouw .PDF bestanden, schrijf je het volgende:

<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>

En je kunt hetzelfde doen voor de bestandstypen png, jpg en gif:

<Files ~ “\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>

Meta robots tag vs robots.txt vs X-Robots header

Er zijn dus verschillende manieren om een zoekmachine te laten weten wat jouw voorkeuren omtrent indexering zijn, en elke manier dient zijn eigen doel. Maar wanneer gebruik je nou welke manier? Om je daarmee te helpen volgt hier een kort overzicht van elke methode (de meta robots tag, het robots.txt bestand, en de X-Robots header) en waarvoor het logisch is ze te gebruiken.

Meta robots tag: gebruik de meta robots tag om jouw voorkeuren omtrent de indexering van jouw pagina's door te geven. Door middel van deze tag kunnen zoekmachine bots compleet negeren of zelfs bepalen welke links te volgen en welke niet op jouw website.

Robots.txt: het robots.txt bestand wordt gebruikt om jouw voorkeuren omtrent toegang tot jouw pagina's voor zoekmachines door te geven. Het is belangrijk dat je weet dat als je de toegang tot jouw pagina's belet, zoekmachines nooit op de juiste manier deze content kunnen indexeren.

X-Robots-Header: de X-Robots-Header wordt gebruikt om aan zoekmachines aan te geven dat je een bepaalde pagina niet geïndexeerd wilt hebben. Voor PDF bestanden en afbeeldingen is het de enige manier waarop je voorkeuren omtrent indexering aan kunt geven, en daar wordt het dus meestal voor gebruikt.

Veelgestelde vragen

Een aantal veelgestelde vragen over meta robots tags:

  1. Wat als er geen spaties zijn tussen commands in de meta robots tag?
  2. Wat als er geen komma's zijn in de meta robots tag?
  3. Zijn commands hoofdlettergevoelig?
  4. Hoe zie ik de X-Robots-Header?
  5. Crawlen zoekmachines nog steeds pagina's die een meta robots tag hebben?

1. Wat als er geen spaties zijn tussen commands in de meta robots tag?

Dit is een gebruikelijke zorg voor veel mensen die MRT's gebruiken, maar maak je geen zorgen, alle grote zoekmachines laten automatisch de spaties weg in de commands. Dit betekent dat het geen rol speelt in de tag directive (zie onderstaand voorbeeld):

<HEAD> <meta name=”ROBOTS” content=”NOARCHIVE,NOODP,NOYDIR”> </HEAD>

is hetzelfde als

<meta name=”ROBOTS” content=”NOARCHIVE, NOODP, NOYDIR”>

2. Wat als er geen komma's zijn in de meta robots tag?

Het is het beste als je komma's gebruikt in een meta robots tag. Bing beweert dat ze het niet echt wat kan schelen, maar Google wel. En dat is reden genoeg om ze te gebruiken (een voorbeeld hoe je het NIET MOET DOEN):

<meta name=”ROBOTS” content=”NOARCHIVE NOODP NOYDIR”>

3. Zijn commands hoofdlettergevoelig?

Nee. Google, Yahoo, en Bing kunnen de command in een directive herkennen, zelfs als het willekeurige hoofdletters en kleine letters heeft. Neem het volgende geval:

<meta name=”ROBOTS” content=”NOODP”> <meta name=”robots” content=”noodp”> <meta name=”Robots” content=”NoOdp”>

4. Hoe zie ik de X-Robots-Header?

Je kunt de X-Robots Header zien in de HTTP headers. Dit is technisch vrij moeilijk te doen in een browser, dus is het goed als je een tool zoals ContentKing gebruikt om ze te zien.

5. Crawlen zoekmachines nog steeds pagina's die een meta robots tag hebben?

Ja, tenzij je een directive instelt die bots opdraagt NIET bepaalde pagina's op jouw website te crawlen.

Conclusie…

De meta robots tag is één van meerdere manieren waarop je dubbele content issues kunt bestrijden. Tenzij je werkt met place-holder content, is het meestal beter om een canonical URL of robots.txt te gebruiken. Maar als deze om welke reden dan ook geen optie zijn, is de meta robots tag een trefzekere manier waarop je meer de controle kunt nemen over hoe zoekmachines jouw website indexeren en presenteren.

Probeer 14 dagen gratis

Binnen 20 seconden aan de slag

Gelieve een geldige domeinnaam (www.voorbeeld.nl) op te geven.
  • Geen credit card nodig
  • Geen installatie nodig
  • Geen verplichtingen