Academy

Er zijn twee manieren waarop je kunt voorkomen dat onze crawlers bepaalde delen van jouw websites benaderen: middels het robots.txt bestand en de ContentKing URL uitsluitingslijst.

BELANGRIJK: wanneer je de onderstaande methodes gebruikt om bepaalde delen van je website uit te sluiten van monitoring, worden alle bestaande gegevens met betrekking tot de URL’s die de uitsluitingspatronen matchen verwijderd. Alhoewel je altijd de ingestelde URL patronen kunt verwijderen om monitoren weer toe te staan, worden de historische gegevens niet hersteld.

Uitsluiten middels de URL uitsluitingslijst

De meest eenvoudige methode is het instellen van de URL uitsluitingslijst:

  1. Ga naar de Account sectie
  2. Kies de website waarvoor je de URL uitsluitingslijst wil instellen
  3. Klik onderin op URL Uitsluitingslijst instellen en volg de stappen

Als de website een robots.txt file heeft, laat ContentKing je de directives hiervan in het volgende (tweede) scherm zien. Gebruik deze stap om de directives (indien van toepassing) te selecteren die je wilt importeren:

ContentKing URL pattern

In het vervolgscherm kan je eigen URL patronen opgeven. De URL uitsluitingslijst volgt het robots.txt formaat. Als je bestaande robots.txt directives hebt geïmporteerd worden deze hier ook getoond.

Als alles naar wens is ingesteld klik je op Wijzigingen toepassen. De URL uitsluitingen worden dan binnen enkele minuten van kracht.

Uitsluiten middels robots.txt

De tweede manier waarop je kunt voorkomen dat ContentKing bepaalde delen van de website monitort is middels het robots.txt bestand. Omdat één van de use-cases van ContentKing het detecteren van niet correct ingestelde robots.txt directives is negeren wij de wildcard in user-agent strings. Om onze crawler uit te sluiten dien je KingKevinBot user-agent string op te geven:

User-agent: KingKevinBot
Disallow: /admin

Onze crawlers ondersteunen het robots.txt formaat volledig.

Probeer 14 dagen gratis

Binnen 20 seconden aan de slag

Gelieve een geldige domeinnaam (www.voorbeeld.nl) op te geven.
  • Geen credit card nodig
  • Geen installatie nodig
  • Geen verplichtingen