Tolkie Webmonitoring leest de pagina's van je website met een eigen programma: de Tolkie Crawler. Sommige websites houden onbekende programma's tegen. Dan kan Tolkie die pagina's niet controleren, en ontbreken ze in je rapport. In dit artikel lees je hoe je de Tolkie Crawler toelaat. Je kunt het artikel ook doorsturen naar je webbouwer. Kom je er niet uit? Mail dan [email protected].
Wat is de Tolkie Crawler?
De Tolkie Crawler is het programma waarmee Webmonitoring je website bezoekt. Hij opent de pagina's die je in Mijn Tolkie hebt gekozen bij Webmonitoring → Instellingen, en leest de tekst. Daarmee maakt Tolkie je rapport.
Hij bezoekt alleen de onderdelen van je website die je laat volgen. Daarnaast leest hij je robots.txt en je sitemap, om te weten welke pagina's er zijn.
Hij komt bij elke meting langs. Hoe vaak dat is, lees je in Hoe vaak wordt mijn website gecontroleerd?
Hij leest alleen openbare pagina's. Hij logt nergens in en vult geen formulieren in.
De Tolkie Crawler stelt zich voor met de naam TolkieWebMonitoringBot. Dat heet de user-agent. Je webbouwer ziet hem in de logbestanden van de website als:
TolkieWebMonitoringBot/1.0
Wat gebeurt er als mijn website de crawler tegenhoudt?
Dan kan Tolkie die pagina's niet lezen. Ze krijgen geen nieuwe scores en staan niet in je rapport. Houdt je website de crawler overal tegen, dan komt er helemaal geen nieuw rapport. Laat je de crawler weer toe, dan neemt Tolkie de pagina's bij de volgende meting vanzelf weer mee.
Hoe laat ik de crawler toe in robots.txt?
Met het bestand robots.txt vertelt je website welke programma's welke pagina's mogen bezoeken. Je vindt het op https://jouwwebsite.nl/robots.txt. Meestal past je webbouwer het aan, of doe je het in de instellingen van je CMS.
Zet deze regels in je robots.txt:
User-agent: TolkieWebMonitoringBot Allow: /
Het versienummer (/1.0) hoef je er niet bij te zetten.
Dit werkt ook als je robots.txt andere programma's tegenhoudt, bijvoorbeeld met Disallow: / onder User-agent: *. De regel voor de Tolkie Crawler is specifieker en gaat daarom voor. Een voorbeeld van een complete robots.txt:
# Tolkie Crawler mag alles lezen User-agent: TolkieWebMonitoringBot Allow: /# Alle andere programma's niet User-agent: * Disallow: /
Wil je de crawler alleen bij een deel van je website toelaten? Dat kan ook. Zorg er dan wel voor dat hij bij alle onderdelen kan die je in Webmonitoring laat volgen.
Mijn robots.txt is in orde. Waarom lukt het nog steeds niet?
Dan houdt waarschijnlijk iets anders de crawler tegen, zoals een firewall of bot-bescherming. Bijvoorbeeld Cloudflare, een beveiligingsplugin of een instelling bij je hostingpartij. Die werken los van robots.txt. Vraag je webbouwer of hostingpartij dan om:
de crawler toe te laten op de naam TolkieWebMonitoringBot;
te controleren of de crawler geen captcha of controlepagina krijgt;
te kijken of er een limiet is op het aantal bezoeken per minuut. Daar loopt de crawler soms tegenaan.
Wil je webbouwer de crawler liever op IP-adres toelaten? Mail dan [email protected]. Dat doe je ook als je website een strenge limiet heeft: Tolkie kan de crawler voor jouw website rustiger laten werken.
Wat stuur ik mee als ik support mail?
het adres van je website;
een paar pagina's die niet in je rapport staan;
wat je al hebt aangepast, bijvoorbeeld je robots.txt of de instellingen van je firewall;
welke bot-bescherming je website gebruikt, als je dat weet.
Dan kunnen we je snel helpen.