Zo los je dit op
- Inventariseer eerst welke crawler je daadwerkelijk wilt toestaan of beperken.
- Controleer robots.txt.
- Controleer daarnaast WAF, ModSecurity, rate limiting en bot protection.
- Test een publieke URL met een normale browser en met een crawler-achtige User-Agent.
- Kijk naar HTTP-status, redirects en response headers.
- Maak uitzonderingen alleen voor legitieme en controleerbare situaties.
- Blokkeer niet blind alle bots; zoekmachines, AI-crawlers en uptime-monitoring kunnen verschillende doelen hebben.
Let op: Een 403 voor een crawler kan door de website, WAF, CDN, ModSecurity, User-Agent-filtering of rate limiting worden veroorzaakt. Alleen robots.txt controleren is daarom onvoldoende.
Wanneer ligt het probleem ergens anders?
Controleer bij problemen ook DNS, document root, PHP, WordPress, .htaccess, caching en eventuele beveiligingslagen. Een foutmelding vertelt niet altijd welke component de oorzaak is. Kijk daarom eerst naar de exacte HTTP-status, logregel of foutmelding voordat je instellingen gaat aanpassen.
Veilig werken
Maak bij ingrijpende wijzigingen eerst een backup en verander één onderdeel tegelijk. Noteer wat je hebt aangepast, zodat je een wijziging gecontroleerd kunt terugdraaien als het resultaat niet goed is.
Hulp nodig?
Geef bij een supportvraag het domein, de exacte foutmelding, het tijdstip waarop het probleem optreedt en wat je al hebt getest. Daarmee kan support veel sneller gericht zoeken.
Geef bij een supportvraag het domein, de exacte foutmelding, het tijdstip waarop het probleem optreedt en wat je al hebt getest. Daarmee kan support veel sneller gericht zoeken.
Website verhuizen naar Jouwebhosting?
Gebruik onze verhuisservice voor het overzetten van website, database en e-mail.
Bekijk de verhuisservice
Gebruik onze verhuisservice voor het overzetten van website, database en e-mail.
Bekijk de verhuisservice
Ook betrouwbare hosting nodig?
Van webhosting en domeinen tot VPS: bekijk wat Jouwebhosting voor je website kan betekenen.
Bekijk webhosting