Zo los je dit op
- Open https://jouwdomein.nl/robots.txt.
- Controleer of de gewenste bots niet met Disallow worden uitgesloten.
- Controleer of belangrijke CSS/JS of publieke pagina's niet onbedoeld worden geblokkeerd.
- Controleer de sitemapverwijzing als je die gebruikt.
- Test na een wijziging met relevante zoekmachine-tools.
- Gebruik robots.txt niet als beveiligingsmechanisme voor vertrouwelijke informatie.
Let op: Robots.txt is openbaar en geen toegangsbeveiliging. Een URL die geheim moet blijven hoort niet alleen door robots.txt beschermd te worden.
Wanneer ligt het probleem ergens anders?
Controleer bij problemen ook DNS, document root, PHP, WordPress, .htaccess, caching en eventuele beveiligingslagen. Een foutmelding vertelt niet altijd welke component de oorzaak is. Kijk daarom eerst naar de exacte HTTP-status, logregel of foutmelding voordat je instellingen gaat aanpassen.
Veilig werken
Maak bij ingrijpende wijzigingen eerst een backup en verander één onderdeel tegelijk. Noteer wat je hebt aangepast, zodat je een wijziging gecontroleerd kunt terugdraaien als het resultaat niet goed is.
Hulp nodig?
Geef bij een supportvraag het domein, de exacte foutmelding, het tijdstip waarop het probleem optreedt en wat je al hebt getest. Daarmee kan support veel sneller gericht zoeken.
Geef bij een supportvraag het domein, de exacte foutmelding, het tijdstip waarop het probleem optreedt en wat je al hebt getest. Daarmee kan support veel sneller gericht zoeken.
Website verhuizen naar Jouwebhosting?
Gebruik onze verhuisservice voor het overzetten van website, database en e-mail.
Bekijk de verhuisservice
Gebruik onze verhuisservice voor het overzetten van website, database en e-mail.
Bekijk de verhuisservice
Ook betrouwbare hosting nodig?
Van webhosting en domeinen tot VPS: bekijk wat Jouwebhosting voor je website kan betekenen.
Bekijk webhosting