Stuur crawlers zonder robots.txt als beveiliging te gebruiken. Hier lees je concreet waar je de instelling vindt, wat je moet aanpassen en hoe je daarna controleert of het werkt.
Zo doe je het
1Open /robots.txt en controleer User-agent en Disallow.
2Controleer vooral dat je niet per ongeluk Disallow: / gebruikt.
3Voeg eventueel je volledige sitemap-URL toe; bescherm privé-inhoud met echte toegangsbeveiliging.
Let op
Maak bij belangrijke wijzigingen eerst een backup. Op shared hosting kun je geen serverbrede instellingen aanpassen; geef bij support altijd je domeinnaam, exacte foutmelding, tijdstip en wat je al hebt getest.
Maak bij belangrijke wijzigingen eerst een backup. Op shared hosting kun je geen serverbrede instellingen aanpassen; geef bij support altijd je domeinnaam, exacte foutmelding, tijdstip en wat je al hebt getest.
Hulp nodig met je hosting?
Van webhosting en domeinen tot verhuizing en technische ondersteuning.
Maak een supportticket