Beheer AI-crawlers zonder normale zoekmachine-indexering per ongeluk te blokkeren. Hier lees je concreet waar je de instelling vindt, wat je moet aanpassen en hoe je daarna controleert of het werkt.
Zo doe je het
1Controleer welke User-agents in robots.txt staan.
2AI-diensten gebruiken verschillende crawlers; maak regels daarom bewust en specifiek.
3Gebruik robots.txt nooit als beveiliging voor privébestanden.
Let op
Maak bij belangrijke wijzigingen eerst een backup. Op shared hosting kun je geen serverbrede instellingen aanpassen; geef bij support altijd je domeinnaam, exacte foutmelding, tijdstip en wat je al hebt getest.
Maak bij belangrijke wijzigingen eerst een backup. Op shared hosting kun je geen serverbrede instellingen aanpassen; geef bij support altijd je domeinnaam, exacte foutmelding, tijdstip en wat je al hebt getest.
Hulp nodig met je hosting?
Van webhosting en domeinen tot verhuizing en technische ondersteuning.
Maak een supportticket