Générateur Robots.txt/ Configuration Crawler
Générez robots.txt en ligne pour configurer les règles d'accès des crawlers.
robots.txt
Cet outil a-t-il résolu votre problème ?
FAQ
Qu'est-ce que Robots.txt ?
Un fichier texte à la racine du site pour les règles d'accès des crawlers.
Disallow vs Allow ?
Disallow interdit l'accès, Allow autorise l'accès.
Pourquoi déclarer le Sitemap ?
Aide les moteurs de recherche à trouver votre sitemap plus rapidement.