Generador Robots.txt/ Configuración Crawler
Genera robots.txt online para configurar reglas de acceso de crawlers.
robots.txt
¿Esta herramienta resolvió tu problema?
FAQ
¿Qué es Robots.txt?
Un archivo de texto en la raíz del sitio para reglas de acceso de crawlers.
¿Disallow vs Allow?
Disallow prohíbe acceso, Allow permite acceso.
¿Por qué declarar Sitemap?
Ayuda a los motores de búsqueda a encontrar tu sitemap más rápido.