Gerador Robots.txt/ Configuração Crawler
Gere robots.txt online para configurar regras de acesso de crawlers.
robots.txt
Esta ferramenta resolveu o seu problema?
FAQ
O que é Robots.txt?
Um arquivo texto na raiz do site para regras de acesso de crawlers.
Disallow vs Allow?
Disallow proíbe acesso, Allow permite acesso.
Por que declarar Sitemap?
Ajuda os mecanismos de busca a encontrar seu sitemap mais rápido.