1001Ferramentas
🤖SEO

Gerador de robots.txt

Gera arquivos robots.txt para SEO: define User-agent, Allow/Disallow por path e link para o sitemap.xml.


    
  

Como funciona o robots.txt?

O robots.txt diz aos crawlers (Google, Bing, etc.) quais URLs eles podem ou não indexar. Não é uma proteção real — apenas uma indicação. Bots maliciosos ignoram.

O arquivo deve ficar em /robots.txt na raiz do domínio. Disallow: /admin/ impede o crawler de visitar; Allow: / libera tudo.

Inclua o link do sitemap.xml para acelerar a indexação.

Ferramentas Relacionadas