robots.txt para Bots de IA

Você descobriu que o texto do seu site pode estar virando material de treino e quer registrar a recusa. O lugar padrão para isso é o robots.txt, na raiz do domínio. Aqui você liga ou desliga quatro alvos: GPTBot, da OpenAI, ClaudeBot, da Anthropic, junto com o nome antigo anthropic-ai, CCBot, do Common Crawl, e Google-Extended. Para cada robô escolhido saem duas diretivas, uma linha User-agent e uma linha Disallow com barra.

robots.txt é pedido, não muro. Vale para quem decide respeitar, e cada empresa batiza seus robôs de um jeito. Google-Extended não tira você da Busca do Google: ele sinaliza apenas que o conteúdo não deve alimentar treino e respostas do Gemini. Bloquear o CCBot também não apaga o que o Common Crawl já arquivou em coletas passadas. E os robôs de leitura ao vivo, acionados quando alguém faz uma pergunta, usam nomes diferentes dos quatro daqui.

O arquivo fica em seusite.com/robots.txt e cada diretiva ocupa uma linha própria: User-agent numa linha, Disallow na seguinte, linha em branco separando os blocos. Acrescente o trecho ao robots.txt que já existe, sem apagar as regras antigas nem a linha Sitemap. Depois de publicar, abra o endereço no navegador e leia o resultado. Barrar de verdade quem ignora o arquivo é trabalho de servidor ou CDN. A montagem acontece no navegador.