Comparador meta robots vs X-Robots-Tag

A mesma instrução de indexação pode chegar por dois caminhos: a meta tag no HTML e o cabeçalho HTTP. Ter os dois é comum — um vem do CMS, outro do servidor ou do CDN — e é justamente aí que aparece a página que ninguém consegue explicar por que sumiu do índice. Informe os dois valores e a página diz o que efetivamente vale.

A regra é simples e vale a pena decorar: o mais restritivo vence. Não há precedência por origem — o cabeçalho não ganha da meta tag nem o contrário. Se um diz indexar e o outro diz não indexar, o resultado é não indexar. A página aplica essa resolução separadamente para indexação e para seguimento de links, porque as duas diretivas são independentes.

Vale lembrar os padrões: sem nenhuma diretiva, o comportamento é indexar e seguir. Por isso declarar explicitamente essas duas palavras não muda nada — é ruído que só ocupa espaço. E há uma armadilha que o cruzamento não pega: página bloqueada no arquivo de robôs nunca é buscada, então a diretiva de não indexar dentro dela jamais é lida, e a URL pode acabar indexada sem conteúdo. Para tirar do índice, é preciso permitir o rastreamento.