robots.txt e sitemap XML: o que são e como configurar sem errar

O robots.txt é um arquivo na raiz do site que diz aos robôs quais áreas eles podem rastrear. O sitemap XML é uma lista das URLs importantes do site, que ajuda os buscadores a encontrá-las. Um restringe, o outro convida.

robots.txt: exemplo comentado

# vale para todos os robôs
User-agent: *
Disallow: /carrinho/
Disallow: /minha-conta/
Disallow: /*?ordenar=

Sitemap: https://exemplo.com.br/sitemap.xml

Esse arquivo bloqueia carrinho, área do cliente e URLs de ordenação, que não deveriam consumir o rastreamento, e informa onde está o sitemap.

O mito mais perigoso

Bloquear no robots.txt não impede uma página de ser indexada. Se outras páginas linkam para ela, o Google pode indexar a URL mesmo sem ler o conteúdo. Para tirar uma página do índice, use a tag noindex e deixe o robô acessar a página para ler essa tag.

Já vi o inverso também: uma empresa colocou Disallow: / no lançamento do site novo "só por uns dias" e esqueceu. Três semanas depois, o tráfego orgânico tinha praticamente sumido.

Robôs de IA

O robots.txt também é onde você decide sobre os robôs de IA. Os principais separam busca de treinamento. Explico as diferenças e as opções em como as IAs escolhem fontes. Este site libera todos, porque quero ser citado.

Sitemap XML: exemplo

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://exemplo.com.br/dedetizacao-sao-paulo/</loc>
    <lastmod>2026-10-01</lastmod>
  </url>
</urlset>

Regras que sigo:

• Só URLs canônicas, indexáveis e que respondem 200.
• lastmod só quando o conteúdo realmente mudou.
• Limite de 50.000 URLs ou 50 MB por arquivo; acima disso, um índice de sitemaps.
• Envio no Search Console e no Bing Webmaster Tools.

Em WordPress

O WordPress gera um sitemap básico em /wp-sitemap.xml, e plugins de SEO costumam substituir por um mais completo. Verifique se não há dois sitemaps concorrentes e se páginas de tags e anexos não estão entrando sem necessidade.

Fontes

1. Google Search Central — Introdução ao robots.txt (acesso em 05/10/2026)
2. Google Search Central — Visão geral dos sitemaps (acesso em 05/10/2026)
3. Google Search Central — Bloquear a indexação com noindex (acesso em 05/10/2026)

Richson

Estrategista de SEO e GEO desde 2012. Passei pelas agências Carti e Jump Label e hoje atendo o projeto de SEO e GEO do Sem Parar (Grupo Corpay).