robots.txt por robô
Decisão explícita para GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended.
A parte técnica da leitura por máquinas: o que os robôs das IAs encontram quando visitam o seu site.
Um site pronto para IA é fácil de ler por crawlers e modelos de linguagem: conteúdo importante em HTML, sem depender de JavaScript, dados estruturados encadeados, robots.txt que libera os robôs que você quer, llms.txt com o resumo do site e logs para saber quais páginas as IAs visitam.
Qualquer site que queira ser fonte de IA, em especial os feitos em plataformas que geram conteúdo via JavaScript.
É o meu casoDecisão explícita para GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended.
Resumo do site em Markdown, com as páginas mais importantes e uma frase sobre cada uma.
Organização, pessoa, serviço, artigo e trilha ligados por @id, sem duplicidade.
Texto principal entregue no HTML inicial, legível sem JavaScript.
Registro de quais robôs visitam quais páginas e com que frequência.
Sobre e contato completos, com dados iguais em todos os perfis.
Como robôs e modelos veem o site hoje.
Quais robôs liberar, para treinamento ou para busca.
Arquivos, marcações e ajustes de renderização.
Log de visitas de crawlers e validação de schema.
CrawlersVisitas de robôs de IAPor robô e por página.SchemaErros de dados estruturadosZero é a meta.HTMLPáginas legíveis sem JSPercentual do conteúdo principal.IACitações em respostasEfeito combinado com GEO.Para o Google, não há arquivo especial exigido para os AI Overviews. Os itens desta página servem às demais plataformas de IA e à clareza geral do site.
É uma decisão de negócio. Algumas empresas separam robôs de treinamento (como o GPTBot) dos robôs de busca (como o OAI-SearchBot). Bloquear os de busca reduz a chance de ser citado em respostas com fonte.
Uma proposta aberta, de 2024, para um arquivo na raiz do site que resume o conteúdo para modelos de linguagem. Não é obrigatório em nenhuma plataforma, mas é simples e ajuda ferramentas que o leem.
Dados estruturados e conteúdo legível sem JavaScript ajudam o Google. O llms.txt e as regras para robôs de IA servem a outras plataformas.
Mande o endereço do site ou o nome da empresa. Em até 1 dia útil você recebe um retrato da situação e as três prioridades para começar.
Para sua marca aparecer como fonte quando alguém pergunta ao ChatGPT, ao Gemini, ao Perplexity ou vê um AI Overview.
Ver serviçoAuditoria e correção do que impede o Google de rastrear, entender e exibir bem as páginas do seu site.
Ver serviçoResponder a pergunta exata do seu cliente, no formato que o Google e os assistentes extraem.
Ver serviço