llms.txt, schema e robots.txt: o guia técnico de IA que o seu programador precisa de ler

Este artigo tem dois leitores. O primeiro é o diretor de marketing, que precisa de saber que perguntas fazer. O segundo é o programador ou a agência que gere o site, que precisa de saber exatamente o que configurar.

Há muito ruído sobre “otimização técnica para IA”. Há ferramentas a vender ficheiros mágicos, agências a prometer resultados com uma linha de código e muita confusão sobre o que funciona. Neste guia separo o que é essencial, o que é útil e o que é, por agora, opcional — com base nas posições oficiais das empresas de IA e nos dados disponíveis.

Resumo para o diretor de marketing

As perguntas a fazer à equipa técnica:

1. Que robôs de IA estamos a bloquear, no robots.txt e na firewall, e porquê?
2. O conteúdo principal das nossas páginas aparece no código-fonte?
3. O site está indexado no Google, no Bing e no Brave?
4. Que dados estruturados temos implementados?

Parte 1: robots.txt — decidir quem entra

O ficheiro robots.txt, na raiz do domínio, indica aos robôs o que podem e não podem visitar. Com a IA, a decisão deixou de ser binária: as principais empresas usam robôs diferentes para funções diferentes.

Os robôs que importa conhecer

Segundo a Anthropic, os seus três robôs respeitam o robots.txt, incluindo o que atua a pedido dos utilizadores.

Uma configuração equilibrada

Para a maioria das empresas que querem ser citadas pela IA, mas preferem não ceder conteúdo para treino, uma configuração possível é:

# Pesquisa e pedidos de utilizadores: permitidos
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Treino de modelos: decisão da empresa (aqui, bloqueado)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Restantes robôs
User-agent: *
Disallow: /admin/
Disallow: /carrinho/

Sitemap: <https://www.oseudominio.pt/sitemap.xml>

Nota importante: bloquear o treino é uma decisão legítima, mas tem uma contrapartida — o conhecimento “de base” dos futuros modelos sobre a sua marca dependerá mais do que outros escrevem. Muitas empresas que querem maximizar a visibilidade permitem também os robôs de treino.

O bloqueio escondido: firewalls e CDN

O robots.txt é apenas um pedido. O bloqueio efetivo acontece muitas vezes noutro sítio: firewalls, proteções anti-bot e serviços de CDN, como a Cloudflare, que oferecem opções específicas para bloquear robôs de IA. É frequente um site ter um robots.txt permissivo e, ao mesmo tempo, uma firewall que bloqueia os robôs de IA. Verifique as duas camadas.

Parte 2: conteúdo legível e indexação

Renderização

Muitos robôs de IA não executam JavaScript da mesma forma que o Googlebot. Se o conteúdo principal é carregado dinamicamente no navegador, pode ser invisível para eles.

Teste simples: ver o código-fonte da página (não o “inspecionar elemento”) e procurar o texto principal. Se não estiver lá, considere renderização no servidor (SSR) ou geração estática para as páginas importantes.

Indexação em vários motores

Cada assistente de IA apoia-se em índices diferentes. O Microsoft Copilot baseia-se no Bing; estudos independentes associam as pesquisas do Claude ao índice do Brave; o Gemini e os AI Overviews ao Google. Na prática:

• Registe o site no Google Search Console e no Bing Webmaster Tools
• Verifique a indexação com site:oseudominio.pt no Google, no Bing e no Brave
• Mantenha sitemaps XML atualizados, com a data da última modificação (lastmod) correta

Parte 3: dados estruturados (schema.org)

Os dados estruturados descrevem o conteúdo de forma inequívoca para as máquinas. Não são uma garantia de citação, mas reduzem a ambiguidade — e a ambiguidade é inimiga da recomendação.

O mínimo que todas as empresas devem ter

html

<script type="application/ld+json">{  "@context": "<https://schema.org>",  "@type": "Organization",  "name": "Nome da Empresa",  "url": "<https://www.oseudominio.pt>",  "logo": "<https://www.oseudominio.pt/logo.png>",  "description": "A Nome da Empresa é uma [categoria] especializada em [serviço] para [público] em Portugal.",  "address": {    "@type": "PostalAddress",    "addressLocality": "Lisboa",    "addressCountry": "PT"  },  "sameAs": [    "<https://www.linkedin.com/company/nome-da-empresa>",    "<https://www.facebook.com/nomedaempresa>"  ]}</script>

Pontos-chave:

• A descrição deve ser igual à que usa no LinkedIn, em diretórios e na imprensa. A consistência reforça a associação da marca à categoria.
• O campo sameAs liga o site aos perfis oficiais e ajuda a identificar a marca como uma entidade única.

Por tipo de página

Valide sempre com o Teste de Resultados Avançados da Google ou o validador do schema.org.

Parte 4: llms.txt — o que é e se vale a pena

O llms.txt é uma proposta, lançada em 2024 por Jeremy Howard (Answer.AI), de um ficheiro em Markdown colocado na raiz do site (/llms.txt) que resume o conteúdo mais importante e aponta para as páginas principais, num formato fácil de ler por modelos de linguagem.

O que dizem os factos

• A Google não o usa na pesquisa. John Mueller, da Google, afirmou que nenhum serviço de IA declarou usar o llms.txt e comparou-o à meta tag keywords, há muito ignorada. A documentação da Google sobre otimização para IA indica igualmente que a pesquisa não o utiliza.
  
  
• Pouco pedido pelos robôs: segundo uma análise da Ahrefs a mais de 137.000 domínios, 97% não registaram nenhum pedido ao ficheiro.
  
  
• Sem efeito medido nas citações: uma análise da SE Ranking a cerca de 300.000 domínios encontrou uma adoção de cerca de 10% e nenhum efeito mensurável nas citações em IA.
  
  
• Onde tem utilidade: ferramentas de programação com IA e alguns agentes procuram o ficheiro para navegar em documentação técnica. Empresas como a Anthropic, a Stripe, a Vercel e a Cloudflare publicam um.

Recomendação

Se decidir criar um, mantenha-o simples e atualizado — e não acredite em quem o apresenta como solução para aparecer no ChatGPT.

Checklist técnica final

• [ ] robots.txt revisto, com decisões explícitas para robôs de pesquisa, de pedidos de utilizadores e de treino
• [ ] Firewall, proteção anti-bot e CDN alinhadas com o robots.txt
• [ ] Conteúdo principal presente no HTML (código-fonte)
• [ ] Site registado no Google Search Console e no Bing Webmaster Tools
• [ ] Indexação verificada no Google, no Bing e no Brave
• [ ] Sitemap XML atualizado, com lastmod correto
• [ ] Schema Organization com descrição consistente e sameAs
• [ ] Schema Article com datas em todos os artigos
• [ ] Schema específico para produtos, serviços ou negócio local
• [ ] Datas de atualização visíveis nas páginas importantes
• [ ] (Opcional) llms.txt, sobretudo em sites com documentação técnica

Conclusão

A parte técnica da visibilidade em IA não é magia nem exige ferramentas caras. É, sobretudo, garantir três coisas: que os robôs certos conseguem entrar, que conseguem ler o conteúdo e que percebem sem ambiguidade quem é a sua empresa.

Faça isto bem e terá a fundação. O resto — conteúdo que responde às perguntas dos clientes e reputação em fontes externas — é o que transforma uma marca “legível” numa marca recomendada.

Perguntas frequentes

Se bloquear o GPTBot, deixo de aparecer no ChatGPT?

Não necessariamente. O GPTBot é usado para treino. A presença nas respostas de pesquisa do ChatGPT depende do OAI-SearchBot. Bloquear o OAI-SearchBot, esse sim, retira o site das respostas de pesquisa.

O Google-Extended afeta a minha posição no Google?

Não. O Google-Extended controla o uso do conteúdo nos modelos Gemini. A presença nos resultados da Pesquisa Google depende do Googlebot.

O llms.txt ajuda a aparecer nas respostas de IA?

Não há evidência de que ajude. A Google afirma não o usar e os estudos disponíveis não mostram efeito nas citações. Pode ser útil para sites de documentação técnica.

Os dados estruturados garantem que a IA cita o meu site?

Não garantem, mas tornam a informação mais clara e menos ambígua para motores de pesquisa e sistemas de IA. São uma boa prática com benefícios também no SEO tradicional.

Como sei se a firewall está a bloquear robôs de IA?

Peça à equipa técnica para rever as regras de firewall e de proteção anti-bot (por exemplo, no painel da Cloudflare) e os registos de acesso do servidor, procurando os user-agents dos robôs de IA.

Com que frequência devo rever estas configurações?

Pelo menos duas vezes por ano, e sempre que houver mudanças no site, na CDN ou quando as empresas de IA anunciarem novos robôs. A lista de robôs tem mudado com frequência.