Resposta rápida
Escolha uma predefinição — por exemplo, «Permitir busca e busca de IA, bloquear rastreadores de treinamento de IA» — ajuste os caminhos que quer manter longe dos rastreadores (como /admin/ ou /cart/), adicione a URL do seu sitemap e baixe o arquivo. Envie-o para a raiz do seu site para que fique disponível em seudominio.com/robots.txt. Lembre-se: o robots.txt é um pedido que os bots respeitáveis seguem, não uma tranca de segurança.
O que é um Gerador de robots.txt?
Um Gerador de robots.txt (Robots.txt जनरेटर) cria o pequeno arquivo de texto que diz aos rastreadores web quais partes do seu site eles podem visitar. Todo site sério tem um em https://yourdomain.com/robots.txt. Buscadores como Google e Bing o leem antes de rastrear; os rastreadores que coletam conteúdo para modelos de IA e mecanismos de busca de IA também. Um bom robots.txt mantém os bots longe de áreas de administração, carrinhos e páginas infinitas de resultados de busca, aponta para o seu sitemap e — cada vez mais — informa se as empresas de IA podem usar o seu conteúdo.
A sintaxe do arquivo é simples, mas os erros saem caros: uma barra errada pode bloquear o site inteiro para o Google. Este gerador grátis monta um arquivo correto a partir de escolhas claras. Comece por uma predefinição, liste os caminhos a manter longe dos rastreadores, adicione o seu sitemap e decida, bot a bot, quais rastreadores de IA bloquear — incluindo a diferença entre rastreadores de treinamento, rastreadores de busca de IA e agentes acionados por usuários. Depois copie ou baixe o resultado e envie-o para o seu site.
Principais recursos
- Cinco predefinições — permitir tudo, bloquear treinamento de IA, bloquear toda IA, WordPress, bloquear tudo.
- 14 rastreadores de IA com dono e finalidade, coloridos como treinamento, busca de IA ou agente de usuário.
- Caminhos Disallow e Allow para todos os bots, um por linha.
- Linha de sitemap com a sua URL completa.
- Crawl-delay opcional para rastreadores que o aceitam.
- Saída conforme o padrão, seguindo a RFC 9309.
- Copie ou baixe como robots.txt.
Como criar o robots.txt — passo a passo
- Escolha uma predefinição que combine com o seu objetivo.
- Informe a URL do seu sitemap, por exemplo https://example.com/sitemap.xml.
- Edite a lista Disallow — um caminho por linha, como /admin/ ou /checkout/.
- Adicione exceções Allow se uma pasta proibida contiver algo de que os rastreadores precisam.
- Marque os rastreadores de IA que quer bloquear.
- Baixe o robots.txt e envie-o para a pasta raiz do seu site (public_html na maioria das hospedagens).
- Confira abrindo seudominio.com/robots.txt e testando no Google Search Console.
Exemplo de saída
Com as configurações padrão, o gerador produz:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search?
Sitemap: https://example.com/sitemap.xml
Isso deixa todo rastreador visitar o site inteiro, exceto a área de administração, o carrinho e as URLs de resultados de busca interna, e diz a eles onde está o sitemap. Escolher «bloquear rastreadores de treinamento de IA» acrescenta um grupo como User-agent: GPTBot, User-agent: ClaudeBot, User-agent: CCBot … seguido de Disallow: / acima das regras gerais.
Rastreadores de IA explicados
| User-agent | Empresa | Digitar |
|---|---|---|
| GPTBot | OpenAI | Treinamento |
| OAI-SearchBot | OpenAI | Busca de IA (busca do ChatGPT) |
| ChatGPT-User | OpenAI | Buscas acionadas pelo usuário |
| Google-Extended | Controle de treinamento/embasamento do Gemini (não da Pesquisa Google) | |
| ClaudeBot | Anthropic | Treinamento |
| Claude-SearchBot | Anthropic | Busca de IA |
| Claude-User | Anthropic | Buscas acionadas pelo usuário |
| PerplexityBot / Perplexity-User | Perplexity | Busca de IA / buscas do usuário |
| CCBot | Common Crawl | Conjunto de dados aberto muito usado para treinamento |
| Applebot-Extended | Apple | Controle de treinamento de IA (não da busca do Siri/Spotlight) |
| meta-externalagent | Meta | Treinamento de IA e produtos |
| Bytespider | ByteDance | Treinamento de IA |
| Amazonbot | Amazon | Respostas da Alexa e IA |
As empresas adicionam e renomeiam rastreadores com o tempo, então consulte ocasionalmente a documentação delas. Bloquear os bots de busca de IA pode impedir que seu site seja citado em respostas de IA, o que pode reduzir o tráfego de referência; muitos publicadores bloqueiam rastreadores de treinamento, mas permitem bots de busca.
Sintaxe do robots.txt em resumo
- User-agent: a qual rastreador as regras seguintes se aplicam; * significa todos.
- Disallow: um prefixo de caminho que o rastreador não deve buscar; um valor vazio permite tudo.
- Allow: uma exceção dentro de uma área proibida.
- Sitemap: a URL absoluta de um sitemap XML (pode aparecer em qualquer lugar).
- Curingas: * corresponde a quaisquer caracteres e $ marca o fim de uma URL — /*.pdf$ corresponde a todos os arquivos PDF.
- A correspondência mais específica vence — o Google aplica a regra correspondente mais longa, então Allow: /wp-admin/admin-ajax.php anula Disallow: /wp-admin/.
O que o robots.txt pode e não pode fazer
O robots.txt é um pedido público. O Google, o Bing e as empresas de IA respeitáveis o seguem, mas nada obriga um rastreador a obedecer, e qualquer um pode ler o arquivo — então listar pastas secretas ali pode até anunciá-las. Ele também controla o rastreamento, não a indexação: uma URL bloqueada ainda pode aparecer no Google se outras páginas a linkarem. Para manter uma página fora dos resultados, permita o rastreamento e adicione uma meta tag noindex (nosso Gerador de meta tags pode criá-la). Para proteger conteúdo privado, exija um login. Use o robots.txt para aquilo em que ele é bom: afastar rastreadores bem-comportados de URLs de pouco valor ou duplicadas.
robots.txt para WordPress
Sites WordPress costumam bloquear /wp-admin/ enquanto permitem /wp-admin/admin-ajax.php, que temas e plugins usam, e muitas vezes bloqueiam URLs de busca interna como /?s=. A predefinição do WordPress configura isso para você. Não bloqueie /wp-content/ nem /wp-includes/ — eles contêm o CSS, o JavaScript e as imagens de que o Google precisa para renderizar suas páginas corretamente. Envie o arquivo para a raiz do site ou cole-o em um plugin de SEO que gerencie o robots.txt.
Escolhendo uma estratégia para rastreadores de IA
Não existe uma única resposta certa — depende de como você ganha com o seu conteúdo.
- Permitir tudo — visibilidade máxima. Suas páginas podem ser usadas para treinamento e citadas em respostas de IA. Serve a ferramentas, páginas de produtos e marcas que querem alcance.
- Bloquear treinamento, permitir busca de IA — um meio-termo popular. Os modelos não são treinados com o seu conteúdo por rastreadores que respeitam o robots.txt, mas os assistentes ainda podem encontrar, citar e linkar você, o que pode trazer visitantes.
- Bloquear todos os rastreadores de IA — controle máximo, comum para conteúdo pago, arquivos de notícias e pesquisas originais. Você pode perder citações e tráfego de referência da busca de IA.
Seja qual for a escolha, o robots.txt afeta só o rastreamento futuro por bots que o respeitam; ele não remove conteúdo já coletado. Reveja a decisão a cada poucos meses, conforme novos rastreadores aparecem.
robots.txt, sitemaps e llms.txt
O robots.txt diz aonde os rastreadores podem ir; um sitemap XML lista as páginas que você quer que sejam descobertas. Alguns sites agora também publicam um arquivo llms.txt — uma convenção informal proposta que oferece a ferramentas de IA um resumo conciso em Markdown das páginas mais úteis do site. Não é um padrão oficial e nem toda empresa de IA o lê, mas é inofensivo acrescentá-lo junto de um robots.txt e um sitemap de verdade.
Usos comuns
- Configurar um novo site ou blog.
- Optar por não participar do treinamento de modelos de IA sem deixar de aparecer nas buscas.
- Manter os rastreadores longe de carrinhos, checkout, administração e URLs de filtros.
- Bloquear completamente um site de teste.
- Adicionar uma referência ao sitemap para descoberta mais rápida.
- Reduzir a carga do servidor causada por rastreadores agressivos.
- Impedir que rastreadores percam tempo com URLs infinitas de filtros e ordenação em lojas online.
Erros comuns a evitar
- «Disallow: /» em User-agent: * num site no ar — isso bloqueia tudo, inclusive o Google.
- Bloquear CSS e JavaScript — o Google pode julgar mal a compatibilidade com celulares.
- Usar o robots.txt para esconder páginas privadas — o arquivo é público; use autenticação.
- Combinar bloqueios no robots.txt com noindex — os rastreadores não veem o noindex se não podem rastrear a página.
- Enviar para a pasta errada — ele precisa estar na raiz do domínio.
- Esquecer a barra final — Disallow: /admin também bloqueia /administrator.
Solução de problemas
- O Google informa «bloqueado pelo robots.txt» para uma página que você quer indexada — remova ou restrinja a linha Disallow correspondente.
- As mudanças não foram detectadas — o Google guarda o robots.txt em cache por até cerca de um dia; peça um novo rastreamento no Search Console.
- 404 para /robots.txt — o arquivo está no lugar errado ou com o nome errado (deve ser robots.txt em minúsculas).
- Um bot de IA ainda visita — confira o nome exato do user-agent nos logs do seu servidor; alguns serviços usam vários rastreadores.
Glossário rápido
- Rastreador / bot / spider: software que busca páginas web automaticamente.
- User-agent: o nome com que um rastreador se identifica.
- Rastreamento x indexação: buscar uma página x listá-la nos resultados de busca.
- Sitemap: uma lista XML das URLs de um site para os buscadores.
- RFC 9309: o padrão de 2022 do Protocolo de Exclusão de Robôs.
- Noindex: uma meta tag que pede aos buscadores para não listar uma página.
- Rastreador de treinamento: um bot que coleta conteúdo para treinar modelos de IA.
- Rastreador de busca de IA: um bot que busca páginas para citá-las em respostas geradas por IA.
Por que usar este Gerador de robots.txt?
Ele produz um arquivo correto em segundos, explica cada opção, inclui controles atualizados de rastreadores de IA com rótulos claros e lembra os limites do robots.txt — grátis e sem cadastro.
Gerador de robots.txt — Informações principais
| Local | Deve estar na raiz do site: https://yourdomain.com/robots.txt |
|---|---|
| Predefinições | Permitir tudo, bloquear treinamento de IA, bloquear toda IA, WordPress, bloquear tudo |
| Bots de IA | GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot e mais |
| Regras | User-agent, Disallow, Allow, Sitemap, Crawl-delay opcional |
| Padrão | Protocolo de Exclusão de Robôs da RFC 9309 |
| Importante | Apenas consultivo — use noindex ou senhas para realmente esconder páginas |
Perguntas frequentes
O que é o robots.txt?
O robots.txt é um arquivo de texto simples na raiz de um site que diz aos rastreadores quais partes do site eles podem visitar. Segue o Protocolo de Exclusão de Robôs, padronizado como RFC 9309 em 2022.
Onde coloco o robots.txt?
Na pasta de nível superior do seu domínio, para que carregue em https://yourdomain.com/robots.txt. Um arquivo em uma subpasta é ignorado. Cada subdomínio precisa do próprio arquivo.
O robots.txt impede que uma página apareça no Google?
Não de forma confiável. Ele impede o rastreamento, mas uma URL bloqueada ainda pode ser indexada se outros sites a linkarem, geralmente sem descrição. Para manter uma página fora dos resultados de busca, permita o rastreamento e adicione uma meta tag noindex, ou proteja-a com senha.
Como bloqueio rastreadores de IA como o GPTBot?
Marque os bots que quer bloquear ou escolha uma predefinição. O gerador adiciona um grupo como «User-agent: GPTBot / Disallow: /». As empresas de IA respeitáveis dizem que seus rastreadores respeitam essas regras.
Bloquear o Google-Extended vai tirar meu site da Pesquisa Google?
Não. O Google-Extended é um token separado que controla o uso do seu conteúdo pelos modelos Gemini; o Googlebot, que alimenta a Pesquisa Google, não é afetado.
Qual é a diferença entre bots de treinamento e de busca de IA?
Os rastreadores de treinamento (como GPTBot, ClaudeBot, CCBot) coletam conteúdo para treinar modelos. Os bots de busca de IA (como OAI-SearchBot, Claude-SearchBot, PerplexityBot) buscam páginas para exibi-las e citá-las em respostas de buscas de IA. Os agentes de usuário (como ChatGPT-User) buscam uma página quando uma pessoa pede ao assistente. A predefinição «bloquear treinamento de IA» bloqueia só o primeiro grupo, então seu site ainda pode aparecer na busca de IA.
O crawl-delay tem suporte?
Alguns rastreadores, como o Bing, respeitam o Crawl-delay, mas o Google o ignora. Deixe-o vazio, a menos que tenha um motivo específico.
Devo adicionar meu sitemap?
Sim. Uma linha Sitemap ajuda os buscadores a descobrir todas as suas páginas. Use a URL completa com https:// do arquivo do seu sitemap.
Posso bloquear uma única página?
Sim — adicione o caminho dela, como /private-offer.html, à lista de proibidos. Os caminhos diferenciam maiúsculas e correspondem a partir do início da URL.
Bots maliciosos obedecem ao robots.txt?
Não. Scrapers e bots maliciosos podem ignorá-lo, e o arquivo é público, então pode até revelar onde estão páginas sensíveis. Use autenticação e proteções no servidor para tudo que é privado.
Como testo meu robots.txt?
Depois de enviar, abra seudominio.com/robots.txt num navegador e use o relatório de robots.txt do Google Search Console para conferir se o Google consegue buscá-lo e analisá-lo.
O gerador é grátis?
Sim. É grátis, ilimitado e não exige cadastro.
Controle quem rastreia o seu site!
Regras para rastreadores de busca e de IA com um clique — grátis e simples.
Conheça mais ferramentas da Prompt Minds
O Gerador de robots.txt funciona muito bem junto com nossas outras ferramentas grátis. Todas as ferramentas do Prompt Minds rodam inteiramente no seu navegador — sem cadastro, sem uploads, sem marca d’água. Ver todas as ferramentas grátis.