{"id":54302,"date":"2026-01-28T12:30:00","date_gmt":"2026-01-28T15:30:00","guid":{"rendered":"https:\/\/www.locaweb.com.br\/blog\/?p=54302"},"modified":"2026-01-07T16:11:05","modified_gmt":"2026-01-07T19:11:05","slug":"robots-txt-o-que-e-para-que-serve-e-como-criar-o-arquivo","status":"publish","type":"post","link":"https:\/\/www.locaweb.com.br\/blog\/temas\/codigo-aberto\/robots-txt-o-que-e-para-que-serve-e-como-criar-o-arquivo\/","title":{"rendered":"Robots.txt: o que \u00e9, para que serve e como criar o arquivo\u00a0"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Quando voc\u00ea publica um site&nbsp;em um ambiente, al\u00e9m do c\u00f3digo, existe um ponto fundamental de comunica\u00e7\u00e3o com os&nbsp;<strong>motores de busca<\/strong>: o arquivo&nbsp;<strong>robots.txt<\/strong>. \u00c9 ele que diz para os&nbsp;<strong>bots&nbsp;de rastreamento<\/strong>&nbsp;(como o&nbsp;Googlebot) quais partes do seu site podem ser acessadas e quais \u00e1reas devem ser evitadas.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Esse arquivo faz parte do chamado&nbsp;<strong>Protocolo de Exclus\u00e3o de Rob\u00f4s<\/strong>&nbsp;(Robots&nbsp;Exclusion&nbsp;Protocol) e \u00e9 uma pe\u00e7a importante dentro de uma estrat\u00e9gia de&nbsp;<strong>SEO t\u00e9cnico<\/strong>. Ele n\u00e3o substitui boas pr\u00e1ticas de conte\u00fado nem configura\u00e7\u00f5es avan\u00e7adas, mas ajuda a otimizar o&nbsp;<strong>rastreamento<\/strong>&nbsp;pelas ferramentas de busca e a organizar a forma como o seu site&nbsp;\u00e9 entendido pelos buscadores.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ao longo deste artigo, voc\u00ea vai entender&nbsp;<strong>o que \u00e9 um arquivo robots.txt<\/strong>, para que serve, quais protocolos e comandos o comp\u00f5em, como cri\u00e1-lo, atualiz\u00e1-lo e como ele se relaciona com&nbsp;<strong>sitemap<\/strong>,&nbsp;<strong>SEO t\u00e9cnico<\/strong>&nbsp;e a infraestrutura em que o site est\u00e1 hospedado.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>O que \u00e9 um arquivo robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O&nbsp;<strong>robots.txt<\/strong>&nbsp;\u00e9 um&nbsp;<strong>arquivo de texto simples<\/strong>, geralmente salvo com codifica\u00e7\u00e3o&nbsp;<strong>UTF-8<\/strong>, que fica na&nbsp;<strong>raiz de um dom\u00ednio<\/strong>&nbsp;(por exemplo,&nbsp;<a href=\"https:\/\/seudominio.com\/robots.txt\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/robots.txt<\/a>). Ele \u00e9 usado para dar instru\u00e7\u00f5es a&nbsp;<strong>rob\u00f4s de rastreamento<\/strong>&nbsp;(tamb\u00e9m chamados de&nbsp;crawlers,&nbsp;spiders&nbsp;ou&nbsp;bots), informando o que eles&nbsp;<strong>podem<\/strong>&nbsp;ou&nbsp;<strong>n\u00e3o podem acessar<\/strong>&nbsp;dentro de um site.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Em termos de arquitetura, o robots.txt \u00e9 um recurso p\u00fablico. Qualquer pessoa pode acess\u00e1-lo diretamente no navegador. Logo, ele n\u00e3o serve para \u201cesconder segredos\u201d, mas para comunicar&nbsp;<strong>regras de rastreamento<\/strong>&nbsp;aos mecanismos de busca que respeitam o protocolo.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Podemos falar em dois tipos principais:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>robots.txt padr\u00e3o<\/strong>: geralmente simples, permitindo que todos os\u00a0bots\u00a0acessem todo o site (ou boa parte dele), muitas vezes apenas apontando o\u00a0<strong>sitemap<\/strong>;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>robots.txt personalizado<\/strong>: cont\u00e9m regras espec\u00edficas para diferentes\u00a0<strong>user-agents<\/strong>, diret\u00f3rios bloqueados, \u00e1reas liberadas e configura\u00e7\u00e3o refinada de rastreamento.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">\u00c9 importante destacar que o arquivo precisa ficar na&nbsp;<strong>pasta raiz<\/strong>&nbsp;do dom\u00ednio configurado via&nbsp;<strong>Registro de Dom\u00ednio<\/strong>. Se o seu site est\u00e1 hospedado em uma&nbsp;<strong>Hospedagem de Site<\/strong>,&nbsp;<strong>Locaweb Cloud<\/strong>,&nbsp;<strong>Servidor VPS<\/strong>&nbsp;ou&nbsp;<strong>Servidor Dedicado<\/strong>, voc\u00ea normalmente far\u00e1 o upload do robots.txt para o diret\u00f3rio p\u00fablico principal (como&nbsp;public_html&nbsp;ou equivalente) para que os&nbsp;bots&nbsp;consigam encontr\u00e1-lo automaticamente.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Leia Mais:&nbsp;<\/strong>&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/www.locaweb.com.br\/blog\/temas\/marketing-e-seo\/seo-para-2025\/\" target=\"_blank\" rel=\"noreferrer noopener\">Domine o SEO em 2025 e fa\u00e7a seu neg\u00f3cio aparecer no Google<\/a>\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/www.locaweb.com.br\/blog\/temas\/codigo-aberto\/como-usar-o-comando-curl\/\" target=\"_blank\" rel=\"noreferrer noopener\">Como usar o comando cURL?<\/a>\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/www.locaweb.com.br\/blog\/temas\/marketing-e-seo\/otimizacao-de-sites\/\" target=\"_blank\" rel=\"noreferrer noopener\">Otimiza\u00e7\u00e3o de sites: 9 dicas para melhorar a velocidade, UX e SEO<\/a>\u00a0<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Para que serve um arquivo robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O robots.txt serve, principalmente, para&nbsp;<strong>orientar os&nbsp;bots&nbsp;de busca<\/strong>&nbsp;sobre quais partes do site devem ser rastreadas e quais caminhos devem ser evitados. Ele ajuda a:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>evitar rastreamento<\/strong>\u00a0de diret\u00f3rios internos, como\u00a0\/admin\u00a0ou\u00a0\/tmp;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>impedir acesso<\/strong>\u00a0a p\u00e1ginas de teste ou ambientes de\u00a0staging\u00a0expostos;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>bloquear recursos irrelevantes<\/strong>\u00a0para indexa\u00e7\u00e3o, como scripts espec\u00edficos ou arquivos tempor\u00e1rios;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>apontar o\u00a0sitemap<\/strong>\u00a0para facilitar a descoberta de URLs importantes;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>ajudar na\u00a0<strong>gest\u00e3o de crawl\u00a0budget<\/strong>, especialmente em projetos grandes.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Em estruturas mais complexas,&nbsp;como aquelas&nbsp;hospedadas em&nbsp;<strong>Servidor VPS<\/strong>&nbsp;ou&nbsp;<strong>Servidor Dedicado<\/strong>,&nbsp;por exemplo,&nbsp;o robots.txt \u00e9 ainda mais estrat\u00e9gico. Muitas vezes voc\u00ea tem \u00e1reas separadas por subdiret\u00f3rios ou subdom\u00ednios, com diferentes responsabilidades (aplica\u00e7\u00e3o, \u00e1rea administrativa,&nbsp;API, etc.). Com um arquivo bem definido, voc\u00ea evita que os&nbsp;bots&nbsp;\u201cse percam\u201d em partes irrelevantes da aplica\u00e7\u00e3o.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Vale lembrar: o robots.txt n\u00e3o \u00e9 o \u00fanico elemento de&nbsp;<strong>SEO t\u00e9cnico<\/strong>, mas \u00e9 uma pe\u00e7a importante, complementando uma boa arquitetura de informa\u00e7\u00f5es, uso adequado de meta&nbsp;tags, performance e outras boas pr\u00e1ticas abordadas em guias como o&nbsp;<a href=\"https:\/\/www.locaweb.com.br\/blog\/temas\/marketing-e-seo\/seo-tecnico-o-guia-definitivo\/\" target=\"_blank\" rel=\"noreferrer noopener\"><strong>guia definitivo de SEO t\u00e9cnico<\/strong>&nbsp;<\/a>.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Quais protocolos s\u00e3o usados em um arquivo robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O robots.txt se baseia principalmente no&nbsp;<strong>Protocolo de Exclus\u00e3o de Rob\u00f4s<\/strong>&nbsp;(<strong>Robots&nbsp;Exclusion&nbsp;Protocol<\/strong>). Ele define um conjunto simples de&nbsp;<strong>diretivas<\/strong>&nbsp;que os&nbsp;bots&nbsp;devem ler e respeitar ao rastrear um dom\u00ednio.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Entre as regras e diretrizes que fazem parte desse protocolo (ou s\u00e3o de uso comum e de fato adotadas pelos buscadores) est\u00e3o:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>User-agent<\/strong>:\u00a0especifica\u00a0para qual rob\u00f4 as regras se aplicam;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Disallow<\/strong>: informa quais caminhos o\u00a0bot\u00a0<strong>n\u00e3o deve rastrear<\/strong>;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Allow<\/strong>: (usado por alguns buscadores)\u00a0especifica\u00a0caminhos que podem ser rastreados, mesmo dentro de \u00e1reas com\u00a0Disallow\u00a0mais amplo;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Crawl-delay<\/strong>: tempo de espera entre requisi\u00e7\u00f5es (n\u00e3o \u00e9 suportado por todos os\u00a0bots);\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Sitemap<\/strong>: diretiva usada para apontar o(s)\u00a0sitemap(s) do site.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Embora o protocolo tenha surgido como um padr\u00e3o informal, muitos buscadores importantes implementaram suporte a ele, com pequenas varia\u00e7\u00f5es. Por isso, \u00e9 importante consultar a documenta\u00e7\u00e3o de cada ferramenta ao lidar com configura\u00e7\u00f5es avan\u00e7adas, principalmente em aplica\u00e7\u00f5es grandes rodando em&nbsp;<strong>Cloud&nbsp;Computing<\/strong>, onde o volume de URLs e requisi\u00e7\u00f5es \u00e9 muito maior.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Como criar um arquivo robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Criar um arquivo&nbsp;<strong>robots.txt<\/strong>&nbsp;\u00e9 simples, mas exige aten\u00e7\u00e3o para n\u00e3o bloquear o que n\u00e3o deveria ser bloqueado. Na pr\u00e1tica, voc\u00ea precisa de um&nbsp;<strong>editor de texto<\/strong>, acesso ao diret\u00f3rio raiz do seu site&nbsp;e alguns testes b\u00e1sicos.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A seguir, um passo a passo pr\u00e1tico para criar o arquivo do zero e coloc\u00e1-lo em produ\u00e7\u00e3o.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Passo 1: Planejar o que ser\u00e1 liberado ou bloqueado<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Antes de escrever qualquer linha, fa\u00e7a um&nbsp;<strong>invent\u00e1rio<\/strong>&nbsp;das \u00e1reas do seu site:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Quais diret\u00f3rios precisam ser rastreados e indexados?\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Quais caminhos s\u00e3o apenas administrativos ou de testes?\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Existem ambientes de\u00a0staging\u00a0ou pr\u00e9-produ\u00e7\u00e3o expostos?\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>H\u00e1 recursos que n\u00e3o fazem sentido para os\u00a0bots\u00a0(arquivos tempor\u00e1rios, scripts espec\u00edficos)?\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Esse mapeamento evita erros como bloquear a pasta onde est\u00e3o os arquivos principais do site (por exemplo,&nbsp;\/public&nbsp;ou&nbsp;\/content) ou liberar diret\u00f3rios que n\u00e3o deveriam ser expostos.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Passo 2: Criar o arquivo de texto robots.txt<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Abra um&nbsp;<strong>editor de texto simples<\/strong>&nbsp;(como&nbsp;Notepad, VS&nbsp;Code&nbsp;ou outro de sua prefer\u00eancia).&nbsp;Crie um novo&nbsp;arquivo e salve com o nome&nbsp;<strong>robots.txt<\/strong>. Certifique-se de que ele seja salvo como&nbsp;<strong>texto simples<\/strong>&nbsp;e n\u00e3o como documento de texto formatado (nada de .docx, .odt, etc.).&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Em seguida, comece com uma configura\u00e7\u00e3o b\u00e1sica, por exemplo:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sitemap:&nbsp;<a href=\"https:\/\/seudominio.com\/sitemap.xml\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/sitemap.xml<\/a>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nesse exemplo, o arquivo permite que&nbsp;<strong>todos os&nbsp;bots<\/strong>&nbsp;(User-agent: *) rastreiem todo o site (Disallow:&nbsp;vazio) e informa onde est\u00e1 o&nbsp;<strong>sitemap<\/strong>.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Passo 3: Adicionar regras espec\u00edficas para&nbsp;bots&nbsp;e diret\u00f3rios<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Com a base criada, voc\u00ea pode adicionar&nbsp;<strong>regras personalizadas<\/strong>, por exemplo, bloqueando uma \u00e1rea administrativa:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/admin\/&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/tmp\/&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sitemap:&nbsp;<a href=\"https:\/\/seudominio.com\/sitemap.xml\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/sitemap.xml<\/a>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se quiser criar regras s\u00f3 para um determinado rob\u00f4 (como o&nbsp;Googlebot), defina um bloco pr\u00f3prio:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent:&nbsp;Googlebot&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/area-teste\/&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Essa granularidade \u00e9 especialmente \u00fatil em aplica\u00e7\u00f5es hospedadas em&nbsp;<strong>Servidores VPS<\/strong>&nbsp;ou&nbsp;<strong>Servidores Dedicados<\/strong>, onde voc\u00ea tem m\u00faltiplos contextos de aplica\u00e7\u00e3o sob o mesmo dom\u00ednio ou subdom\u00ednios.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Passo 4: Enviar o arquivo para a pasta raiz do servidor<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Depois de salvar o arquivo, fa\u00e7a o upload para a&nbsp;<strong>pasta raiz do site<\/strong>&nbsp;em seu ambiente de hospedagem. Em uma&nbsp;<strong>Hospedagem de Site<\/strong>, normalmente \u00e9 o diret\u00f3rio&nbsp;public_html&nbsp;ou equivalente. Em&nbsp;<strong>Locaweb Cloud<\/strong>,&nbsp;<strong>Cloud&nbsp;Computing<\/strong>,&nbsp;<strong>Servidor VPS<\/strong>&nbsp;ou&nbsp;<strong>Servidor Dedicado<\/strong>, o caminho pode variar, mas o objetivo \u00e9 o mesmo: o arquivo precisa estar acess\u00edvel em&nbsp;<a href=\"https:\/\/seudominio.com\/robots.txt\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/robots.txt<\/a>.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Use FTP, SFTP, painel de controle da hospedagem ou pipeline de&nbsp;deploy&nbsp;(CI\/CD) para subir o arquivo. Em ambientes automatizados, voc\u00ea pode incluir o robots.txt no pr\u00f3prio reposit\u00f3rio do projeto, garantindo que ele fa\u00e7a parte do fluxo de&nbsp;deploy.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Passo 5: Testar o arquivo robots.txt<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Depois do upload, acesse&nbsp;<a href=\"https:\/\/seudominio.com\/robots.txt\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/robots.txt<\/a>&nbsp;pelo navegador e confirme se o conte\u00fado est\u00e1 correto. Em seguida, use ferramentas de valida\u00e7\u00e3o \u2014 como o teste de&nbsp;<strong>robots.txt<\/strong>&nbsp;dispon\u00edvel no&nbsp;<strong>Google Search Console<\/strong>&nbsp;\u2014 para verificar:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>se a sintaxe est\u00e1 correta;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>se as URLs que voc\u00ea quer bloquear realmente est\u00e3o bloqueadas;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>se p\u00e1ginas importantes continuam acess\u00edveis aos\u00a0bots.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Fazer esses testes \u00e9 fundamental para n\u00e3o prejudicar a visibilidade do site em mecanismos de busca, algo essencial para tirar proveito de&nbsp;<strong>boas pr\u00e1ticas de SEO para&nbsp;conte\u00fados<\/strong>, como as descritas neste guia de&nbsp;<a href=\"https:\/\/www.locaweb.com.br\/blog\/temas\/marketing-e-seo\/boas-praticas-de-seo-para-conteudos\/\" target=\"_blank\" rel=\"noreferrer noopener\"><strong>boas pr\u00e1ticas de SEO para conte\u00fados<\/strong>&nbsp;<\/a>.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>O que significa &#8220;User-agent&#8221; em um arquivo robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">A diretiva&nbsp;<strong>User-agent<\/strong>&nbsp;define para&nbsp;<strong>qual rob\u00f4<\/strong>&nbsp;(crawler) um conjunto de regras se aplica. Cada bloco de regras em um robots.txt come\u00e7a com um&nbsp;User-agent, seguido das instru\u00e7\u00f5es (como&nbsp;Disallow,&nbsp;Allow&nbsp;e outras).&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Exemplos de&nbsp;user-agents&nbsp;comuns:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Googlebot<\/strong>\u00a0\u2013 rob\u00f4 de rastreamento do Google;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Bingbot<\/strong>\u00a0\u2013 rob\u00f4 de rastreamento do Bing;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Googlebot-Image<\/strong>\u00a0\u2013 rob\u00f4 focado em imagens do Google;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>*<\/strong>\u00a0\u2013 coringa que significa \u201ctodos os\u00a0bots\u201d.\u00a08<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Ao usar&nbsp;User-agent: *, voc\u00ea diz que aquelas regras se aplicam a todos os rob\u00f4s que visitarem o site. Quando usa um nome espec\u00edfico, direciona regras apenas para aquele agente. Isso permite, por exemplo, tratar um&nbsp;bot&nbsp;mais agressivo com mais restri\u00e7\u00f5es e dar mais liberdade para outros.&nbsp;<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img decoding=\"async\" width=\"812\" height=\"500\" src=\"https:\/\/www.locaweb.com.br\/blog\/wp-content\/uploads\/2025\/12\/robots-txt-capa-min.jpg\" alt=\"A imagem retrata uma m\u00e3o rob\u00f3tica gigante apontando para frente, com uma pessoa em p\u00e9 sobre o dedo indicador, cercada por janelas flutuantes de interface digital em tons suaves de rosa, dourado e lil\u00e1s. A cena simboliza a colabora\u00e7\u00e3o entre tecnologia e humanidade, destacando o papel da IA e da automa\u00e7\u00e3o no suporte \u00e0 tomada de decis\u00f5es e na cria\u00e7\u00e3o de experi\u00eancias digitais inteligentes. O contraste entre o tamanho da m\u00e3o rob\u00f3tica e a figura humana refor\u00e7a a ideia de escala e poder tecnol\u00f3gico, enquanto as janelas flutuantes remetem \u00e0 intera\u00e7\u00e3o entre dados, interfaces e inova\u00e7\u00e3o em um cen\u00e1rio futurista e criativo.\u00a0\" class=\"wp-image-54305\" srcset=\"https:\/\/www.locaweb.com.br\/blog\/wp-content\/uploads\/2025\/12\/robots-txt-capa-min.jpg 812w, https:\/\/www.locaweb.com.br\/blog\/wp-content\/uploads\/2025\/12\/robots-txt-capa-min-500x308.jpg 500w, https:\/\/www.locaweb.com.br\/blog\/wp-content\/uploads\/2025\/12\/robots-txt-capa-min-768x473.jpg 768w, https:\/\/www.locaweb.com.br\/blog\/wp-content\/uploads\/2025\/12\/robots-txt-capa-min-150x92.jpg 150w\" sizes=\"(max-width: 812px) 100vw, 812px\" \/><figcaption class=\"wp-element-caption\">A conex\u00e3o entre humanos e intelig\u00eancia artificial moldando o futuro digital.\u00a0(Fonte: Getty Images\/Reprodu\u00e7\u00e3o)<\/figcaption><\/figure>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\"><strong>O que \u00e9 o comando&nbsp;Disallow&nbsp;no robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O comando&nbsp;<strong>Disallow<\/strong>&nbsp;\u00e9 uma das diretivas mais importantes do robots.txt. Ele indica&nbsp;<strong>quais caminhos o rob\u00f4 n\u00e3o deve rastrear<\/strong>. Cada linha com&nbsp;Disallow:&nbsp;corresponde a um&nbsp;<strong>prefixo de URL<\/strong>&nbsp;que n\u00e3o deve ser acessado pelou&nbsp;user-agent&nbsp;em quest\u00e3o.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Exemplo simples:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/admin\/&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nesse caso, todos os&nbsp;bots&nbsp;s\u00e3o instru\u00eddos a n\u00e3o rastrear qualquer URL que comece com&nbsp;\/admin\/. Isso \u00e9 \u00fatil em ambientes de&nbsp;<strong>Servidor VPS<\/strong>&nbsp;ou&nbsp;<strong>Locaweb Cloud<\/strong>&nbsp;em que a \u00e1rea administrativa est\u00e1 sob um caminho previs\u00edvel e n\u00e3o deve ser explorada pelos&nbsp;crawlers.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Como funcionam os comandos &#8220;Disallow&#8221; em um arquivo robots.txt?<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Os comandos&nbsp;<strong>Disallow<\/strong>&nbsp;funcionam por&nbsp;<strong>correspond\u00eancia de prefixo<\/strong>. Ou seja, se voc\u00ea especificar&nbsp;Disallow: \/privado, qualquer URL que comece com&nbsp;\/privado&nbsp;ser\u00e1 afetada, como&nbsp;\/privado\/relatorios&nbsp;ou&nbsp;\/privado\/config.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Algumas boas pr\u00e1ticas ao usar&nbsp;Disallow:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>evitar bloquear recursos essenciais (CSS, JS, imagens) que impactem a renderiza\u00e7\u00e3o;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>n\u00e3o usar robots.txt como mecanismo de seguran\u00e7a ou privacidade;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>testar as regras em ferramentas de inspe\u00e7\u00e3o antes de public\u00e1-las em produ\u00e7\u00e3o.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Bloquear um arquivo<\/strong>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para bloquear um&nbsp;<strong>arquivo espec\u00edfico<\/strong>, voc\u00ea pode usar:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/docs\/relatorio-interno.pdf&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Assim, os&nbsp;bots&nbsp;s\u00e3o orientados a n\u00e3o rastrear esse PDF. Lembre-se, por\u00e9m, de que se algu\u00e9m tiver o link e apontar para ele em outro site, o arquivo pode ser&nbsp;<strong>referenciado<\/strong>&nbsp;pelo buscador, mesmo que o conte\u00fado n\u00e3o seja rastreado.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Bloquear um diret\u00f3rio<\/strong>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para bloquear um&nbsp;<strong>diret\u00f3rio inteiro<\/strong>, basta indicar o caminho com barra no final:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/area-interna\/&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Isso impede que&nbsp;bots&nbsp;rastreiem qualquer recurso sob&nbsp;\/area-interna\/. Essa abordagem \u00e9 comum em estruturas de aplicativos&nbsp;com m\u00faltiplos m\u00f3dulos.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Permitir acesso total<\/strong>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para permitir&nbsp;<strong>acesso total<\/strong>&nbsp;ao site, voc\u00ea pode deixar a diretiva&nbsp;Disallow&nbsp;vazia:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Isso indica que n\u00e3o h\u00e1 caminhos proibidos para o&nbsp;user-agent. Em muitos sites menores, essa configura\u00e7\u00e3o \u00e9 suficiente, desde que combinada com outras boas pr\u00e1ticas de&nbsp;<strong>SEO<\/strong>&nbsp;como performance, conte\u00fado de qualidade e usabilidade.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Ocultar todo o site para os&nbsp;bots<\/strong>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Em casos espec\u00edficos (como ambientes de&nbsp;<strong>staging<\/strong>&nbsp;ou sites em desenvolvimento vis\u00edveis na internet), voc\u00ea pode desejar&nbsp;<strong>bloquear todo o site<\/strong>:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Essa configura\u00e7\u00e3o diz para os&nbsp;bots&nbsp;que nenhum caminho deve ser rastreado. \u00c9 muito \u00fatil em ambientes tempor\u00e1rios, mas deve ser usada com cuidado em produ\u00e7\u00e3o: um erro aqui pode tirar um site inteiro dos resultados de busca.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Que outros comandos fazem parte do Protocolo de Exclus\u00e3o de Rob\u00f4s?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Al\u00e9m de&nbsp;<strong>User-agent<\/strong>&nbsp;e&nbsp;<strong>Disallow<\/strong>, outros comandos e diretivas s\u00e3o usados no contexto do Protocolo de Exclus\u00e3o de Rob\u00f4s:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Allow<\/strong>: permite explicitamente o acesso a um caminho, mesmo que um diret\u00f3rio mais amplo esteja bloqueado. Exemplo:\u00a0<br>User-agent: *\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow: \/privado\/&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Allow: \/privado\/manual-publico.pdf&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Crawl-delay<\/strong>: define um intervalo em segundos entre requisi\u00e7\u00f5es para evitar sobrecarga no servidor (n\u00e3o \u00e9 suportado por todos os buscadores):\u00a0<br>User-agent: *\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Crawl-delay: 10&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Sitemap<\/strong>: indica a URL do\u00a0<strong>sitemap\u00a0XML<\/strong>, facilitando a descoberta de p\u00e1ginas importantes:\u00a0<br>Sitemap:\u00a0<a href=\"https:\/\/seudominio.com\/sitemap.xml\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/sitemap.xml<\/a>\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Nem todas as diretivas s\u00e3o padronizadas da mesma forma entre todos os&nbsp;bots, por isso \u00e9 importante verificar a documenta\u00e7\u00e3o espec\u00edfica de cada buscador \u2014 especialmente quando o site recebe alto volume de tr\u00e1fego em uma infraestrutura robusta como&nbsp;<strong>Servidor Dedicado<\/strong>&nbsp;ou&nbsp;<strong>Locaweb Cloud<\/strong>.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Quais s\u00e3o as limita\u00e7\u00f5es de um arquivo robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Embora seja muito \u00fatil, o&nbsp;<strong>robots.txt<\/strong>&nbsp;tem limita\u00e7\u00f5es importantes que toda pessoa desenvolvedora precisa conhecer:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>N\u00e3o \u00e9 mecanismo de seguran\u00e7a<\/strong>: o arquivo \u00e9 p\u00fablico; qualquer pessoa pode v\u00ea-lo. N\u00e3o use robots.txt para \u201cesconder\u201d informa\u00e7\u00f5es sens\u00edveis. Para proteger dados, use autentica\u00e7\u00e3o,\u00a0ACLs,\u00a0VPN, etc.\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Pode ser ignorado por\u00a0bots\u00a0maliciosos<\/strong>: o protocolo \u00e9 respeitado por buscadores leg\u00edtimos (Google,\u00a0Bing, etc.), mas\u00a0<strong>bots\u00a0mal-intencionados<\/strong>\u00a0podem ignor\u00e1-lo totalmente.\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>N\u00e3o impede indexa\u00e7\u00e3o de URLs j\u00e1 conhecidas<\/strong>: se uma URL foi descoberta por links externos, ela pode aparecer nos resultados de busca mesmo com\u00a0Disallow, embora o conte\u00fado em si possa n\u00e3o ser rastreado.\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Depende da interpreta\u00e7\u00e3o do buscador<\/strong>: cada ferramenta pode implementar varia\u00e7\u00f5es na forma de interpretar certas diretivas (como\u00a0Crawl-delay).\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">\u00c9 por isso que, al\u00e9m de um bom robots.txt, \u00e9 fundamental contar com uma&nbsp;<strong>infraestrutura segura<\/strong>&nbsp;(como ambientes de&nbsp;<strong>Cloud&nbsp;Computing<\/strong>&nbsp;bem configurados), pol\u00edticas de acesso bem definidas e pr\u00e1ticas s\u00f3lidas de desenvolvimento seguro.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>O que \u00e9&nbsp;sitemap?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Um&nbsp;<strong>sitemap<\/strong>&nbsp;(geralmente em formato XML) \u00e9 um arquivo que lista as&nbsp;<strong>URLs importantes<\/strong>&nbsp;do seu site, ajudando os mecanismos de busca a&nbsp;entender&nbsp;a estrutura e descobrir p\u00e1ginas que talvez n\u00e3o sejam facilmente alcan\u00e7\u00e1veis por links internos.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Em termos de&nbsp;<strong>SEO t\u00e9cnico<\/strong>, o&nbsp;sitemap&nbsp;\u00e9 uma ferramenta fundamental para garantir que o conte\u00fado relevante seja encontrado, especialmente em sites grandes, com muitas se\u00e7\u00f5es,&nbsp;pag&nbsp;pagina\u00e7\u00f5es ou conte\u00fados gerados dinamicamente.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Por que&nbsp;sitemaps&nbsp;s\u00e3o inclu\u00eddos no robots.txt?<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Incluir a diretiva&nbsp;<strong>Sitemap<\/strong>&nbsp;no arquivo robots.txt \u00e9 uma maneira simples e eficaz de&nbsp;<strong>apontar o&nbsp;sitemap<\/strong>&nbsp;para qualquer rob\u00f4 que visite o site. Como os&nbsp;bots&nbsp;costumam acessar primeiro o robots.txt, essa \u00e9 uma forma direta de dizer: \u201caqui est\u00e1 a lista oficial das minhas p\u00e1ginas importantes\u201d.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Exemplo comum:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: *&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Disallow:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sitemap:&nbsp;<a href=\"https:\/\/seudominio.com\/sitemap.xml\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/sitemap.xml<\/a>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Essa pr\u00e1tica complementa o envio manual do&nbsp;sitemap&nbsp;em ferramentas como o&nbsp;<strong>Google Search Console<\/strong>&nbsp;e \u00e9 especialmente \u00fatil em sites&nbsp;com m\u00faltiplas se\u00e7\u00f5es e conte\u00fados din\u00e2micos.&nbsp;<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe title=\"SEO On-page e SEO Off-page: aprenda as diferen\u00e7as entre os conceitos | Locaweb\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/ihfF0pb4GC8?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Como o robots.txt afeta a otimiza\u00e7\u00e3o da SEO?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O robots.txt impacta o&nbsp;<strong>SEO<\/strong>&nbsp;principalmente ao controlar o&nbsp;<strong>rastreamento<\/strong>. Ele ajuda os buscadores a gastarem o&nbsp;<strong>crawl&nbsp;budget<\/strong>&nbsp;nas URLs que realmente importam, evitando que o rob\u00f4 perca tempo em:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>p\u00e1ginas de filtro ou busca interna;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u00e1reas internas sem valor para o usu\u00e1rio final;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>conte\u00fados duplicados ou vers\u00f5es de teste.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Quando bem configurado, o robots.txt:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>melhora a efici\u00eancia<\/strong>\u00a0do rastreamento;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>ajuda a manter o\u00a0<strong>\u00edndice focado<\/strong>\u00a0em p\u00e1ginas relevantes;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>contribui para uma estrat\u00e9gia de\u00a0<strong>SEO t\u00e9cnico<\/strong>\u00a0bem estruturada.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">No entanto, um robots.txt mal configurado pode bloquear se\u00e7\u00f5es inteiras que deveriam ser indexadas, prejudicando a visibilidade do site. Por isso, ele precisa estar alinhado a uma vis\u00e3o ampla de SEO, incluindo&nbsp;<strong>conte\u00fado de qualidade<\/strong>&nbsp;e otimiza\u00e7\u00e3o&nbsp;on-page.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Em sites hospedados em&nbsp;<strong>Hospedagem de Site<\/strong>,&nbsp;<strong>Locaweb Cloud<\/strong>&nbsp;ou ambientes de&nbsp;<strong>Cloud&nbsp;Computing<\/strong>&nbsp;de alta escala, esse cuidado \u00e9 ainda mais importante, j\u00e1 que o n\u00famero de URLs e o volume de acessos costumam ser maiores.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Como atualizar um arquivo robots.txt?<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Atualizar o&nbsp;<strong>robots.txt<\/strong>&nbsp;\u00e9 um processo relativamente simples, mas que deve ser feito com cuidado, principalmente em sites em produ\u00e7\u00e3o. O fluxo geral \u00e9:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>editar<\/strong>\u00a0o arquivo localmente;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>substituir<\/strong>\u00a0o arquivo no servidor;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>testar<\/strong>\u00a0a nova configura\u00e7\u00e3o;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>considerar\u00a0<strong>cache<\/strong>\u00a0e propaga\u00e7\u00e3o;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>validar<\/strong>\u00a0em ferramentas como Google Search Console.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Passos recomendados:&nbsp;<\/p>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li>Fa\u00e7a uma\u00a0<strong>c\u00f3pia de backup<\/strong>\u00a0do robots.txt atual antes de qualquer altera\u00e7\u00e3o.\u00a0<\/li>\n<\/ol>\n\n\n\n<ol start=\"2\" class=\"wp-block-list\">\n<li>Edite o arquivo localmente (em seu editor) ou via painel da sua\u00a0<strong>Hospedagem de Site<\/strong>\/<strong>Servidor VPS<\/strong>\/<strong>Servidor Dedicado<\/strong>.\u00a0<\/li>\n<\/ol>\n\n\n\n<ol start=\"3\" class=\"wp-block-list\">\n<li>Salve e suba a nova vers\u00e3o para a pasta raiz do site.\u00a0<\/li>\n<\/ol>\n\n\n\n<ol start=\"4\" class=\"wp-block-list\">\n<li>Acesse\u00a0\/robots.txt\u00a0no navegador para verificar se o conte\u00fado est\u00e1 correto.\u00a0<\/li>\n<\/ol>\n\n\n\n<ol start=\"5\" class=\"wp-block-list\">\n<li>Use ferramentas de teste (como o\u00a0<strong>tester\u00a0de\u00a0robots<\/strong>\u00a0no Google Search Console) para validar as regras em URLs espec\u00edficas.\u00a0<\/li>\n<\/ol>\n\n\n\n<ol start=\"6\" class=\"wp-block-list\">\n<li>Monitore os logs de acesso e relat\u00f3rios de rastreamento para ver se os\u00a0bots\u00a0est\u00e3o se comportando como esperado.\u00a0<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Em aplica\u00e7\u00f5es com&nbsp;deploy&nbsp;automatizado,&nbsp;\u00e9 uma boa pr\u00e1tica&nbsp;versionar&nbsp;o robots.txt junto com o c\u00f3digo, revisando altera\u00e7\u00f5es por meio de&nbsp;pull&nbsp;requests&nbsp;e garantindo que qualquer mudan\u00e7a seja audit\u00e1vel.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Conclus\u00e3o<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O&nbsp;<strong>robots.txt<\/strong>&nbsp;pode parecer um simples arquivo de texto, mas, na pr\u00e1tica, \u00e9 uma pe\u00e7a-chave na comunica\u00e7\u00e3o entre o seu site e os&nbsp;<strong>motores de busca<\/strong>. Ele orienta como os&nbsp;<strong>bots<\/strong>&nbsp;devem rastrear seu conte\u00fado, ajuda a evitar desperd\u00edcio de&nbsp;<strong>crawl&nbsp;budget<\/strong>&nbsp;e complementa uma estrat\u00e9gia s\u00f3lida de&nbsp;<strong>SEO t\u00e9cnico<\/strong>.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Como pessoa desenvolvedora, \u00e9 importante enxergar o robots.txt como parte da&nbsp;<strong>arquitetura da aplica\u00e7\u00e3o<\/strong>: ele convive com o&nbsp;c\u00f3digo&nbsp;e&nbsp;com a infraestrutura onde o site est\u00e1&nbsp;hospedado.O&nbsp;pr\u00f3ximo passo \u00e9 revisar seus projetos atuais: verifique se existe um robots.txt, se ele est\u00e1 na&nbsp;<strong>raiz do dom\u00ednio<\/strong>, se as regras fazem sentido para a estrat\u00e9gia de SEO e se o&nbsp;<strong>sitemap<\/strong>&nbsp;est\u00e1 devidamente referenciado. Se ainda n\u00e3o existir, crie o arquivo, publique em seu ambiente de&nbsp;<a href=\"https:\/\/www.locaweb.com.br\/hospedagem-de-sites-com-dominio-gratis\/\" target=\"_blank\" rel=\"noreferrer noopener\"><strong>Hospedagem de Site<\/strong><\/a>&nbsp;ou&nbsp;<a href=\"https:\/\/www.locaweb.com.br\/locaweb-cloud\/\" target=\"_blank\" rel=\"noreferrer noopener\"><strong>Locaweb Cloud<\/strong><\/a>&nbsp;e&nbsp;teste as configura\u00e7\u00f5es. Com pequenos ajustes, voc\u00ea pode melhorar a forma como seu site \u00e9 rastreado e indexado \u2014 e, consequentemente, potencializar seus resultados org\u00e2nicos.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Em resumo: use o robots.txt como um aliado. Combine-o com conte\u00fado de qualidade,&nbsp;<strong>SEO t\u00e9cnico<\/strong>&nbsp;bem planejado e uma infraestrutura confi\u00e1vel em&nbsp;<strong>Cloud&nbsp;Computing<\/strong>. Assim, voc\u00ea ter\u00e1 controle, seguran\u00e7a e desempenho para fazer seus projetos crescerem com base s\u00f3lida, da camada de aplica\u00e7\u00e3o ao n\u00edvel de indexa\u00e7\u00e3o nos buscadores.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Perguntas frequentes sobre robots.txt<\/strong>&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Para fechar, veja respostas diretas para d\u00favidas comuns sobre o uso de&nbsp;<strong>robots.txt<\/strong>&nbsp;em estrat\u00e9gias de SEO t\u00e9cnico e infraestrutura de sites.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>O que \u00e9 um arquivo robots.txt personalizado?<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Um&nbsp;<strong>robots.txt personalizado<\/strong>&nbsp;\u00e9 um arquivo em que voc\u00ea define regras espec\u00edficas para diferentes&nbsp;<strong>user-agents<\/strong>, diret\u00f3rios e situa\u00e7\u00f5es do seu site, em vez de usar apenas um modelo gen\u00e9rico. Por exemplo, voc\u00ea pode bloquear diret\u00f3rios de teste, liberar apenas certas se\u00e7\u00f5es para todos os&nbsp;bots&nbsp;e criar instru\u00e7\u00f5es espec\u00edficas para&nbsp;Googlebot&nbsp;ou outros rastreadores.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Em projetos hospedados em&nbsp;<strong>Hospedagem de Site<\/strong>,&nbsp;<strong>Locaweb Cloud<\/strong>,&nbsp;<strong>Servidor VPS<\/strong>&nbsp;ou&nbsp;<strong>Servidor Dedicado<\/strong>, isso \u00e9 importante para adaptar as regras de acordo com a estrutura real da aplica\u00e7\u00e3o e os objetivos de SEO.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Qual \u00e9 a fun\u00e7\u00e3o do arquivo robots.txt em uma estrat\u00e9gia de SEO t\u00e9cnico?<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Dentro de uma estrat\u00e9gia de&nbsp;<strong>SEO t\u00e9cnico<\/strong>, o robots.txt tem a fun\u00e7\u00e3o de&nbsp;<strong>orientar o rastreamento<\/strong>&nbsp;dos&nbsp;bots. Ele ajuda a:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>bloquear \u00e1reas irrelevantes para indexa\u00e7\u00e3o;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>focar o crawl\u00a0budget\u00a0em p\u00e1ginas importantes;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>apontar o\u00a0<strong>sitemap<\/strong>\u00a0para facilitar a descoberta de URLs;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>evitar exposi\u00e7\u00e3o de ambientes de teste e \u00e1reas internas.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Ele trabalha em conjunto com outras pr\u00e1ticas, como otimiza\u00e7\u00e3o de conte\u00fado, performance, estrutura de links internos e arquitetura da informa\u00e7\u00e3o \u2014&nbsp;todas presentes&nbsp;em um bom plano de&nbsp;<strong>SEO.<\/strong>&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Onde o arquivo robots.txt deve ser colocado?<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">O arquivo&nbsp;<strong>robots.txt<\/strong>&nbsp;deve ser colocado sempre na&nbsp;<strong>raiz do dom\u00ednio<\/strong>. Ou seja, ele precisa estar dispon\u00edvel em uma URL como:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/seudominio.com\/robots.txt\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/seudominio.com\/robots.txt<\/a>\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Isso significa que, no seu ambiente, o arquivo deve ficar no diret\u00f3rio p\u00fablico principal, geralmente o mesmo em que o arquivo inicial do site (como&nbsp;index.html&nbsp;ou&nbsp;index.php) est\u00e1 localizado.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>O arquivo robots.txt bloqueia a indexa\u00e7\u00e3o?<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">O robots.txt&nbsp;<strong>bloqueia o rastreamento<\/strong>&nbsp;de determinadas URLs, mas n\u00e3o garante, por si s\u00f3, a&nbsp;<strong>n\u00e3o indexa\u00e7\u00e3o<\/strong>&nbsp;delas. Se uma p\u00e1gina for apontada por links externos, o buscador pode inclui-la no \u00edndice com informa\u00e7\u00f5es limitadas (como a pr\u00f3pria URL), mesmo que o conte\u00fado n\u00e3o seja rastreado.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para controlar indexa\u00e7\u00e3o, \u00e9 mais adequado usar&nbsp;<strong>meta&nbsp;tags<\/strong>&nbsp;(como&nbsp;&lt;meta&nbsp;name=&#8221;robots&#8221;&nbsp;content=&#8221;noindex&#8221;&gt;) ou cabe\u00e7alhos HTTP. O robots.txt deve ser visto como uma camada de controle de rastreamento, e n\u00e3o como mecanismo absoluto de privacidade ou desindexa\u00e7\u00e3o.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Todos os sites precisam de um robots.txt?<\/strong>&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>N\u00e3o \u00e9 obrigat\u00f3rio<\/strong>&nbsp;que todo site tenha um robots.txt. Se o arquivo n\u00e3o existir, os&nbsp;bots&nbsp;geralmente assumem que todo o site pode ser rastreado. Por\u00e9m, ter um robots.txt \u00e9 uma boa pr\u00e1tica, mesmo que seja um arquivo simples, pois:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>permite indicar o\u00a0<strong>sitemap<\/strong>;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>deixa expl\u00edcito que voc\u00ea conhece e utiliza o Protocolo de Exclus\u00e3o de Rob\u00f4s;\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>facilita ajustes futuros de rastreamento sem precisar criar o arquivo do zero.\u00a0<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Em sites profissionais,&nbsp;al\u00e9m de&nbsp;<a href=\"https:\/\/locaweb.com.br\/\" target=\"_blank\" rel=\"noreferrer noopener\">servi\u00e7os eficientes e confi\u00e1veis de hospedagem<\/a>, \u00e9 altamente recomendado configurar um robots.txt alinhado \u00e0 estrat\u00e9gia de SEO e \u00e0 estrutura t\u00e9cnica do projeto.&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Quando voc\u00ea publica um site&nbsp;em um ambiente, al\u00e9m do c\u00f3digo, existe um ponto fundamental de comunica\u00e7\u00e3o com os&nbsp;motores de busca: o arquivo&nbsp;robots.txt. \u00c9 ele que diz para os&nbsp;bots&nbsp;de rastreamento&nbsp;(como o&nbsp;Googlebot) quais partes do seu site podem ser acessadas e quais \u00e1reas devem ser evitadas.&nbsp; Esse arquivo faz parte do chamado&nbsp;Protocolo de Exclus\u00e3o de Rob\u00f4s&nbsp;(Robots&nbsp;Exclusion&nbsp;Protocol) e [&hellip;]<\/p>\n","protected":false},"author":24,"featured_media":54304,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[5],"tags":[],"class_list":["post-54302","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-codigo-aberto"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/posts\/54302","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/users\/24"}],"replies":[{"embeddable":true,"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/comments?post=54302"}],"version-history":[{"count":1,"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/posts\/54302\/revisions"}],"predecessor-version":[{"id":54306,"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/posts\/54302\/revisions\/54306"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/media\/54304"}],"wp:attachment":[{"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/media?parent=54302"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/categories?post=54302"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.locaweb.com.br\/blog\/wp-json\/wp\/v2\/tags?post=54302"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}