J\u00e1 se perguntou como adicionar um arquivo robots.txt ao seu site? Muitos webmasters n\u00e3o sabem disso, mas voc\u00ea realmente tem controle total sobre quem rastreia e indexa seu website, at\u00e9 mesmo p\u00e1ginas individuais. O arquivo robots.txt \u2013 tamb\u00e9m conhecido como protocolo ou padr\u00e3o de exclus\u00e3o de rob\u00f4s \u2013 \u00e9 um arquivo min\u00fasculo que faz parte de qualquer site na web. Mas a maioria das pessoas nem sequer sabe de sua exist\u00eancia.<\/p>\r\n\r\n\r\n\r\n
O arquivo robots.txt \u00e9 projetado exclusivamente para funcionar com mecanismos de busca. Mas pesquisas revelaram que este pequeno arquivo \u00e9 uma excelente fonte de “suco” de SEO esperando para ser desbloqueada e aproveitada.<\/p>\r\n\r\n\r\n\r\n
Se voc\u00ea deseja melhorar seu SEO sem se esfor\u00e7ar demais, precisa saber como adicionar um arquivo robots.txt ao seu site.<\/p>\r\n\r\n\r\n\r\n
Mas antes disso, vamos come\u00e7ar com a seguinte pergunta: o que significa o arquivo robots.txt?<\/p>\r\n\r\n\r\n\r\n
Um arquivo robots.txt refere-se a um arquivo de texto simples ou ASCII que um webmaster pode colocar em seu website. Este arquivo de texto simples reside no diret\u00f3rio raiz do seu site. Ele instrui os rob\u00f4s dos mecanismos de busca \u2013 tamb\u00e9m conhecidos como spiders \u2013 onde ou quais p\u00e1ginas rastrear em seu site e as p\u00e1ginas a ignorar ou n\u00e3o rastrear.<\/p>\r\n\r\n\r\n\r\n
Isso \u00e9 altamente essencial, caso contr\u00e1rio, todos os arquivos e p\u00e1ginas do seu site aparecer\u00e3o imediatamente nos resultados dos mecanismos de busca. \u00c9 por isso que voc\u00ea precisa aprender como criar um arquivo robot.txt. Isso lhe d\u00e1 controle total sobre como o Google, Bing, Yahoo e outros mecanismos de busca veem seu site.<\/p>\r\n\r\n\r\n\r\n
O debate ainda continua entre os gurus de SEO que afirmam que ter um arquivo robots.txt em um site pode atrair significativamente os spiders dos mecanismos de busca. Muitos deles afirmam que isso, por sua vez, levar\u00e1 a um aumento no posicionamento nos mecanismos de busca.<\/p>\r\n\r\n\r\n\r\n
Mas voc\u00ea precisa usar o arquivo robots.txt no seu diret\u00f3rio raiz, pois isso pode impulsionar significativamente o rastreamento e impactar o SEO. Para que isso ocorra, voc\u00ea precisa saber como criar um arquivo robots.txt altamente eficaz.<\/p>\r\n\r\n\r\n\r\n
Uma Breve Hist\u00f3ria do Arquivo Robots.txt<\/strong><\/p>\r\n\r\n\r\n\r\n Durante os prim\u00f3rdios da internet, engenheiros e programadores inventaram criativamente ‘spiders’ ou ‘rob\u00f4s’ para rastrear e ent\u00e3o indexar p\u00e1ginas na web. Esses rob\u00f4s eram chamados de ‘User-agents’.<\/p>\r\n\r\n\r\n\r\n Ocasionalmente, esses rob\u00f4s ou spiders encontravam p\u00e1ginas que os propriet\u00e1rios de sites n\u00e3o queriam que fossem indexadas. Por exemplo, sites privados ou aqueles em constru\u00e7\u00e3o eram indexados. Era um problema que precisava de uma solu\u00e7\u00e3o urgente.<\/p>\r\n\r\n\r\n\r\n Foi ent\u00e3o que um engenheiro holand\u00eas e criador do primeiro mecanismo de busca do mundo conhecido como Aliweb, Martijn Koster, entrou em cena. O engenheiro rapidamente prop\u00f4s um conjunto bem definido de padr\u00f5es que todo rob\u00f4 precisaria seguir rigorosamente. Foi em fevereiro de 1994 que esses padr\u00f5es foram propostos pela primeira vez.<\/p>\r\n\r\n\r\n\r\n Em 30 de junho de 1994, os primeiros pioneiros da web e v\u00e1rios autores de rob\u00f4s chegaram a um consenso sobre os padr\u00f5es propostos. Os padr\u00f5es foram ent\u00e3o adotados como REP (‘Robots Exclusion Protocol’ – Protocolo de Exclus\u00e3o de Rob\u00f4s).<\/p>\r\n\r\n\r\n\r\n O robots.txt \u00e9 uma implementa\u00e7\u00e3o criativa deste protocolo. O Protocolo de Exclus\u00e3o de Rob\u00f4s define o algoritmo ou os procedimentos que cada spider ou rastreador leg\u00edtimo deve seguir.<\/p>\r\n\r\n\r\n\r\n Se o arquivo robots.txt instruir os bots a n\u00e3o indexar uma p\u00e1gina da web espec\u00edfica, todo rob\u00f4 leg\u00edtimo \u2013 do Googlebot ao MSNbot \u2013 deve seguir a instru\u00e7\u00e3o.<\/p>\r\n\r\n\r\n\r\n Tenha em mente que alguns rob\u00f4s maliciosos \u2013 por exemplo, spyware, malware, coletores de e-mail, etc. \u2013 n\u00e3o seguir\u00e3o ou podem n\u00e3o seguir esses protocolos estabelecidos. \u00c9 por isso que voc\u00ea pode acabar vendo tr\u00e1fego de bots em p\u00e1ginas que voc\u00ea j\u00e1 bloqueou por meio do arquivo robots.txt.<\/p>\r\n\r\n\r\n\r\n Al\u00e9m disso, alguns rob\u00f4s n\u00e3o seguem os padr\u00f5es REP e n\u00e3o s\u00e3o usados para nada question\u00e1vel.<\/p>\r\n\r\n\r\n\r\n Para ver o arquivo robots.txt de qualquer site, acesse o seguinte URL:<\/p>\r\n\r\n\r\n\r\n Como o Robots.txt Funciona<\/strong><\/p>\r\n\r\n\r\n\r\n Como mencionado anteriormente, seu arquivo robots.txt informa os mecanismos de busca para rastrear as p\u00e1ginas da web do seu site rapidamente.<\/p>\r\n\r\n\r\n\r\n Os arquivos Robots.txt v\u00eam com 2 componentes principais, que s\u00e3o:<\/p>\r\n\r\n\r\n\r\n Aqui est\u00e1 algo importante a observar: para bloquear um arquivo espec\u00edfico no seu gerenciador de arquivos, voc\u00ea precisa personalizar o arquivo para que ele seja hospedado em um dos seus dom\u00ednios. Em seguida, adicione o URL do arquivo ao seu arquivo robots.txt.<\/p>\r\n\r\n\r\n\r\n Com isso esclarecido, veja como o robots.txt funciona:<\/p>\r\n\r\n\r\n\r\n Todos os mecanismos de busca t\u00eam 2 trabalhos principais:<\/p>\r\n\r\n\r\n\r\n Para rastrear sites, os mecanismos de busca seguem prontamente os links para ir de um site para outro. No final, eles rastreiam bilh\u00f5es de sites e links. Esse comportamento de rastreamento \u00e9 referido \u2013 \u00e0s vezes \u2013 como ‘spidering’.<\/p>\r\n\r\n\r\n\r\n A primeira coisa que o rastreador de busca faz assim que chega a um site \u2013 antes de rastre\u00e1-lo \u2013 \u00e9 procurar um arquivo robots.txt. Se o rastreador descobrir um, ele l\u00ea rapidamente esse arquivo robots.txt antes de continuar pela p\u00e1gina da web.<\/p>\r\n\r\n\r\n\r\n Como um arquivo robots.txt cont\u00e9m informa\u00e7\u00f5es espec\u00edficas sobre como o mecanismo de busca deve rastrear o site, s\u00e3o as informa\u00e7\u00f5es contidas nele que instruir\u00e3o a a\u00e7\u00e3o adicional do rastreador neste site espec\u00edfico.<\/p>\r\n\r\n\r\n\r\n Se o arquivo robots.txt n\u00e3o contiver nenhuma diretiva que possa impedir a atividade vital de um user-agent \u2013 ou se o site n\u00e3o tiver um arquivo robots.txt \u2013 o rastreador de busca prosseguir\u00e1 para rastrear outras informa\u00e7\u00f5es vitais no site.<\/p>\r\n\r\n\r\n\r\n Por Que o Arquivo Robots.txt \u00e9 Vitalmente Importante<\/strong><\/p>\r\n\r\n\r\n\r\n O robots.txt n\u00e3o \u00e9 realmente um documento altamente vital para qualquer site. Na verdade, seu site ainda pode ranquear e crescer impecavelmente bem sem este arquivo residindo no seu diret\u00f3rio raiz.<\/p>\r\n\r\n\r\n\r\n No entanto, usar o robots.txt traz v\u00e1rios benef\u00edcios que voc\u00ea deve aproveitar como propriet\u00e1rio de um site:<\/p>\r\n\r\n\r\n\r\n O Que Voc\u00ea Pode Ocultar com o Robots.txt?<\/strong><\/p>\r\n\r\n\r\n\r\n A esta altura, voc\u00ea j\u00e1 sabe que os arquivos robots.txt s\u00e3o geralmente usados para excluir categorias, diret\u00f3rios ou p\u00e1ginas espec\u00edficas das p\u00e1ginas de resultados dos mecanismos de busca (SERPs).<\/p>\r\n\r\n\r\n\r\n Voc\u00ea pode excluir usando a diretiva ‘Disallow’. Algumas das poucas, mas comuns, p\u00e1ginas que voc\u00ea pode ocultar usando um arquivo robots.txt incluem:<\/p>\r\n\r\n\r\n\r\n Por exemplo, digamos que voc\u00ea queira impedir o acesso a uma p\u00e1gina de ‘Agradecimento’; veja como voc\u00ea faria isso:<\/p>\r\n\r\n\r\n\r\n User-agent: *<\/p>\r\n\r\n\r\n\r\n Sitemap: https:\/\/seusite.com\/sitemap.xml<\/p>\r\n\r\n\r\n\r\n Disallow: \/videos\/<\/p>\r\n\r\n\r\n\r\n Disallow: \/agradecimento\/<\/p>\r\n\r\n\r\n\r\n Deve-se mencionar aqui que nem todos os rastreadores de mecanismos de busca seguir\u00e3o seu arquivo robots.txt. Bots maliciosos podem facilmente ou totalmente ignorar seus arquivos robots.txt. Portanto, certifique-se de n\u00e3o manter dados altamente confidenciais em p\u00e1ginas bloqueadas.<\/p>\r\n\r\n\r\n\r\n Como Adicionar um Arquivo Robots.txt ao Seu Site?<\/strong><\/p>\r\n\r\n\r\n\r\n Nesta se\u00e7\u00e3o, veremos como adicionar um arquivo robots.txt ao seu site. Os gurus de SEO sempre recomendam adicionar um arquivo robots.txt ao seu dom\u00ednio principal, bem como a todos os subdom\u00ednios do seu site.<\/p>\r\n\r\n\r\n\r\n Para adicionar um arquivo robots.txt ao seu site, voc\u00ea deve, antes de tudo, cri\u00e1-lo. Siga o processo passo a passo descrito abaixo:<\/p>\r\n\r\n\r\n\r\n Passo 1:<\/strong> Abra o Microsoft Word ou o Bloco de Notas no seu computador e certifique-se de salvar todos os arquivos como \u201crobots\u201d. Eles devem ser escritos em letras min\u00fasculas. Escolha .txt como a extens\u00e3o do tipo de arquivo, mas escolha \u2018Texto Sem Formata\u00e7\u00e3o\u2019 se voc\u00ea usar o Microsoft Word como seu editor de texto.<\/p>\r\n\r\n\r\n\r\n Passo 2:<\/strong> Em seguida, adicione estas 2 linhas de texto ao seu arquivo:<\/p>\r\n\r\n\r\n\r\n User-agent: *<\/p>\r\n\r\n\r\n\r\n Disallow:<\/p>\r\n\r\n\r\n\r\n \u2018User-agent\u2019 \u00e9 outra palavra para spiders\/rastreadores ou rob\u00f4s de mecanismos de busca. Esse asterisco (*) significa que esta linha se aplica a todos os spiders dos mecanismos de busca. Como voc\u00ea pode ver, n\u00e3o h\u00e1 nenhuma pasta ou arquivo listado na linha \u2018Disallow\u2019.<\/p>\r\n\r\n\r\n\r\n Isso implica que todos os diret\u00f3rios do seu site ser\u00e3o acessados. Este \u00e9 o arquivo robots.txt b\u00e1sico.<\/p>\r\n\r\n\r\n\r\n\r\n
\r\n
\r\n
\r\n