Robots.txt: entenda o rastreamento do Google AdsBot

O Robots.txt é uma importante ferramenta no rastreamento do seu site. E pequenos ajustes podem bloquear completamente o Google Bot de ler seu sitemap. Veja com a DGAZ Marketing alguns dos cuidados que você precisa ter!
Google-AdsBot

O Google fez uma sutil alteração na leitura do documento Robots.txt, influenciando diretamente nas buscas orgânicas e nos resultados do Google Ads.

O arquivo Robots.txt é essencial para indicar aos buscadores quais páginas devem ou não ser indexadas nas pesquisas. Dessa forma, fica mais fácil que futuros clientes encontrem sua empresa e os serviços que ela presta.

robots txt

O que é Robots.txt?

O Robots.txt é um arquivo de texto, que fica dentro da raiz do site e que sinaliza aos buscadores quais páginas devem (ou não)  aparecer nas buscas feitas pelos usuários. O Robots também auxilia a indexação em outros buscadores como o Bing, Yahoo, entre outros.

Para confirmar que o Robots.txt está funcionando, basta adicionar na URL do site a informação /robots.txt. Por exemplo:

meusite.com.br/robots.txt

Como é a sintaxe do Robots.txt?

A sintaxe do Robots.txt é simples e pode ser feita manualmente em um bloco de notas ou através de um site gerador. Confira alguns dos componentes essenciais que devem compor um Robots.txt. 

Este comando lista quais os buscadores que podem indexar o seu site. É muito utilizado por empresas que desejam indexar apenas em um buscador como o Google Notícias ou Google Imagens, por exemplo. Por default a criação do User-agent é feita da seguinte forma:

User-agent: *

O asterisco é utilizado para indicar que quase todos os buscadores podem encontrar o site.

Allow e Disallow

Estes dois comandos instruem aos buscadores quais diretórios ou páginas devem (allow) e não devem (disallow) ser incluídas nos resultados de busca. São escritos da seguinte forma:

Disallow: /prod/ (não indexa conteúdo dentro da pasta “prod”)

Allow: /prod/categoria (indexa o subdiretório da pasta bloqueada “prod”)

Dessa forma, o arquivo Robots.txt completo deve ser:

User-agent: *

Disallow: /prod/

Allow: /prod/categoria

Qual foi a mudança do Google para o Robots.txt?

Dentro do documento do google para webmaster, foi revelado que o uso do User-agent: * permite que o site seja encontrado por todos os buscadores, exceto aos diversos rastreadores Google AdsBot (resumindo todos os robôs menos os do Google).

Para acessar a lista completa de Adsbot clique aqui.

Para que o site seja encontrado por esses buscadores, o Robots.txt deve detalhar em quais deles o site poderá ser indexado. Acompanhe:

“O uso de um asterisco (*), corresponderá a todos os rastreadores, exceto aos diversos rastreadores Google AdsBot, que precisam ser nomeados explicitamente.”

Como utilizar o User-agent?

No arquivo Robots.txt, caso você queira que seu site permaneça aparecendo para todos os buscadores do Google, copie e cole no seu arquivo robots as seguintes liberações (sem os subtítulos):

Robots.txt | UTI das Ideias

Permite que todos os outros buscadores encontrem o site:

User-agent: *

Allow: /

Buscador do Google:

User-agent: Googlebot

Allow: /

Google Imagens:

User-agent: Googlebot-Image

Allow: /

Sites Parceiros do Google:

User-agent: Mediapartners-Google

Allow: /

Google Ads:

User-agent: Adsbot-Google

Allow: /

Google Ads para Aplicativos Mobile:

User-agent: AdsBot-Google-Mobile-Apps

Allow: /

Google Notícias:

User-agent: Googlebot-News

Allow: /

Youtube:

User-agent: Googlebot-Video

Allow: /

Google Ads Mobile:

User-agent: AdsBot-Google-Mobile

Allow: /

Guia-de-SEO-2018

Quer aprender sobre SEO? Faça download do nosso Guia!

No Guia de SEO você encontrará todas as boas práticas para otimizar seu site e ranquear suas páginas no Google!

DGAZ - Agência Especializada em Marketing Digital

DGAZ - Agência Especializada em Marketing Digital

A DGAZ é uma Agência focada em Marketing Digital. Somos uma Especialistas em SEO e Google Ads Partner Premier, ou seja toda nossa equipe é certificada pelo Google. Nossa meta é gerar resultados para sua empresa.  Clique no link abaixo e acesse:

Confira outros artigos sobre Marketing Digital

site profissional

Motivos para ter um site profissional e seus benefícios

No atual cenário digital, a presença online tornou-se fundamental para qualquer negócio que almeja sucesso e reconhecimento. Com a crescente dependência da internet para a busca de informações, produtos e serviços, ter um site profissional deixou de ser um diferencial e passou a ser uma necessidade.

Campanhas no Google Ads saiba como otimizar seus anúncios

Campanhas no Google Ads: saiba como otimizar seus anúncios

Entre as ferramentas para conquistar destaque no espaço digital, o Google Ads é uma das mais utilizadas e importantes para qualquer estratégia. Afinal, sendo a maior ferramenta de buscas do mundo, as chances de você aumentar seu índice de conversão de visitantes do site em clientes é muito maior.

Shopping Basket