Meta Robots Tag ou X-Robots-Tag [noindex, nofollow] - Guia Completo

Meta Robots Tag e X-Robots-Tag [noindex, nofollow] – Guia Completo

A meta robots tag é uma das tags mais importantes de SEO para auditar em suas páginas!

Afinal, sua página está marcada com a meta tag robots “noindex”, por exemplo, não importa o quão útil, completo e prático é seu conteúdo, ele não vai aparecer no Google.

O nome parece até meio difícil mas acredite, essa meta é bem mais simples de validar e entender do que parecer.

Neste conteúdo pretendo te contar um pouco mais sobre o que é a meta tag robots, como utilizá-la e os comandos mais comuns que você pode usar para ter maior controle sobre a indexação de suas páginas no Google!

E não para por aí…

No final vou dar algumas dicas para não usar a meta tag de forma errada e em quais casos você pode aplicar cada comando.

O que é a Meta Robots Tag?

Parece mais ou menos assim:

				
					head
meta name="robots" content="noindex"
/head
				
			

As diretivas de Robots são pedaços de código – simples – adicionados ao seu site para direcionar os robôs como Google sobre como rastrear e indexar os conteúdos de seu site.

meta robots faz parte dessa diretiva e é um código HTML adicionado ao head das páginas, como mostrado acima!

Além dela, tem outra chamada Robots.txt, que é um arquivo adicionado na raíz do site para se comunicar com os robôs dos mecanismos de busca.

A diferença entre as duas é que a primeira – tema deste post – serve para controlar a indexação de seus conteúdos no Google e outros mecanismos de busca, enquanto a segunda controla o rastreamento, ou seja, quais conteúdos do site você permite os robôs acessarem.

Indexacao E o processo de identificacao do conteudo de paginas e adicao delas no indice do Google para que entao sejam classificadas na busca e aparecam nos resultados rankings

Ambas são muito confundidas, afinal, tem um nome parecido e propósitos similares. Mas não se engane, suas funcionalidades são totalmente diferentes.

arquivo robots.txt pode sim impedir que uma URL seja indexada pelo simples fato de o Google não consegue acessar o conteúdo dela, mas isso não quer dizer que ela está bloqueada de aparecer nos resultados. 

Caso tenha um link no site para ela, por exemplo, ela pode ser indexada “sem querer”.

O objetivo do arquivo é impedir que o Google gaste tempo em páginas inúteis de seu site, para evitar problemas no rastreamento e deixar que ele foque no que importa!

Já a meta tag robots controla diretamente como e se a sua página aparece nos resultados de busca.

Como assim “como” e “se”?

Como

Pela meta robots você pode, por exemplo, controlar o tamanho que o Google deve exibir suas imagens em  locais como o Google Discover.

Você pode também bloquear suas páginas de aparecerem em featured snippets e várias outras possibilidades.

Se

Com a diretiva index ou noindex – jaja explico melhor cada uma delas – você pode controlar se o Google pode mostrar sua página na SERP ou não!

Explicando os nomes e diretivas da meta robots

Vamos quebrar um código padrão da meta robots em partes para você entender melhor como funciona:

meta name robots content follow, index. Meta - abertura da meta tag HTML. Name - especifica os crawlers que devem seguir as diretivas. Robots - nome dos crawlers. Robots referencia todos eles. Content -conteúdo da meta

O campo “name”, apesar de aparecer com frequência como “robots”, pode ser alterado para que a meta seja direcionada a robôs específicos, em casos particulares, como:

name=”Googlebot-Image”

No campo “content” é onde acontece a mágica da meta robots…

Você precisa conhecer bem cada uma das diretivas que pode ser adicionada lá, para saber como lidar com a meta. 

Saiba agora quais são as principais diretiva para controlar o robô do Google:

Nota: vale ressaltar que essas diretivas não são excludentes e podem ser trabalhadas em conjunto por meio da separação por vírgulas, por exemplo: “index,nofollow” – neste caso, eu permiti que a página fosse indexada, mas seus links não podem ser rastreados pelo Google.

unavailable_after: [date/time]

Permite que você configure um limite de data/hora até quando a página pode ser indexada no Google.

Após a data definida, a página não poderá mais aparecer nos resultados de pesquisa (útil para landing pages de lançamentos temporários, por exemplo):

meta name=”robots” content=”unavailable_after: 2020-09-21”

Como validar a meta robots?

  • Você pode acessar a página que deseja validar e pressionar CTRL + U, depois, CTRL + F e pesquisar por “robots” para ver se e como a tag está aparecendo na página:
Print de validação da meta robots usando o código fonte da página
Print da extensão do chrome SEO meta in 1 click, onde tem uma parte chamada Robots Tag
  • Para validar em escala, o ideal é usar uma ferramenta de rastreamento como Screaming Frog

Como implementar a meta robots tag?

Essa é uma marcação HTML bem simples para adicionar ao head das páginas, como no exemplo:

				
					<head><meta charset="UTF-8">
<title>Título da página</title>
<meta name="description" content="descrição da página" />
<meta name="robots" content="follow, index, max-snippet:-1, max-video-preview:-1, max-image-preview:large" />
<link rel="canonical" href="url" />
</head>

				
			

Para implementar ela, basta adicioná-la com o padrão acima em todas as páginas que deseja que sejam indexadas da forma que o Google achar melhor para os usuários!

Mas como eu faço isso?

A resposta é: depende, honestamente. Depende do seu CMS!

Muitos já têm como padrão, outros não, cabe a você validar se ela está lá e entender com um dev como ele pode adicionar a marcação no HTML das páginas, ou você mesmo.

MAS, caso use WordPress, como tudo por lá, é muito simples!! 

Basta usar um plugin como Yoast SEO ou Rank Math SEO, que você pode configurar as diretivas em cada página:

Print de uma seção do plugin rank math SEO, com várias opções em checkboxes para a meta robots tag

O que é X-Robots-Tag?

Não é só a meta robots tag que controla a indexação, existe outra chamada X-Robots-Tag, que tem a mesma função e diretivas.

A única diferença está na forma de implementação. Enquanto a meta tag é uma marcação no código HTML da página, a X-Robots-Tag é uma resposta HTTP  como o redirect 301 – enviada pelo servidor do site.

A resposta é a resposta que o servidor de seu site fornece quando um usuário ou robô requisita acesso à uma página, por exemplo. Essa resposta tem como finalidade se comunicar com um browser como o Google Chrome

Ela é útil em alguns casos específicos, principalmente para bloquear a indexação de arquivos como PDFs ou Imagens, por exemplo.

Para validar a X-Robots-Tag, o processo é um pouco diferente, já que você deve ver a resposta HTTP da página.

Você pode usar o screaming frog para validá-la em escala. 

Mas..

Para uma verificação rápida na página, precisa usar alguma extensão do Chrome. A que recomendo é Redirect Path, que mostra vários dados relevantes sobre a resposta HTTP de forma bem visual:

Print da extensão redirect path sendo utilizado em uma página para ver a resposta HTTP da mesma

7 casos de uso da meta robots tag

Saiba como usar essa tag com exemplos dos casos mais comuns em que ela é útil:

  • Não indexar páginas sem valor para o usuário: se a página não tem muito sentido em aparecer para o usuário, você pode simplesmente adicionar a tag noindex
  • Páginas em teste: você pode usar a meta robots noindex para evitar que páginas de um site novo ainda sendo testadas sejam indexadas no lugar das suas antigas e o Google as considere como conteúdos duplicados
  • Bloquear paginas de login e de admin para não aparecerem no Google
  • Páginas de checkout e agradecimento: não faz muito sentido essas aparecerem no Google, pois confundiria os usuários
  • Páginas de lançamentos e promoções: quando você criar páginas de lançamento de um novo produto ou promoção e ainda não quer que os usuários vejam, a tag noindex é uma boa solução!
  • Páginas de busca interna: essa é MUITO importante. As páginas de busca/pesquisa interna não costumam ser boas para indexar no Google. Isso porque costumam ser páginas sem conteúdo e consideradas irrelevantes! Além disso, você pode começar a aparecer no Google sem querer para buscas indesejadas se não bloquear a indexação dessas páginas. A utilidade para o usuário é boa, mas para indexação não faz sentido.
  • Para aparecer no Google Discover: já expliquei isso, mas é sempre bom reforçar. O Google Discover é uma fonte muito interessante de SEO. Para aumentar seu potencial por lá, é ideal que adicione a diretiva: max-image-preview: large, permitindo a exibição de imagens grandes.

Bônus: 2 erros comuns ao usar a meta robots

  • Usar o noindex e bloquear a página no arquivo robots.txt ao mesmo tempo: se o Google não pode acessar sua página pelo arquivo robots.txt, ele não consegue ver se a mesma está com a tag noindex, por exemplo. Ou seja, ele pode indexar a página mesmo ela estando com noindex. Então caso você queira que uma página não apareça mais no Google e bloqueie no robots.txt, é  provável que ela continue por lá.
  • Esquecer de remover a noindex tag ao migrar para um novo site: esse erro é bem comum!! Geralmente, quando você vai migrar para um novo site, deixa as páginas com noindex para que ninguém veja o site novo até que esteja pronto. O problema é que muitos esquecem de tirar essa tag depois, o que pode causar uma grande queda do site em SEO.
 

Gostou deste guia?

Salve nos seus favoritos e nos conte o que achou!

Aproveite também para visitar nosso post completo sobre O que é SERP e entenda de uma vez por todas esse termo.,

Últimos Posts

Categorias e Autor