![Meta Robots Tag ou X-Robots-Tag [noindex, nofollow] - Guia Completo](https://knowstuff.com.br/wp-content/uploads/elementor/thumbs/Meta-Robots-Tag-ou-X-Robots-Tag-noindex-nofollow-Guia-Completo-p5e2ei629ragawwvhyydfrv6bicfcjq36ssxvl7c2g.png "Meta Robots Tag ou X-Robots-Tag [noindex, nofollow] – Guia Completo")
A meta robots tag é uma das tags mais importantes de SEO para auditar em suas páginas!
Afinal, sua página está marcada com a meta tag robots “noindex”, por exemplo, não importa o quão útil, completo e prático é seu conteúdo, ele não vai aparecer no Google.
O nome parece até meio difícil mas acredite, essa meta é bem mais simples de validar e entender do que parecer.
Neste conteúdo pretendo te contar um pouco mais sobre o que é a meta tag robots, como utilizá-la e os comandos mais comuns que você pode usar para ter maior controle sobre a indexação de suas páginas no Google!
E não para por aí…
No final vou dar algumas dicas para não usar a meta tag de forma errada e em quais casos você pode aplicar cada comando.
O que é a Meta Robots Tag?
Parece mais ou menos assim:
head
meta name="robots" content="noindex"
/head
As diretivas de Robots são pedaços de código – simples – adicionados ao seu site para direcionar os robôs como Google sobre como rastrear e indexar os conteúdos de seu site.
A meta robots faz parte dessa diretiva e é um código HTML adicionado ao head das páginas, como mostrado acima!
Além dela, tem outra chamada Robots.txt, que é um arquivo adicionado na raíz do site para se comunicar com os robôs dos mecanismos de busca.
A diferença entre as duas é que a primeira – tema deste post – serve para controlar a indexação de seus conteúdos no Google e outros mecanismos de busca, enquanto a segunda controla o rastreamento, ou seja, quais conteúdos do site você permite os robôs acessarem.
Ambas são muito confundidas, afinal, tem um nome parecido e propósitos similares. Mas não se engane, suas funcionalidades são totalmente diferentes.
O arquivo robots.txt pode sim impedir que uma URL seja indexada pelo simples fato de o Google não consegue acessar o conteúdo dela, mas isso não quer dizer que ela está bloqueada de aparecer nos resultados.
Caso tenha um link no site para ela, por exemplo, ela pode ser indexada “sem querer”.
O objetivo do arquivo é impedir que o Google gaste tempo em páginas inúteis de seu site, para evitar problemas no rastreamento e deixar que ele foque no que importa!
Já a meta tag robots controla diretamente como e se a sua página aparece nos resultados de busca.
Como assim “como” e “se”?
Como
Pela meta robots você pode, por exemplo, controlar o tamanho que o Google deve exibir suas imagens em locais como o Google Discover.
Você pode também bloquear suas páginas de aparecerem em featured snippets e várias outras possibilidades.
Se
Com a diretiva index ou noindex – jaja explico melhor cada uma delas – você pode controlar se o Google pode mostrar sua página na SERP ou não!
Explicando os nomes e diretivas da meta robots
Vamos quebrar um código padrão da meta robots em partes para você entender melhor como funciona:
O campo “name”, apesar de aparecer com frequência como “robots”, pode ser alterado para que a meta seja direcionada a robôs específicos, em casos particulares, como:
name=”Googlebot-Image”
No campo “content” é onde acontece a mágica da meta robots…
Você precisa conhecer bem cada uma das diretivas que pode ser adicionada lá, para saber como lidar com a meta.
Saiba agora quais são as principais diretiva para controlar o robô do Google:
Nota: vale ressaltar que essas diretivas não são excludentes e podem ser trabalhadas em conjunto por meio da separação por vírgulas, por exemplo: “index,nofollow” – neste caso, eu permiti que a página fosse indexada, mas seus links não podem ser rastreados pelo Google.
É o valor padrão da diretiva: index, follow.
Ou seja, por padrão, caso não tenha nada preenchido na meta, os robôs consideram que a página pode ser indexada e ter seus links seguidos!
Não precisa usar essa:
meta name=”robots” content=”all”
A famosa meta robots noindex. Essa é uma das diretivas mais importantes, pois é ela que define se a sua página pode ser indexada ou não no Google.
Neste caso – noindex -, você bloqueia sua página de aparecer nos resultados de pesquisa do Google e outros mecanismos de busca.
meta name=”robots” content=”noindex”
Impede que robôs rastreiem (acessem) links presentes na página. Por exemplo, se eu adicionar essa diretiva neste post, todos os links que coloquei nele não vão ser seguidos pelo Google ao acessar aqui.
meta name=”robots” content=”nofollow”
É a combinação de noindex e nofollow (equivalente a adicionar: “noindex,nofollow”).
Ou seja, com essa diretiva o Google não pode indexar nem seguir os links da página.
meta name=”robots” content=”none”
Essa diretiva impede o Google de exibir um link em cache nos resultados de pesquisa.
O que é cache?
É basicamente um depósito de informações, onde, no caso do Google, páginas ficam salvas no depósito do Google para que os usuários tenham rápido acesso a ela, mesmo que a mesma esteja fora do ar.
A política de cache pode ser implementada em seu site independentemente do Google, por isso essa diretiva pode ser útil em sites que preferem exibir as próprias versões das páginas em cache.
meta name=”robots” content=”noarchive”
Diz ao Google para não exibir um snippet de texto ou visualização de vídeos nos resultados de busca.
Por exemplo, impede o Google de exibir a meta description de suas páginas nos resultados de busca.
meta name=”robots” content=”nosnippet”
Essa também envolve o snippet, mas dessa vez para limitar uma quantidade máxima de caracteres que podem aparecer no mesmo.
Se você colocar o número 0 é equivalente ao nosnippet, ou seja, nenhum caractere deve ser exibido.
Já o número -1 indica que o Google pode definir a quantidade de caracteres para o snippet que achar mais relevante para o usuário.
No exemplo abaixo os snippets textuais da página estão limitados a 20 caracteres nos resultados do Google:
meta name=”robots” content=”max-snippet:20″
Essa é uma das mais importantes diretivas, pois define o tamanho máximo de visualização da imagem no Google.
Por que isso é importante?
Por exemplo, no Google Discover grande parte das imagens são exibidas em formato “large”.
Para potencializar seus resultados por lá é importante permitir que o Google exiba a imagem em um tamanho maior.
A max-image-preview tem três diferentes valores que podem ser adicionados em [configuração]:
- none: nenhuma visualização de imagem deve ser exibida
- standard: a visualização de imagem padrão deve ser exibida
- large: a imagem em exibição maior, que falamos anteriormente.
meta name=”robots” content=”max-image-preview:large”
A lógica é parecida com o max-snippet, mas neste caso você controla a quantidade de segundos de um vídeo que pode ser exibido nos resultados de busca.
0 não permitirá exibir o resultado de vídeo, enquanto – 1 tira qualquer limite. No caso abaixo a página só pode ter 20 segundos de seu vídeo exibidos nos resultados:
meta name=”robots” content=”max-video-preview:15″
Essa marcação bloqueia o Google de oferecer uma tradução da página nos resultados de pesquisa:
meta name=”robots” content=”notranslate”
Impede o Google de indexar as imagens de sua página:
meta name=”robots” content=”noimageindex”
unavailable_after: [date/time]
Permite que você configure um limite de data/hora até quando a página pode ser indexada no Google.
Após a data definida, a página não poderá mais aparecer nos resultados de pesquisa (útil para landing pages de lançamentos temporários, por exemplo):
meta name=”robots” content=”unavailable_after: 2020-09-21”
Como validar a meta robots?
- Você pode acessar a página que deseja validar e pressionar CTRL + U, depois, CTRL + F e pesquisar por “robots” para ver se e como a tag está aparecendo na página:
- Você pode usar uma extensão do Chrome para SEO, como SEO META in 1 CLICK:
- Para validar em escala, o ideal é usar uma ferramenta de rastreamento como Screaming Frog
Como implementar a meta robots tag?
Essa é uma marcação HTML bem simples para adicionar ao head das páginas, como no exemplo:
<head>
<title>Título da página</title>
<meta name="description" content="descrição da página" />
<meta name="robots" content="follow, index, max-snippet:-1, max-video-preview:-1, max-image-preview:large" />
<link rel="canonical" href="url" />
</head>
Para implementar ela, basta adicioná-la com o padrão acima em todas as páginas que deseja que sejam indexadas da forma que o Google achar melhor para os usuários!
Mas como eu faço isso?
A resposta é: depende, honestamente. Depende do seu CMS!
Muitos já têm como padrão, outros não, cabe a você validar se ela está lá e entender com um dev como ele pode adicionar a marcação no HTML das páginas, ou você mesmo.
MAS, caso use WordPress, como tudo por lá, é muito simples!!
Basta usar um plugin como Yoast SEO ou Rank Math SEO, que você pode configurar as diretivas em cada página:
O que é X-Robots-Tag?
Não é só a meta robots tag que controla a indexação, existe outra chamada X-Robots-Tag, que tem a mesma função e diretivas.
A única diferença está na forma de implementação. Enquanto a meta tag é uma marcação no código HTML da página, a X-Robots-Tag é uma resposta HTTP – como o redirect 301 – enviada pelo servidor do site.
Ela é útil em alguns casos específicos, principalmente para bloquear a indexação de arquivos como PDFs ou Imagens, por exemplo.
Para validar a X-Robots-Tag, o processo é um pouco diferente, já que você deve ver a resposta HTTP da página.
Você pode usar o screaming frog para validá-la em escala.
Mas..
Para uma verificação rápida na página, precisa usar alguma extensão do Chrome. A que recomendo é Redirect Path, que mostra vários dados relevantes sobre a resposta HTTP de forma bem visual:
7 casos de uso da meta robots tag
Saiba como usar essa tag com exemplos dos casos mais comuns em que ela é útil:
- Não indexar páginas sem valor para o usuário: se a página não tem muito sentido em aparecer para o usuário, você pode simplesmente adicionar a tag noindex
- Páginas em teste: você pode usar a meta robots noindex para evitar que páginas de um site novo ainda sendo testadas sejam indexadas no lugar das suas antigas e o Google as considere como conteúdos duplicados
- Bloquear paginas de login e de admin para não aparecerem no Google
- Páginas de checkout e agradecimento: não faz muito sentido essas aparecerem no Google, pois confundiria os usuários
- Páginas de lançamentos e promoções: quando você criar páginas de lançamento de um novo produto ou promoção e ainda não quer que os usuários vejam, a tag noindex é uma boa solução!
- Páginas de busca interna: essa é MUITO importante. As páginas de busca/pesquisa interna não costumam ser boas para indexar no Google. Isso porque costumam ser páginas sem conteúdo e consideradas irrelevantes! Além disso, você pode começar a aparecer no Google sem querer para buscas indesejadas se não bloquear a indexação dessas páginas. A utilidade para o usuário é boa, mas para indexação não faz sentido.
- Para aparecer no Google Discover: já expliquei isso, mas é sempre bom reforçar. O Google Discover é uma fonte muito interessante de SEO. Para aumentar seu potencial por lá, é ideal que adicione a diretiva: max-image-preview: large, permitindo a exibição de imagens grandes.
Bônus: 2 erros comuns ao usar a meta robots
- Usar o noindex e bloquear a página no arquivo robots.txt ao mesmo tempo: se o Google não pode acessar sua página pelo arquivo robots.txt, ele não consegue ver se a mesma está com a tag noindex, por exemplo. Ou seja, ele pode indexar a página mesmo ela estando com noindex. Então caso você queira que uma página não apareça mais no Google e bloqueie no robots.txt, é provável que ela continue por lá.
- Esquecer de remover a noindex tag ao migrar para um novo site: esse erro é bem comum!! Geralmente, quando você vai migrar para um novo site, deixa as páginas com noindex para que ninguém veja o site novo até que esteja pronto. O problema é que muitos esquecem de tirar essa tag depois, o que pode causar uma grande queda do site em SEO.
Gostou deste guia?
Salve nos seus favoritos e nos conte o que achou!
Aproveite também para visitar nosso post completo sobre O que é SERP e entenda de uma vez por todas esse termo.,
