La etiqueta meta robots

Introducción a la etiqueta meta robots

La etiqueta meta robots es una etiqueta HTML que permite controlar la forma en la que exploran e indexan una página los motores de búsqueda.

En concreto, esto permite a un webmaster prohibir a un motor de búsqueda como Google o Bing indexar una página o seguir los enlaces que esta contiene.

Por lo general, un webmaster estará satisfecho de que los motores de indexación de los principales motores de búsqueda indexen la totalidad de su sitio. Cuanto más aparezca su sitio en los resultados de búsqueda, más tráfico «natural» tendrá.

Sin embargo, puede suceder que un webmaster no desee que determinadas páginas de su sitio puedan aparecer en los resultados de los motores de búsqueda (URL de back-office, contenido premium para sus visitantes únicamente, páginas no acabadas aún...). La etiqueta meta robot es uno de los posibles medios para bloquear esta indexación.

Para ello, el webmaster solo tiene que situar estas líneas entre las etiquetas <head>...</head> de su página:

<head>
...
<meta name="robots" content="none" />
...
</head>

¿Por qué utilizar la etiqueta meta robots en vez del archivo robots.txt?

La forma más extendida para bloquear todo o parte de su sitio a un robot de indexación (como Googlebot por ejemplo) es utilizar un archivo robots.txt.

Sin embargo, hay algunos casos en los que es preferible utilizar una etiqueta meta robots:

  • Si un webmaster no tiene el control sobre el archivo robots.txt situado en la raíz de su sitio (por ejemplo una plataforma de blog compartida con los miles de webmasters con un nombre de dominio común). En este caso, el webmaster tiene la posibilidad de situar una etiqueta meta robots en estas páginas si desea bloquear su indexación.
  • La mayor parte de los sitios disponen de «back-office», es decir, un acceso secreto y seguro que permite, por ejemplo, acceder al contenido del sitio. Los motores de indexación nunca deberían indexar estas zones, pero si se bloquea esta indexación mediante un archivo robots.txt, archivo que no está asegurado, un hacker podrá descubir con facilidad la URL «secreta» del back-office. En ese caso, la utilización de la etiqueta meta robot none permite asegurar que esta URL secreta nunca se encontrará en las páginas de resultados de los motores de búsqueda.
  • Incluso si un archivo robots.txt bloquea una URL, puede suceder no obstante que esta pueda volver a subir en los resultados de los motores de búsqueda (pero sin contenido útil asociado). Por ejemplo, si hay backlinks apuntando hacia la página bloqueada. En este caso, una etiqueta meta robot noindex permite asegurar que la URL nunca podrá volver a subir en los resultados de los motores de búsqueda.

Los valores posibles de la etiqueta meta robots

Los valores posibles del atributo «content» de la etiqueta meta robots son:

Variable Caso de uso de la etiqueta meta robots
noindex Esta etiqueta meta robot impide la indexación de la página que la contiene.
Sin embargo, ten en cuenta que la página estará arrastrada pero no estará indexada en los resultados.
Para impedir el crawling y la indexación de una página, utiliza más bient el archivo robot.txt.
nofollow La etiqueta meta robot nofollow impide que el robot de Google (googlebot) siga los enlaces contenidos en esta página.
none Equivalente a noindex y nofollow.
nosnippet La etiqueta meta tag robot nosnippet impide la visualización de una parte del contenido en los resultados de búsqueda.
noodp La etiqueta meta tag noodp prohíbe la utilización de una descripción de sustitución extraída de los directorios DMOZ.
noarchive La etiqueta meta robot noarchive sirve para impedir la visualización de un enlace situado en caché y asociado a una página.
unavailable_after: [date ]  Esta etiqueta meta tag robot permite precisar la hora y la fecha exactas en que deben finalizar la exploración y la indexación de la página en cuestión.
noimagenindex Esta etiqueta meta tag robot permite indicar que la página en cuestión debe indicarse como fuente de una imagen.

Utilización óptima de la etiqueta meta robots

Estas son las reglas que se deben conocer para una utilización óptima de los meta robots:

La casilla en los meta tags robots

No hay normas sobre la forma de redactar los meta tags robots. Googlebot es capaz de leer de la misma manera las letras mayúsculas y las minúsculas.

De este modo, los siguientes valores se interpretarán exactamente de la misma manera:

<meta name="ROBOTS" content="NOODP">
<meta name="robots" content="noodp">
<meta name="Robots" content="NoOdp">

Pero para que el código se lea bien, te recomendamos cuidar una coherencia y escribir solo de una forma.

¿Es necesario introducir múltiples valores?

Si tienes que utilizar varios valores de meta tags robots, se recomienda integrar todos los valores en una sola meta tag robots. Esto facilitará la lectura de los meta tags robots y evitará cualquier confusión o conflicto entre las distintas páginas de tu sitio.

Si utilizas varios valores de meta tags robots, sepáralos mediante comas o bien cuadros.

Ejemplo de integración:

<meta name="robots" content="noindex, nofollow">

Utilización de valores meta robots conflictivos

En caso de utilización de valores de meta tag robots contradictorios, por defecto los motores de búsqueda tienen en cuenta el valor más restrictivo.

Por ejemplo, si la página contiene estos dos valores de meta robots:

<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="INDEX">

Google solo tendrá en cuenta el valor «NOINDEX», que en este ejemplo es el valor más restrictivo.

Conflicto entre la etiqueta meta robots y el archivo robots.txt

En caso de instrucciones contradictorias entre el archivo robot.txt y los meta tags robots, Google seguirá el valor más restrictivo.

De este modo:

  • Si una página está bloqueada en el archivo robots.txt, los motores de búsqueda nunca podrán arrastrarla ni podrán por lo tanto leer nunca los meta tags robots.
  • Si una página no está bloqueada en el archivo robots.txt, pero está bloqueada en la indexación con los meta tags robots, entonces la página será accesible, la arrastrarán pero no la indexarán.

Etiqueta meta robots especial para Googlebot

Si quieres dejar instrucciones a todos los motores sin distinción, entonces debes utilizar la meta «robots».

Para comunicarse exclusivamente con Google, entonces debes utilizar la meta «googlebot».