Averiguar la forma en la que el bot de Google (GoogleBot) y otros bots navegan por tu web es realmente útil para tu estrategia SEO. Un buen análisis de cómo GoogleBot rastrea tu web te puede hacer averiguar tu Crawl Budget, saber en qué páginas gasta demasiado tiempo, por cuales pasa demasiadas veces, por cual no pasa nunca, saber cuando pasa…
Es cierto que desde Search Console obtenemos mucha información valiosa del cómo nos rastrea Google, pero es muy superficial. Por ello, una buena práctica que es comúnmente obviada por los SEO es recopilar los logs del servidor para hacer un análisis detallado de cada paso que ha dado GoogleBot por nuestra web. Para esto, es necesario filtrar los datos para quedarnos tan sólo con la parte que nos interesa, volcarlo en un excel y ensuciarse las manos. Es muy común utilizar herramientas profesionales para el análisis de logs, desde Splunk hasta Log File Analizer de Screaming Frog. Todas ellas de pago, algunas muy complicadas. A pesar de que este es el método más fiable, el que más y mejor información nos va a dar, en este post voy a presentar una forma más sencilla de saber qué hace GoogleBot en nuestra web. Un formato al que estamos más acostumbrados. Vamos a ver qué hace GoogleBot como si fuera un usuario más, con Google Analytics.
En resumen, vamos a crear una Dimensión personalizada para Google Analytics, que nos diga el User Agent de nuestros visitantes. Cundo esté todo listo, desde GA filtraremos la información dejando sólo la que coincida como User Agent todo aquello que contenga “Googlebot“. Muy sencillo y útil.
Nos dirigimos a Google Analytics, donde vamos a crear nuestra Dimensión personalizada. Para esta tarea, podemos crear una nueva propiedad específica, pero no es necesario. A nivel de “Propiedad” nos dirigimos a la opción “Dimensiones personalizadas” y creamos una nueva. La llamamos “User agent”, elegimos la opción de “Hit”, la activamos, y guardamos. No necesitamos nada más, ni siquiera el código, ya que vamos a utilizar Google Tag Manager para implementarlo. La opción de “Hit” es la que mide todas las páginas vistas, por la tanto la que nos interesa
Dentro de nuestra propiedad habitual lo ideal es tener varias vistas. Una sin filtrar absolutamente nada, como copia de seguridad. Otra que será la que tengamos puestos filtros, etc, que será la que usamos habitualmente. Y es posible que tengamos una tercera para pruebas. Los datos los veremos en la vista sin ningún filtro, ya que necesitamos que la vista esté configurada para que no filtre robots, lo cual seguramente tengas activado en tu vista habitual.
Para esto vamos a utilizar Google Tag Manager, ya que es la forma más simple de configurarlo. Abrimos nuestro GTM y nos dirigimos a la etiqueta que ya tendremos añadida de Google Universal Analytics. Damos a más opciones y a Dimensiones Personalizadas. Donde nos pide el índice pondremos el número que coincida con el de Google Analytics. En nuestro ejemplo sería un “1”.
El valor de la dimensión va a ser variable, va a ser el User Agent, por lo que clicamos en la pieza de lego con el “+” para crear nuestro valor. Te pedirá que elijas entre una serie de variable, pero aún no la hemos creado, así que clicamos sobre el “+” que está arriba a la derecha. A esta variable la llamamos “User Agent” y elegimos el tipo de variable Javascript. Esto nos permite que nuestra variable sea un código Javascript que funcione como valor de nuestra dimensión. Para sacar el User Agent de nuestro visitantes nos vasta con utilizar el código Javascript de a continuación:
navigator.userAgent
Cómo veis, supersencillo, ese es todo el código que necesitamos. Guardamos la variable y la etiqueta. Publicamos los cambios realizados. A partir de ahora, cada vez que alguien acceda a nuestra web le sacaremos su User Agent y lo mandaremos a Analytics como dato para nuestra dimensión personalizada. Si accedemos a GA podemos, por ejemplo, acceder a “Comportamiento” => “Contenido del sitio” => “Todas las páginas” y elegir como dimensión secundaria nuestro “User Agent”. Ahora tan sólo tenemos que realizar una búsqueda avanzada tal y como os muestro a continuación:
Es importante que esto lo hagamos en la vista que tengamos sin filtros, ya que no nos interesa, obviamente, que nos filtro los robots. Si quieres analizar otros bots, tan sólo tienes que buscarlo por su User Agent. Ahora somos capaces de ver que URLs ha visitado GoogleBot, cuanto tiempo ha pasado en cada URL, cuantas veces ha visitado la misma URL…
En otro post veremos qué información nos interesa extraer sobre los movimientos de GoogleBot en nuestra web, ya que con toda esta información podremos tomar una serie de decisiones SEO muy interesantes para optimizar nuestra web. Además también veremos cómo hacerlo directamente con logs del servidor, para contar con toda la información y de una forma más fiable.