Robots.txt – Disallow erroneo
Pequeño ejemplo de cómo una mala configuración del fichero robots.txt te puede dar la tarde. Un Disallow erroneo en Robots.txt te puede destrozar el SEO de la web.
Resulta que Google no encajaba bien la web versión móvil de un cliente. Una versión diseñada específicamente para dispositivos móviles, no responsive. Al revisar el Google Search Console, vimos que indicaba muchos errores con el mismo motivo: la web no estaba diseñada para móbil… Ummm si la visitas se ve en formato móvil (no responsive) y en cambio, Google no la acepta como móvil.
Si profundizamos un poco más, vemos una previsualización de cómo Google visiona la web, y efectivamente Google no aplica las hojas de estilo correctas. Es más, no carga las hogas de estilo y muchas de las imágenes.
En definitiva: si visitas la web con móvil se ve. Si la visitan las arañas de Google no la ven. Por tanto es algo que limitamos al robot de Google. ¿Desde dónde se limita la carga de ficheros a los robots? Nos toca revisar el fichero robots.txt
Al revisar Robots.txt vemos que efectivamente habíamos deshabilitado que los robots entraran diversas carpetas, entre las que estaban las hojas de estilo de la vista para móvil.
Por lo tanto, a la hora de configurar el fichero Robots.txt tened en cuenta que no debéis deshabilitar el contenido necesario para el robot de Google pueda explorar e indexar vuestra página. Deshabilitar lo estrictamente necesario.
Espero que este pequeño ejemplo de Disallow erroneo de Robots.txt os sea de utilidad.
Más información