Descargar web completa con Wget
Cómo descargar una web completa con la orden wget desde nuestro ordenador.
Con la siguiente sentencia en consola Linux, podremos descargar una web por completo. Sus imágenes, ficheros JavaScript, ficheros CSS…
En muchas ocasiones, wget te puede sacar de muchos apuros, entre lo que estan no perder los resursos de una web a la que por diferentes motivos no puedes acceder (pérdida de contraseñas, tu programador no te la da…)
Pues vamos a ello:
wget --limit-rate=100k --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://www.miweb.com
–limit-rate=100k: Limitamos velocidad descarga a 100 Kb /sec. Evitamos que nos puedan meter en listas negras.
–no-clobber: no sobrescribe ficheros que existen (por si reanudas conexión si anteriormente se ha cortado)
–convert-links: convierte los enlaces para que pueda trabajar en local
–random-wait: Esperamos un tiempo aleatorio entre descargas (hay webs que no les gusta que descargues sus webs)
-r: Recursive – descarga web entera recursivamente
-p: lo descarga todo (imágenes, css, javascripts…)
-E: mira las extensiones de los ficheros
-e robots=off: haremos que no parezcamos un robot
-U mozilla: haremos que crea que lo visitamos desde navegador mozilla
Pero además, si tenemos un fichero .php en nuestro alojado en nuestro servidor bajo un dominio, podemos llamarlo desde nuestro PC. Pongamos un ejemplo.
Tenemos en nuestro servidor el siguiente fichero .php que hace unos cálculos y actualiza una base de datos:
https://miweb.com/calculo_mensual.php
Si desde nuestro Linux, hacemos un wget https://miweb.com/calculo_mensual.php se producen dos acciones.
- Por un lado, nos descargamos a nuestro PC el resultado del php en formato fichero. Donde ejecutemos la orden, aparecerá un nuevo fichero resultado de descargar lo que nuestro servidor haya mostrado (en vez de mostrarlo por pantalla, lo descargamos en fichero php)
- Por otro lado, el php se ejecuta, y pot lo tanto si dentro hemos hecho unos cálculos y se actualiza la base de datos, al llamarlo, éste se ejecuta.
Lo bueno es que podemos crear el PHP en nuestro servidor, y luego hacer un script en nuestro PC que lo llame cada X tiempo o pasándole parámetros diferentes… todo automatizado.
Lo malo, que este fichero está abierto. Todo el mundo lo podría ejecutar. Por ese motivo, debemos poner algún tipo de seguridad…
Pues eso es todo, espero que os sea de utilidad el artículo de cómo descargar una web completa con la orden wget desde nuestro ordenador.
Más información