(转) Linux下wget爬取整站

声明:内容源自网络,版权归原作者所有。若有侵权请联系我们

有时候网站存在本地有很多好处,比如我不一定随时都有网,比如网站不一定都能正常访问,比如本地访问肯定更快。

原本以为还是象win一样,需要下载一个软件,其实Linux是如此简单。

稍遗憾的是wget不支持多线下载。

wget -c -r -npH -k -nv http://www.baidu.com

-c:断点续传

-r:递归下载

-np:递归下载时不搜索上层目录

-nv:显示简要信息

-nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中

-nc 断点续传

-p:下载网页所需要的所有文件(图片,样式,js文件等)

-H:当递归时是转到外部主机下载图片或链接

-k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了

-L: 只扩展相对连接,该参数对于抓取指定站点很有用,可以避免向宿主主机

启用地址伪装

-user-agent=“Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400”

wget -m –no-check-certificate www.example.com wget -m 镜像站点

相关文章