贾永琪的技术博客

Python动态网页爬虫-----动态网页真实地址破解原理

Python动态爬虫1.目标网站2.目标网站行为分析3.目标文件依赖加载分析4.静态网页分析5.动态加载代码分析6.万事俱备7.只欠东风7.1获取html代码7.2获取mh_info7.3获取下一章的地址7.4获取图片的真实地址7.5多线程7.6图片下载7.7图片转码7.8主程序8.实现结果1.目标网站本次爬虫爬取的是漫画网站,目标网站是动态加载漫画图片,加密传输漫画真实地址,使用缓存技术加快..._动态网页 真实网址

Python静态网页爬虫----文字小说爬虫

文字爬虫1.爬虫的行为2.项目设计3.获取静态网页的html代码4.获取下一章的url5.获取小说的章节名字6.获取小说正文7.保存章节小说8.合并临时文件9.主程序10.总结首先看下目标网页:这个就是本次测试的小说书籍:这是正文部分:url:http://www.xbiquge.la/13/13959/5939025.html1.爬虫的行为从初始网页中获取下一个网页的链接;然后..._