爬取shonenmagazine.com漫画保存本地
目标网站:https://pocket.shonenmagazine.com/ 这个网站有时候图片会被拆分成九宫格形式,有兴趣的可以研究一下图片处理并还原图片。 ...
python+scrapy+cloudscraper爬manganato保存到本地
目标网站漫画:https://readmanganato.com/manga-to970571 由于目标网站启用了防护,所以要用到一个包。 cloudscraper:一个简单的pytho...
python+scrpay+selenium爬英雄联盟官网瀑布流图片保存本地
目标网址:https://tr.lol.qq.com/ 因为图片列表是瀑布流加载,而且是动态渲染,所以使用了selenium模拟浏览器返回加载完成后的数据。 ...
python+pyppeteer爬取comic-walker.com的漫画图片截屏保存到本地
目标站点:https://comic-walker.com/ pyppeteer和selenium都是差不多的,不过是异步的并且不用Chromedriver驱动。 实现原理:调整浏览...
使用python-scrapy+selenium爬取LOL峡谷之巅段位排行数据
这是我之前学习scrapy框架时,随便练习使用selenium爬取动态加载的内容的时候,写的练习Demo,爬取的是英雄联盟峡谷之巅的段位排行榜 ,...