资源详情
【课程内容】
day1
1爬虫的基本概念
2Fiddler简介
3网页信息简介
4读取网页三种方法
5正则表达式回顾
6抓取智联招聘
7抓取51job
8作业
day2
1response网络详细信息
2agent代{过}{滤}理解决网站屏蔽
3agent也可以冒充手机或者ipad浏览器
4get模拟百度
5get模拟智联招聘
6get小结
7post通信
8postcgi
9get与post小结
10综合应用模拟android手机浏览器
11本地代{过}{滤}理
12代{过}{滤}理密码验证
13下载
14重定向
15加密网址的访问
16debug调试
17readcookie
18sA危e与Loadcookie
19人人网cookie模拟登陆
day3
1dedecms模拟登陆
2dedecms操作
3抓取所有页面
4提取页面岗位职责
5提取页面表格
6提取数据
day4
1基本绘图
2数据职位绘图并保存为图片
3词云理解句子切割为词语集合
4词云定制
5词云简介
6wordcloud汉化
6汉化词云第一个案例
7招聘的词云
8作业
9寻找陈明的大妈之旅
10年龄身高排序
11根据学历排序与作业
day5
1回顾
2百度贴吧爬虫的基本介绍
3百度贴吧页面数量提取
4提取贴吧每一页的链接
5提取百度贴吧的每个页面的子链接
6提取邮箱或者QQ
7百度登陆token第一步
8百度的模拟登陆以及cookie
9作业与小结
day6
1数据与xml简介
2文本与html加工为xml树
3xpath入门操作选择所有子节点选择子节点之下的属忄生
4xpath的详细方法
5xpath测试实战
6xpath智联招聘
7xpath解决51job.
8xpath股票
9xpath挖掘内涵
10爬虫高级应用介绍
11脚本之家抓取
12BAT抓取python先抓阿里的页码
13抓取阿里巴巴的信息xpath
14seleniumBaidu
15seleniumCSDN登陆
16selenium解决阿里巴巴屏蔽模拟点击
day7
1xpath提取贴吧图片
2BS4解析网页的三种风格
3BS4.NA危igableString.BeautifulSoup.Comment
3BS4标签抓取
4BS4遍历文档树的三种方法
5BS4文档查找检索办法
6CSS标签的选择
7BS4抓取单个数据zhaopin
8BS4提取股票数据
9抓取岗位说明
10BS4挖掘腾讯岗位
11小结
day8
1selenium浏览器介绍
2网页登录器
3爆力破解密码网页
4简单识别验证码
5验证码训练简介
6selenium无界面浏览器
7QQ空间
8抓取奶茶妹妹家的数据
9作业
day9
1selenium冒充手机访问手机网站并简单操作
2selenium手机百度搜索
3selenium手机登录京东
4selenium手机淘宝操作
5selenium手动验证码再抓取数据
6验证码平台介绍
7selenium鼠标操作
8selenium键盘
9网页速度加载慢等待功能显式等待与隐式等待
10隐式等待百度抓取搜索数量
11selenium批量抓取
12多窗体操作
13网页提示框
14操作网页的下拉
15selenium调用js
16cookie简单操作.
day10
1提取网页文本
2提取网页代{过}{滤}理
3代{过}{滤}理验证.
4selenium对视频模拟操作
5selenium下载
6post与cookie解决模拟登陆
7POST网站登录分析
8复杂网站加密登陆方法介绍
9隐藏浏览器.
10requests简介
11requests的get协议
12requests的post协议.
13读取网页是否要求安全可信证书.
14cookies简单使用
15requests_sesiion登陆
16request_session登陆OA
17抓取ip的json
18作业
day11
1.selenium.requests模拟登陆京东
2selenium登陆淘宝requests抓取购物车
3selenium模拟登陆requests请求12306
4cookie有效测试
5分析12306网站结构
6分析微博与通用登陆解决方案
7CSDN模拟登陆抓取信息
8CSDN模拟cookie请求抓取
9CSDN-cookie转换.
day12
1selenium登陆CSDNurllib2cookie模拟登陆
2request解决post文件
3requests处理异常
4requests代{过}{滤}理
5request编码与网页头
6request的cookie读写
7request登陆dedecms
8pyQuery简单用途
9pyQuery初始化四种风格
10pyQueryCSS选择
11pyQuery节点查找
12pyQuery遍历以及抓取信息
13pyQueryPOST
14json与jsonpaths概念
15字符串转化为python中的json对象
16python数据类型转化为json字符串
17json读取写入
18jsonpath初级版
19jsonpath高级
20selenium模拟其他浏览器
21selenium-chrome模拟其他浏览器
22selenium不加载图片
day13
1了解熟悉知识体系
2协程回顾
3协程的切换
4协程加速
5协程网络下载
6协程爬虫案例-抓取上海高院做法律数据分析
7协程爬虫案例-提取有效数据
8协程爬虫案例-上海高院爬虫
9作业
day14
1阳光问政-读取网页并编码解码
2阳光问政-读取网页生成要抓取的url列表
3阳光问政-抓取网页数据
4阳光问政-单线程抓取网页数据
5阳光问政数据提取协程版
6阳光问政多线程无冲突版
7阳光问政多线程解决冲突写入
8多进程试验.
9多进程回顾
10分析多进程.
11作业
day15
1轻量级多进程爬虫
2多进程爬虫一边读取一边写入
3简单分布式计算模型
4简单分布式控制
5分布式作业
6分布式爬虫
7部署云.
7部署云
8作业
day16
1基本概念与回顾
2teeseract识别中文与英文
3python teeserract识别中文图片
3python teeseract识别英文图片
4pytesseract识别中英文
5tersseract升级
6百度OCR的识别
7深入理解百度OCR
8python百度语音合成
9百度语音识别
10小结与作业
day17
1百度人脸识别获取人脸特征
2百度人脸识别两两对比
3百度人脸识别小结
4百度自然语言处理情感分析与评论观点提取词语句子相似度判断
5百度图像识别-菜品
6百度图像识别-识别汽车植物动物
7百度AI开发小结
8OCR的数据训练
9验证码生成-图片生成附加文字
10验证码生成-图片画点画线画圆
11验证码生成-随机字符随机划线
12验证码生成-批量生成
12验证码生成-随机验证码生成随机颜色随机划线
13中文验证码生成
14随机扭曲
15作业
day18
1自动训练验证码原理
2生成高级验证码
3代码生成训练文件
4批量训练验证码数据
5.图像预处理方便识别模糊处理
6.图像预处理方便识别清除背景
7作业
边界坐标
day19
1回顾以及生成图片缩略图
2简单水印
3透明水印
4验证码灰度处理清除背景
5验证码去除干扰线判断
6验证码预处理小结
7寻找验证码
7网络验证码预处理
day20
1回顾与小结
2如何仅仅只识别数字
3验证码分析
4网页爬虫url嵌套模型
5线程锁定执行数量
6进程锁定数量
7python3的锁定数量
8爬虫数据提取基础
9爬虫BSF广度遍历回顾
10爬虫数据定时线程定时保存邮箱
11爬虫广度遍历多线程递归
11爬虫广度遍历多线程队列
12爬虫广度遍历多进程抓取邮箱
13爬虫广度遍历多进程保存结果
多线程邮箱
广度遍历
线程竞争
网站url嵌套模型
解决实际问题-线程进程
day21
1爬虫数据邮箱爬虫协程版
2初级版的分布式邮箱抓取
3实现分布式去掉重复链接
4实现分布式交互保存
5实现分布式客户端协程
6实现分布式客户端多线程
7分布式客户端多进程
8进程嵌套线程再嵌套协程
9分布式驱动多进程驱动多线程驱动多协程
10百度百科-抓取页面
11百度百科-提取数据
12百度百科-提取链接
13作业
day22
1复习以及项目简介
2协程池
3面试小结
4读取pdf-python3.
5读取txt-python3
5读取utf-8文本-python3
6读取csv-python3
7读取csv当作字典
8读取docx-python3.
9内存文件当作磁盘
day23
1提取CSDN讲师的页面列表
2CSDN讲师数据提取
3抓取51CTO
4抓取卡通图片
5双色球提取链接
6双色球提取数据
7提取起点中文的单页
8提取起点中文标题与章节链接.
9小结起点中文
10作业介绍
day24
1Scrapy框架介绍
2Scrapy抓取单独页面并保存数据
3Scrapy.Item描述抓取后的数据
4Scrapy.Item支持协程
5Scrapy.pipline用于存储数据
6Scrapy.Shell用于测试xpath或者CSS
7腾讯招聘scrapy单页抓取
8腾讯招聘scrpy多页抓取
9CSDN讲师scrapy抓取单页
10CSDN抓取多页并且抓取页数
11作业
day25
1Scrapy51CTO讲师单页提取
2Scrapy多页读取自动运行
3Scrapy处理51cto保存
4Scrapy提取URL
7Scrapy自动提取超链接
8Scrapy无限抓取天涯邮箱
9Scrapy提取百度百科单页
10Scrapy抓取百度百科死循环
11如何配置代{过}{滤}理与浏览器模拟.
12Scrapy代码丢失与解决
13Scrapy模拟登陆人人网方法1
14Scrapycookie操作.
15Scrapy模拟CSDN登陆-cookie
16srapy作业
day26
1scrapy实现抓取豆瓣
2scrapy自动翻页CrawlSpider抓取东莞阳光问政
3scrapy阳光问政日志与保存json
4scrapy阳光问政scrapy.Spider实现
5scrapy抓取阳光问政默认process_links
6scrapy抓取斗鱼直播的图片链接与图片名称
7scrapy斗鱼直播图片下载
8scrapy斗鱼直播imagepipline下载
day27
1CSDN博客scrapy实战scrapy.Spider
2CSDN博客scrapy实战CrawlSpider
3博客园数据Scrapy提取xpath挖掘测试
3博客园数据Scrapy提取项目创建
4博客园scrapy.Spider循环抓取.
5博客园scrapy选中组件翻页
6博客园scrapy数据提取CrawlSpider
7ScrapyCSDN模拟登陆
8Scrapy51CTO模拟登陆
9scrapy的登陆局限忄生
10Scrapy_cookie登陆京东商场
11作业与小结
day28
1scrapy_Start_Requests_Middleware中间件
2Scrapy.Process_spider_input_MiddlewareProcess_spider_output_Middleware
3selenium结合scrapy实现模拟登陆
4Scrapy.xmlspider爬虫
5Scrapy.csvspider爬虫
6Scrapy.Selenium.Request一体化cookie模拟登陆
day29
1seleniumcookie保存于载入
2youget下载视频突破大网站的会员优酷爱奇艺网易公开课等等
3新浪爬虫-提取大类
4新浪爬虫-大类嵌套小类
5新浪爬虫孙子类挖掘
6新浪爬虫提取新闻标题
7新浪爬虫提取标题与正文
8新浪爬虫的翻页与终止
9新浪爬虫scrapy单页的抓取新闻
10新浪爬虫scrapy翻页抓取
11新浪爬虫文件夹结构
12新浪爬虫创建层级文件夹
13新浪爬虫的Scrapy跨链接层级检索并跨文件夹保存.
day30
1redis简介
2WindowsRedis数据库配置
3OracleLinux配置Redis数据库
4OracleLinux.redis.配置设置与获取
5OracleLinux.redis常见五种类型
6OracleLinux.redis.key详解
7Oracle.redis.string类型
8OracleLinux哈希数据类型
9OracleLinux.redis列表数据类型
10OracleLinux.redis集合数据类型
11OracleLinux有序集合数据类型
12OracleLinux.redis.基数处理
13OracleLinux.redis订阅者模式
14OracleLinux.redis事务
15OracleLinux.redis登陆
16OracleLinux.redis.服务器命令简介
17OracleLinux.redis数据保存与备份
18OracleLinux.redis设置密码以及安全登陆
19OracleLinux.redis.压力测试
20OracleLinux.Redis.client客户端操作
21Oraclelinux.redis.管道
22OracleLinux.redis.分区
基数排序
day31
1OracleLinuxRedis远程连接配置与可视化工具
2分布式数据库简介
3Python链接Redis数据库
4实战破解Redis密码
5python操作redis.string超时与选项
6python操作redis.string批量操作与保存
7python操作redis.string操作value
8python操作redis.string计数
9juypternoteBook安装与简介
10Pycharm链接juypternotebook
10python操作redis.hash一般操作
12python操作redis.hash小结
13python操作redis.list数据类型
14python操作redis.set集合数据类型
15python操作redis.有序集合类型简单操作
16python操作redis.zset有序集合小结
17python操作redis.key.的一般操作.
18python操作redis原子操作
19redis订阅模式
20作业
day32
1.scrapy-redis的特点
2.scrapy-redis源码的简介
3scrapy-redis案例简介
4scrapy-redis3个案例执行分析
5scrapy代码回顾
6scrapy-redis代码配置
7scrapy-redis-dmoz天涯邮箱本地案例
8scrapy-redis-腾讯HR-RedisSpider
9scrapy-redis-天涯-RedisCrawlSpider
scrapy-redis
scrapy-redis三种方式
运行结构
day33
1scrapy-redis远程配置
2scrapy-redis-RedisSpider
3scrapy-redis远程配置RedisCrawlSpider
4scrapy-redis配置与密码验证redis
5搭建scrapy-redis框架-51CTO
6Scrapy-redis.51CTO.RedisSpider
7scrapy代码测试以及scrapy-redis框架搭建百度百科
8scrapy-redis实现百度百科RedisCrawlSpider
9作业
day34
0mongoDB与NoSQL简介
1Windows安装mongoDB
2Windows配置mongodb数据库服务器与客户端运行
3Linux配置mongodb数据库与webUI
4远程连接问题
5mongoDB可视化工具
6mongodb重要基本概念
7配置Linux命令行熟悉简单概念
8OracleLinux.Mongodb新建与删除数据库
9Oralce.mongodb.插入数据查询数据更新数据
10.OracleLinuxMongo关系运算符
11OracleLinux.mongoDB查询的逻辑运算符
12OracleLinux.MongoDB删除数据
13OracleLinux.mongodb更新数据
14OracleLinux.MongoDB类型运算符
15OracleLinux翻页limit与skip
16OracleLinux.MongoDB排序
17OracleLinux.MongoDB索引
18OracleLinux.mongoDB聚合
19OracleLinux.MongoDB管道概念
20.OracleLinux.mongoDB复制与分片
21OracleLinux.mongoDB备份与恢复
22OracleLinuxMongoDB监控工具
23OracleLinux.MongoDB索引覆盖与数据关系
24OracleLinux.mongodb设置查询分析
25OracleLinux.MongoDB原子操作与索引简介
26OracleLinuxMongoMapReduce计算
27OracleLinuxMongoDB全文索引
28OracleLinux.mongoDB正则表达式查询
29OracleLinuxMongoDB存储文件到mongoDB
30OracleLinuxMongoDB固定集合
31OracleLinuxMongoDB自动增长
32python链接数据库wmv
33python增删查改mongodb文档
34作业
day35
1mongoDB安全权限密码配置
2测试mongoDB登陆成功或者失败
3破解mongoDB密码
4更新mongoDB集合内部的数据字段
5更新与删除数据MongoDB
6mongoDB删除
6集合定义的差别.
7mongoDB数据查询排序翻页
8mongoDB搜索联合查询
9mongoDB统计判断字段正则搜索
day36
1python操作mongoDB的增删查改
2python常规检索MongoDB
3python操作mongoDB层级
4python操作mongoDB运算符
5mongoDBwhere运算符
6回顾一下类的重载
7mongoDB加快访问速度索引
7mongoDB工具类
8唯一索引与索引信息.
9提取数据美剧天堂
10保存数据到数据库
11查看mongodb数据
12抓取代{过}{滤}理并验证存入Mongodb
13作业
day37
1mapreduce-mongodb
2洋葱浏览器与深网
3亚马逊云链接洋葱浏览器之深网
4洋葱浏览器实现切换ip
5洋葱浏览器实现深网爆力切换ip
6注册动态VPS
7抓取网站排名
8scrapy抓取网站排名存入mongoDB数据库
9scrapy抓取苹果网站站点地图
10sitemap站点地图详细解析
day38
1命令行下拨号换ip
2python控制拨号实现换ip
3python破解宽带账号密码
4配置亚马逊云进入深网访问深网网站
5提取深网数据
6selenium提取深网数据
7内网外网概念
8scray抓取金融数据框架搭建
8scrpy-starturl-start-requests
9scrapy抓取财经数据
10scrapy抓取财经数据保存mysql
11小结与作业
day39
1中文插入mysql数据库
2Linux平台迁移
3WindowsScrapy迁移到CentOS7
4代码启动爬虫的两种方式进程与命令
5request与response
6scrapy组件复习
7scray配置
8scrapy知识点小结
9scrapy实战QQ阅读创建项目
10scrapy实战QQ阅读挖掘链接主题
11scrapy实战QQ阅读抓取页面信息
12scrapyQQ阅读超链接提取
13scray完整实现QQ阅读
缓存
day40
1.作业
2编写爬虫步骤
3抓取创业邦-IT桔子之死
4抓取创业邦-抓取创业者
5抓取融资事件
6抓取创业者数据
7创业邦爬虫小结
8pyspider在Windows不稳定
9pyspider在Linux下可以运行
10pyspider抓取hao123页面url
11pyspider处理豆瓣json
12pyspider模拟无界面浏览器抓取ajax数据
13pyspider案例简介
14pyspider简介
15作业
day41
1破解路由器密码-判断登陆成功或者失败
2破解路由器密码-爆力破解
3路由器速度改良与安全的三个等级
4wifi密码免费上网1安装wifi环境
5wifi密码免费上网2扫描网卡并且扫描网络
6wifi密码免费上网3区分链接成功与失败
7wifi密码免费上网4破解密码简介
8如何看fiddler的json
9无线网络数据APP监视
day42
1人工智能tensroflow与sicitlearn实现知乎验证码简介
2根据tensorflow与sicitlearn配置虚拟环境
3python虚拟环境环境配置
4静态网站与动态网站差异
5分析出json的方法技巧
6如何提取动态页面的json数据
7爬虫提取页面小结
8scrapy-splash简介
9scrapy-splash实战
10scrapyd环境搭建
day43
1.PyEcharts环境配置
2绘制柱状图html5
3jupyter绘图
4柱状图第一个
5柱状图详细参数
6绘图技巧
7柱状图迁移
8折线图
9地图绘制
10可视化简历
11flask入门
12flask数据可视化
day44
1硬盘数据检索
2内存数据检索
3数据清洗
4区域分类
5区域分类的绘图
6省份分类的绘图
7年龄分类绘图
作业
day45
1web可视化框架小结
2web可视化产出图片pdf网页js
3web多个页面page展示
4matplotlib简介
5matplotlib折线图
6matplot中文乱码
7matplotlib条形图和直方图
8matplotlib散点图
9matplotlib波浪图
10matplotlib饼图
day46
1.matplotlib
day47
1seaborn绘图
day48
1爬虫小结
2scrapy的简单小结
3scrapy代码中整合日志
4scrapy的统计功能计数
5判断scrapy的网页登陆状态
6scrapy-信号控制
7scrapy发送邮件
8scrapy爬虫控制状态telnet
9scrapy小结
10scrapyd安装与运行监测
11scrapd部署爬虫
12作业
day49
1python2的特点
2python3的特点
3python3urllib.request代码升级url编码模拟浏览器http信息等等
4python3urllib.request代码升级postget协议代{过}{滤}理服务器以及日志错误
5python3代码升级cookie
6python3升级CSDN模拟登陆
7python3模拟登陆千锋
8python作业
day50
1python2单文件爬虫代码升级
2python2多文件爬虫代码升级
3升级scrapy-python2
4升级scrapy多个代码结构
5英文翻译代码python2升级
6翻译代码写入新文件wmv
7百度AI活动
8布隆过滤器
9md5用于对比字符串文件
10MD5集合布隆过滤器
11爬虫的功能小结
12中文乱码问题小结
13项目介绍小结
14阶段忄生小结
15scrapyd远程部署
16scrapy作业
升级百度
哈希查找
病毒链接
day51
1知乎与云打码识别验证码的回顾
2scrapy模拟登陆与cookie的回顾
3自动化运维概念
4pyutil安装使用
5pyutil抓取CPU与内存信息
6.psutil抓取硬盘网络系统信息
7psutil抓取进程信息
8IPY子网规划
9pythonDNS解析
下载地址
链接:https://pan.baidu.com/s/1T_FM2a0l9NyHmGUMZ0QfJw 密码：keer 解压密码： www.mukedaba.com