最新大数据24期 共十天高清视频教程 附课件源码(完结),全套视频教程学习资料通过百度云网盘下载

最新大数据24期 共十天高清视频教程 附课件源码(完结),全套视频教程学习资料通过百度云网盘下载

资源详情

                      

据24期-01-JavaSE基础-15天

第一天:

01.什么是计算机软件
02.什么数据软件开发–利用编程语言来写剧本
03.什么是jdk–怎么安装jdk
03.什么是jdk–怎么安装jdk
04.安装启动eclipse
04.安装启动eclipse
05.配置eclipse的字体和布局
06.新建一个java的类的步骤
07.第一个java编程作品–HelloWorld
08.java中的变量定义和变量赋值语法
09.第一个java程序中的知识点梳理–终端输入–终端输出
10.第二个java编程作品–数字运算
11.第二个java作品所涉及的知识点–string转int–数字运算符
12.第二个java作品的扩展–加减乘除–float和double类型
13.逻辑判断控制语法–if-else的结构–字符串是否相等的比较方法equals
14.if语句中的条件其实是一个布尔值–或者布尔运算表达式的结果

第二天:

01.内容复习–作业题讲解
02.循环控制语法示例–将猜数字游戏改造成可以连续猜
03.循环控制语法–for循环
04.数组的应用案例–多门课程的总成绩和平均成绩计算
05.数组遍历案例–求最大值最小值
06.冒泡排序算法在数组上的实现
07.java的面相对象编程–类和对象的概念及基本使用
08.类和对象的基本使用演示
09.类和对象的使用示例2–商品类和商品信息管理

第三天:

01.变量定义重新梳理
02.数组中数据的操作方法
03.类和对象的梳理
04.java编程逻辑控制语法精髓
05.类中的构造方法定义及在创建对象时的使用方法
06.类和数组的综合练习–字符串切割

第四天:

01.集合数据类型arraylist的基本使用示例
02.关于导包的注意事项
03.关于arraylist和数组之间的区别
04.arraylist的脚标越界演示
05.arraylist中装自定义类型的数据演示
06.arraylist求最大值-排名前n个-以及方法的定义和使用
07.方法定义和使用的再次演示
08.各种方法的定义–方法参数–方法重载
09.排序和打印list的方法演示
10.排序方法练习错误解析–关于返回值
12.排序方法练习错误解析–关于如何调用方法
13.关于静态方法(类的方法)和成员方法(对象方法)
14.工具方法定义和使用练习讲解
15.订单类的模拟设计和订单对象创建测试
16.今日知识总复习梳理

第五天:

01.大型面向对象编程–LOL游戏英雄–建模需求
02.public和private的区别和深刻编程思想
03.LOL英雄面向对象建模的代码实现示范
04.自动售货系统的需求说明及菜单开发
05.tostring方法的作用和写法
06.商品管理功能类的开发–定义商品list–定义添加商品的方法–展现商品的方法
07.造商品数据-并完成商品展现功能
08.添加商品到购物车的功能类实现
09.打印购物车信息的方法实现

第六天:

01.到day05为止的所有知识总复习
02.购物系统的购物车功能完善
03.购物系统的购物车功能完善–再次补充-将查找商品信息的逻辑封装到商品管理器中
04.hashmap集合的基本特性–key–value
05.hashmap的最常用功能的使用示例
06.hashset的使用和迭代器的使用和增强for循环的使用
07.hashmap和hashset的应用练习
08.hashmap的应用练习2–找重名商品

第七天:

01.day06作业题讲解1-4
02.day06作业题讲解5
03.day06作业题讲解6
04.软件系统通用三层架构解释
05.自动售货系统的架构设计
06.面向对象编程中的–面向接口编程–接口的基本特性和使用
07.面向接口编程的示例2–用户登录注册系统开发–接口开发–界面开发
08.面向接口编程的示例2–业务层的实现–dao层的接口定义
09.面向接口编程的示例2–联调测试
10.模拟数据库Database类为何要将userMap修饰成public和static的原因
11.junit测试框架的基本使用
12.对象的构造过程–jvm先加载class–执行静态代码块–构造函数
13.day01-day07的语法知识梳理
14.考试题

第八天:

01.考试02讲解–基本题
02.考试02讲解–复杂题–service层实现
03.考试02讲解–复杂题–dao层实现
04.接口应用案例–通用排序工具开发
05.泛型参数的基本概念
06.利用泛型参数来开发一个更通用的排序工具–匿名内部类传递匿名对象的语法
07.jdk自带list排序工具Collections的用法
08.Collections排序工具的另一种用法-不传比较器而是让数据类自己实现compareTo方法
09.day08知识梳理

第九天:

01.java文件io体系之——File工具类使用
02.计算机中的信息编码机制
02.计算机中的信息编码机制
03.计算机对信息的存储机制总结梳理
03.计算机对信息的存储机制总结梳理
04.java-io体系最底层工具-字节流-FileInputStream文件输入流工具概念介绍
05.fileinputstream的最基本使用–逐个字节读取并转码
06.利用byte数组来让FileInputStream一次读取连续的多个字节
07.利用while循环和byte数组进行反复读取
08.利用FileInputStream来按行读取数据
09.利用bufferedreader来按文本数据读取文件
10.如何让bufferedreader正确读中文数据
11.课堂练习
12.课堂练习编码实现
13.阶段性知识梳理
14.fileoutputstream字节输出流的基本使用
15.bufferedwriter的基本使用–及如何指定编码集–字符串和数在写文件时的区别和联系
16.文件读写应用练习案例

第十天:

01.dataoutputstream和datainputstream的基本概念和使用
02.dataoutputstream和datainputstream的更多数据类型的读写
03.datastream的对象数据存取练习
04.序列化和反序列化的概念
05.利用objectoutputstream和objectinputstream来直接存取对象
06.利用objectstream来存取list-map等复杂类型对象
07.利用objectstream来模拟商品-订单数据管理练习
08.java中的异常处理基本概念
09.java中的异常处理知识点梳理和模板代码示例
10.继承语法的基本概念和使用方法
11.继承语法的基本概念之–方法重写
12.继承语法的模板代码和知识点梳理
13.抽象类的基本概念和使用
14.抽象类的知识梳理和模板代码
15.反射的基本概念和使用
16.反射结合面向接口编程实现一个简易框架

第十一天:

01.反射机制知识梳理
02.反射机制中的方法调用–方法应该在对象上调用
03.线上购物系统–概要设计–用户管理模块详细设计
04.dao层功能-添加用户实现及测试
05.用户管理模块dao层的功能全实现及测试
06.商品管理模块dao层的功能全实现
07.用户管理模块service层的功能实现实现
08.商品管理模块的交互层功能设计和service层功能设计
09.商品管理模块的service层接口定义
10.商品管理模块的dao层接口定义
11.商品管理模块的service层实现类开发
12.商品管理模块的dao层实现类开发

第十二天:

01.购物车模块的需求分析–交互层功能设计
02.购物车模块的需求分析–service层功能设计
03.购物车模块的service层–接口定义
04.购物车模块的数据模型分析设计
05.购物车模块需求分析–dao层功能设计
06.购物车模块的dao层–接口定义
07.购物车模块的service层–实现类开发
08.购物车模块的dao层和service层重构–实现了service的添加商品到购物车功能
09.购物车模块的dao层–实现类开发–添加新用户和商品项到购物车
10.购物车模块的dao层–实现类开发–根据userid和pid取购物项–以及测试

第十三天:

01.类和对象之间的关系及静态成员和非静态成员的关系
02.计算机网络通信基本概念
03.socket编程服务端程序demo编写
04.socket编程客户端程序demo编写并运行测试
05.服务端一次接收多个字节的数据改造
06.将程序改造成交互通信(只能一次交互)
07.将程序改造成多次交互通信
08.把服务端改造成可以常驻服务
09.单线程服务器的弊端
10.多线程的形象比喻解释
11.多线程的简单demo实现及相关疑问解答
12.如何向一个runnable对象中传递数据
13.利用多线程来改造上午的socket服务端程序
14.在文件中快速定位数据的设计思想–让数据有组织有规律地存储
15.写代码实现将数据按照固定长度和规则写入文件
16.在文件中快速查找数据的代码开发
17.全天知识点梳理–考试题布置

第十四天:

01.作业题讲解–根据名称查找商品的功能实现
02.作业题讲解–将数据查询功能改造成网络服务
03.作业题讲解–服务端查询数据功能测试
04.作业题讲解–服务端根据名称查询商品的功能实现和测试
05.2维数组的介绍和使用
06.2维数组的各种语法–定义–赋值–赋初值–遍历
07.三元表达式的用法
08.do-while控制语法
09.continue和break的用途区别
10.匿名内部类的使用–普通类的子类–接口的实现类
11.反射的基本语法复习
12.反射与属性配置文件的加载结合案例
13.动态代理的通俗解释和基本运作机制
14.动态代理的示例代码开发
15.RPC机制解析
16.将newBidbServer的客户端改造成rpc调用
17.day14知识梳理

第十五天:

01.动态代理和静态代理的区别联系
02.多线程的基本使用复习
03.线程安全问题出现的原因及解决思路
04.线程安全问题解决方案synchronized的使用
05.单例设计模式的两种基本写法–懒汉式–饿汉式
06.单例设计模式在考虑线程安全问题下的改造
07.json数据格式介绍
08.json解析工具gson的基本使用
09.命令行初学–javac命令–环境变量配置
10.用命令行java命令来执行一个类的main方法
11.用命令行java命令来执行一个需要用到别的类甚至别的jar包的程序
12.命令行jar命令将工程代码打成jar包

大数据24期-SpringMVC Mybatis 汽配城-8天

Mybatis第一天:

1.课程介绍
10.mybatis中类的别名定义
11.properties属性的配置
12.mapper文件的两种引入方式
2.mybatis介绍
3.原生态jdbc存在的问题
4.mybatis入门案例
5.mybatis基本增删改查案例
6.mybatis的工作原理以及开发流程
7.mybatis解决jdbc问题
8.mybatis开发原始dao和mapper代理dao
9.mapper代理开发dao的注意事项以及优势

Mybatis第二天:

1.输入映射
2.模拟用户登录案例
3.resultMap的用法
4.动态标签商品查询案例
5.动态标签模拟商品批量删除
6.商品订单模型sql
7.mybatis开发一对一查询和映射
8.mybatis开发一对多高级映射
9.mybatis逆向工程生成代码

Mybatis第三天:

1.输入映射
2.模拟用户登录案例
3.resultMap的用法
4.动态标签商品查询案例
5.动态标签模拟商品批量删除
6.商品订单模型sql
7.mybatis开发一对一查询和映射
8.mybatis开发一对多高级映射
9.mybatis逆向工程生成代码

Mybatis第四天:

1.springmvc的参数绑定
10.系统的session过滤和权限拦截的实现思路
2.get请求和post请求乱码处理
3.springmvc的高级参数绑定
4.requestmapping注解的详细使用
5.请求转发和重定向到处理器
6.图片上传的功能分析
7.springmvc实现图片上传的功能
8.json注解支持
9.Springmvc对restful的支持

Mybatis第五天:

1.springmvc***的简单例子
2.springmvc做session拦截以及session的介绍
3.复习
4.spring的IOC介绍以及入门案例
5.spring的DI案例
6.bean的三种构造方式
7.spring注解开发案例
8.常用注解的使用

Mybatis第六天:

1.ssm框架整合
2.ssm框架整合
3.登录功能
4.商品查询
5.商品删除
6.商品添加
7.商品修改

Mybatis第七天:

1.动态代理
2.反射机制复习
3.springAop的原理
4.springAop进行ssm项目的事务管理

Mybatis第八天:

1.背景介绍
2.系统的功能需求介绍(注册模块)
3.系统的功能需求介绍(企业管理模块)
4.系统的功能需求介绍(员工管理模块)
5.系统的功能需求介绍(我的货架和公共货架模块)
6.系统的功能需求介绍(询价单和历史记录模块)
7.系统的功能需求介绍(首页模块)
8.系统的数据库设计

大数据24期-03-Linux基础进阶(开发人员必备)-3天(不想做Java开发的从这开始看)

第一天:

01.为什么要学习linux
02.Linux简介
03.vmware简介&软件安装
04.Linux学习方法
05.Linux目录结构
06.Linux常用命令-文件处理命令1
07.Linux常用命令-文件处理命令2
08.文件处理命令
09.Linux帮助命令
10.常用命令总结
11.复习
12.Linux查找命令
13.压缩解压缩命令
14.系统关机命令&学习技巧
15.vim工作模式&插入命令&定位命令
16.VIM复制剪切删除命令
17.vim替换取消&搜索替换&可视化模式
18.linux网络NAT配置&远程连接

第二天:

01.复习
02.常用命令作业解答
03.linux环境配置&&磁盘管理命令&&用户管理命令
04.Linux进程管理命令
05.权限理解
06.权限修改
07.复习
08.软件包管理rpm&&yum
09.本地yum源配置
10.使用minimal安装linux
11.制作模板机&拍摄快照&克隆虚拟机
12.克隆后虚拟机配置
13.scp&&ssh&&配置免密登录
14.安装jdk
15.secure常用配置&配置yum源说明

第三天:

01.复习&&免密登录原理
02.三种网络配置
03.jdk安装复习
04.shell基础知识
05.shell脚本的创建&&shell脚本执行
06.shell变量的定义&分类
07.用户自定义变量&&环境变量
08.位置参数变量&&预定义变量
09.上午复习
10.read命令
11.shell中的运算符
12.条件测试
13.shell流程控制语句if&case&for&while
14.shell自定义函数&&shell脚本调试
15.awk命令
16.sed命令
17.定时器
18.bash常用命令

大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天

第一天:Hadoop-集群安装部署

01.大数据基本概念–课程内容介绍
02.大数据应用场景介绍
03.HDFS的整体工作机制介绍
04.HDFS集群搭建–服务器-网络配置准备
05.JDK安装和基础环境配置–环境变量–域名映射
06.HDFS集群部署启动
07.HDFS的命令行客户端基本操作–DATANODE存储文件块的观察
08.HDFS的命令行客户端常用命令演示
09.业务系统中日志生成机制和代码展示
10.HDFS的java客户端api基本使用–客户端参数加载机制深入理解
11.HDFS的不同进程使用不同参数–但写在一个文件中
12.在windows环境中开发hadoop程序需要配置的本地环境
13.HDFS的java客户端API常用操作方法的使用演示

第二天:Hadoop-HDFS工作机制

01.自开发分布式数据采集系统–系统流程设计–采集任务逻辑实现
02.自开发分布式数据采集系统–备份数据清理任务实现
03.自开发分布式数据采集系统–可配置化改造–单例设计模式的运用
04.HDFS的读文件内容的输入流使用示例–顺序读取–随机读取
05.HDFS的写数据到文件的输出流使用示例
06.HDFS版wordcount程序的开发实现–框架式开发
07.HDFS工作机制–namenode元数据管理–checkpoint
08.HDFS工作机制–客户端写数据到HDFS的流程
09.HDFS工作机制–客户端从HDFS读数据的流程

第三天:Hadoop-MapReduce与Yarn详解

01.mapreduce分布式计算框架的整体工作机制
02.用mapreduce来实现wordcount的思路设计
03.mapreduce实现wordcount的逻辑代码
04.yarn集群的功能和大体机制介绍
05.yarn集群安装启动
06.在windows系统中运行job客户端来提交mapreduce程序到yarn上去执行

第四天:Hadoop-MapReduce编程案例1

01.nodemanager资源总量配置问题–maven工程插件缺失问题
02.mapreduce数据输入输出类型的序列化问题–明确jobsubmitter只是一个用于提交mr-job的客户端工具程序
03.mapreduce编程模型和具体实现框架之间的概念关系
04.mapreduce程序提交的方式2——在集群上的机器上启动提交客户端
05.mapreduce程序提交方式3–直接在windows平台上以本地模式运行mapreduce程序
06.mapreduce本地运行debug调试观察
07.mapreduce编程中自定义类型的序列化接口实现方式
08.mapreduce编程案例–流量统计求和–自定义数据类型
09.mapreduce编程案例–页面访问次数topn的编程模型设计–treemap的使用
10.mapreduce编程案例–页面访问次数topn的实现–如何向map和reduce方法中传递外部参数
11.mapreduce编程案例–页面访问总次数的全局倒序排序
12.mapreduce编程案例–流量统计按归属地输出–设计思想–控制数据分发规则–partition
13.mapreduce编程案例–流量统计安归属地输出–代码实现–自定义Partitioner的实现

第五天:Hadoop-MapReduce编程案例2

01.mr编程案例–文档索引创建–输入切片–文件切片
02.mr编程案例–求分组topn的简单实现
03.mr编程案例–高效求分组topn的原理机制解析
04.mr编程案例–高效求分组topn的代码实现
05.mr编程案例–共同好友统计案例实现
06.mapreduce框架内部核心工作机制详解
07.mr编程案例–替换默认的文本输入输出组件为sequence文件输入输出组件

第六天:Hadoop-Zookeeper详解

01.mapreduce编程模型–及hadoop中的具体实现框架–复习
02.mapreduce编程案例–join算法的代码实现
03.mapreduce数据倾斜–利用Combiner组件 maptask端局部聚合数据来减轻倾斜影响
04.mapreduce编程案例–数据倾斜的通用解决方案–打散倾斜的key
05.mapreduce程序在yarn上的运行过程实验观察
06.hadoop-HA机制整体解析–引入zookeeper
07.zookeeper快速上手–功能总结
08.zookeeper应用场景举例–服务器上下线动态感知–配置文件同步管理
09.zookeeper集群安装部署–自动批量启动脚本编写
10.zookeeper命令行客户端的功能测试
11.zookeeper的数据节点类别–短暂–持久–带序号
12.zookeeper的java客户端api基本功能操作示范
13.zookeeper的java客户端api的监听功能代码示范
14.zookeeper的客户端工作线程–sendThread–eventThread-守护线程
15.利用zookeeper开发分布式应用系统案例–服务端实现
16.利用zookeeper开发分布式应用系统案例–客户端实现–运行测试

第七天:Hadoop-HA-Hive安装部署与HQL

01.hadoop的HA机制原理解析
02.hadoop的HA集群搭建示范
03.hadoop的HA集群的客户端编程注意点
04.hive的基本功能机制和概念
05.mysql的安装详细步骤
06.hive的安装和基本使用
07.hive
08.hive的脚本化运行使用方式
09.hive的基本语法–建表语法
10.hive的基本语法–内部表和外部表
11.hive的基本语法–CTAS建表
12.hive的基本语法–数据导入–从本地–从hdfs

第八天:Hadoop-Hive函数与HQL详解

01.hive查询语法–基本查询–条件查询–关联查询
02.hive查询语法–分组聚合–groupby查询–where过滤和having过滤的区别
03.hive查询语法–子查询
04.hive数据类型–复合类型–array数组类型的使用
05.hive数据类型–复合类型–map类型的使用
06.hive数据类型–复合类型–struct结构类型的使用
07.hive内置函数–类型转换cast–数学运算函数
08.hive内置函数–时间-日期-字符串–函数
09.hive内置函数–表生成函数–行转列explode–lateral-view
10.hive-day01-作业题

第九天:Hadoop-Hbase安装部署与详解

01.hive内置函数–集合函数–条件控制函数
02.hive内置函数–窗口分析函数–row_number_over
03.hive窗口分析函数–应用场景–累积报表–用传统方法实现
04.hive窗口分析函数–累积报表–用sum-over函数实现
05.hive中如何自定义函数–json解析函数示例
06.hive中的json解析函数–json-tuple
07.日新-日活用户统计sql开发–shell脚本
08.hbase基本概念介绍–数据库–nosql数据库
09.hbase的核心特性–基于hdfs-分布式数据管理–表结构
10.hbase的整体工作机制–集群角色功能介绍–存储机制
11.hbase集群搭建–及其各种机制的观察–hdfs中的目录–zookeeper中的状态数据
12.hbase客户端读写数据时的路由流程
13.hbase的工作机制补充–regionserver数据管理–内存缓存热数据–持久化到hdfs的观察
14.hbase中判断数据是否在一个持久化文件中的机制–布隆过滤器
15.hbase的java客户端操作–表定义管理

第十天:Hadoop-Flume安装部署与Hbase结合使用案例

01.hbase客户端编程DML-数据插入
02.hbase客户端编程DML–get查询数据
03.hbase客户端编程DML–范围查询–scan
04.hbase应用综合练习题
05.flume概念介绍及工作机制解释
06.flume的安装–解压即可
07.flume采集配置案例–采集目录中的新文件到HDFS中–配置详解
08.flume采集配置案例–采集文件新增内容到HDFS
09.flume采集配置案例–多级agent串联
10.hadoop离线分析项目案例–app后台数据分析整体架构-流程-说明
11.hadoop离线分析项目案例–数据预处理需求说明

第十一天:Hadoop-App数据分析与日活跃用户统计

01.app数据分析–预处理程序开发
02.app数据分析–预处理程序继续改造
03.app数据分析–预处理程序的脚本开发和启动测试
04.app数据分析–日活用户统计开发
05.app数据分析–日新用户统计开发
06.app数据分析–日新用户维度报表统计

第十二天:Hadoop-app-sqoop

01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点
02.app数据统计分析案例–次日留存用户统计分析
03.app数据统计分析案例–版本升级轨迹信息抽取
04.sqoop的基本概念–安装-测试
05.利用sqoop将mysql中的数据导入hdfs和hive
06.利用sqoop将hdfs和hive中的数据导出到mysql
07.app数据统计–hive报表迁移到mysql–充分注意编码统一
08.hadoop-mapreduce编程考试题需求说明
09.java基础拾遗–类的加载和对象的构造过程
10.java基础拾遗–匿名内部类的应用–实现scala中的集合map方法
11.java基础拾遗–匿名内部类语法详解

大数据24期-05-ElasticSearch-2天

第一天:

01全文检索概念
02Lucene的API介绍
03Lucene的API介绍
04Lucene的API介绍和IK分词器
05Lucene的API介绍-复杂查询
06ElasticSearch简介
07ES和Solr的对比
08CentOS7的安装
09CentOS7的特殊命令
10keepalived说明
11虚拟keepalived的ip配置
12Echarts的使用
13echart读取后端的数据
14百度地图热点图的使用

第二天:

01ES的简介
02ES集群安装
03ES的REST风格API
04ES的REST风格查询API
05ES的Head插件安装-1
06ES的Head插件安装-2
07ES的ik分词器插件安装
08ES的JavaAPI-1
09ES的JavaAPI-2
10ES的JavaAPI创建Mapping
11ES的Java聚合查询-1
12ES的Java聚合查询-2
13ES的SQL插件

大数据24期-06-Spark安装部署到高级-10天

第一天:spark-01-安装部署环境搭建

01Spark简介
02spark安装包下载
03spark集群安装-1
04spark集群安装-2
05spark高可用集群安装-1
06spark高可用集群安装-2
07提交第一个spark程序
08spark shell运行wordcount
09spark任务执行流程简介
10Yarn和spark的对比
11在idea中用scala编写WordCount
12在idea中用java编写WordCount
13在idea中用java lambda编写WordCount
14本地调试spark程序

第二天:spark-02-Rdd介绍与使用

01RDD简介
02RDD介绍
03创建RDD的方式
04RDD的Transformation-1
05RDD的Transformation-2
06RDD的分区数量
07HDFS读取数据分区的数量
08mapParitionWithIndex
09RDD的aggregate方法
10RDD的AggregateByKey方法
11collect方法执行过程说明
12foldByKey方法
13foreach和foreachPartition
14作业和总结

第三天:spark-03-TopN与WordCount执行过程详解

01RDD复习
02CombineByKey方法
03最受欢迎老师
04每个学科最受欢迎老师TopN-1
05每个学科最受欢迎老师TopN-2(过滤多次提交)
06每个学科最受欢迎老师TopN-3(自定义分区器)
07每个学科最受欢迎老师TopN-1(减少shuffle)
08WordCount执行过程详解-1
09WordCount执行过程详解-2

第四天:spark-04-Spark案例讲解

01回顾
02RDD的cache
03cache部分数据
04cache的补充说明
05RDD的checkpoint机制
06根据ip计算归属地的需求
07单机程序计算ip归属地
08广播变量
09广播变量的使用
10根据IP地址计算归属地实现-1
11根据IP地址计算归属地实现-2
12将数据写入到MySQL中

第五天:spark-05-自定义排序与切分Stage

01内容回顾
02自定义排序-1
03自定义排序-2
04自定义排序-3
05自定义排序-4
06自定义排序-5
07JDBC RDD
08JDBC RDD使用注意事项
09Spark执行过程简介
10构建DAG
11切分Stage过程-1
12切分Stage过程-2
13切分Stage过程-3
14切分Stage过程-4
15线程池介绍
16序列化复习
17Spark整体执行流程
18SparkCore阶段总结

第六天:spark-06-spark SQL简介与案例详解1

01复习
02复习
03序列化问题
04函数中引用一个Driver端的一个类的实例
05函数中引用一个Driver端的一个objec1
06在EXecutor中初始化一个object
07一个Executor中多个Task的多线程问题
08spark SQL简介~1
08spark SQL简介~2
09sparkSQL1.x案例-1~1
10sparkSQL1.x案例-2
11sparkSQL1.x案例-3
12sparkSQL2.x案例-1
13spark2.x的sql方式的wordcount
14spark2.x DataSet方式的api

第七天:spark-07-spark SQL案例详解2

01复习-01
02复习-02
03spark sql的join
04dataframe的join
06用SQL根据IP地址计算归属地
07使用广播变量实现mapsidejoin
08几何平均数说明
09自定义聚合函数
10Dataset介绍
11spark2.0的特性
12sparkSQL的JDBC数据源
13写入多种文件格式
14json数据源
15csv数据源
16parquet数据源

第八天:spark-08-SparkStraming简介与kafka0.8集群安装

01sparkSQL补充
02sparkSQL的join-1
03sparkSQL的join-2
04spark整合hive
05spark整合hive
06实时计算介绍
07SparkStraming简介
08实时计算架构简介
09kafka相关概念介绍
10kafka0.8集群安装
11kafka的java api

第九天:spark-09-Kafka分区、DStream与直连方式实现

01复习0
02Kafka分区的相关知识
03sparksteaming原理简介
04DSteam简介
05第一个sparkSteaming程序
06sparkSteaming程序整合kafka
07可以更新状态累加的WordCount
08深入理解DStream
09DStream深入理解
10Receiver方式和直连方式介绍
11直连方式实现-1
12直连方式实现-2
13直连方式实现-3

第十天:spark-10-Redis与SparkSteaming

01复习
02Redis介绍
03Redis基本使用
04Redis连接池
05sparkSteaming程序计算多个指标
06sparkSteaming执行过程说明
07计算省份成交量
08sparkSteaming程序综合测试
09spark-on-yarn-01
10spark-on-yarn-02

大数据24期-07-Scala基础到高级-共5天

第一天:day01-Scala简介与基本语法

01.Scala语言的特点
02.Scala SDK的安装说明
03.Windows下安装Scala SDK
04.Idea中创建一个Scala工程
05.Scala 函数编程—wordCount
06.变量定义及条件表达式
07. 回顾及补充if会返回值问题
08.循环语句for及yield关键字
09.运算符重载成方法
10.Scala中定义方法和函数
11.传值调用和传名调用

第二天:参数、函数、集合、数组

01.回顾
02.可变参数
03.参数的默认值
04.高阶函数
05.部分参数应用函数
06.柯里化函数
07.偏函数
08.数组的map-flatten-flatMap-foreach操作及wordCount
09.下午回顾
10.集合的常用操作
11.Set Map 元组的使用

第三天:类的成员详解

01.回顾
02.Scala中的object对象及apply方法
03.Scala中类的定义及构造器的使用
04.Scala类的构造器访问权限
05.Scala类的成员属性访问权限
06.Scala中的类的访问权限(可见性)
07.Scala中的伴生对象
08.下午回顾
09.Scala中的并行化集合
10.Scala 特质 Trait定义使用
11.Scala中混入特质的两种方式
12.Scala中得抽象类abstract
13.Scala中得final和type
14.Scala中样例类和样例对象
15.继承时的一些问题
16.Scala中得模式匹配—match case

第四天:Akka Actor介绍

01.Akka Actor介绍
01.回顾
02.Actor工作机制
03.Actor与Actor之间传递消息机制
04.案例–HelloActor
05.龙哥大战峰哥—乒乓球—Actor
06.edu智能机器人答疑—服务端和客户端交互
07.服务端客户端消息传递详解
08.Spark Master和worker通信过程概述

第五天:Spark底层通信与Scala隐式

01.回顾
02.Spark底层通信—Worker向Master注册自己
03.Spark底层通信—Master存储Worker注册过来的数据
04.Spark底层通信—Woker启动一个调度器定期向master发送心跳
05.Spark底层通信—Master收到心跳信息后更新心跳时间并删除超时worker
06.启动Master和worker本机测试
07.master worker打包部署到linux多态服务测试
08.Scala中的隐式参数
09.Scala中的隐式的歧义性
10.Scala中的隐式类型转换—File—RichFile
11.Scala中的隐式类
12.Scala中的泛型
13.Java中的Comparable–Comparator和Scala中的Ordered–Ordering
14.Scala中的上界–upper bounds
15.Scala中的视图界定–view bounds
16.Scala中的上下文界定–context bounds
17.上界下界的图解说明

大数据24期-共享单车项目-8天

第一天:共享单车项目-1-项目简介微信小程序

01kafka集群问题
02项目介绍-1
03项目介绍-2
04项目涉及的技术
05微信小程序演示
06创建微信小程序
07微信小程序显示地图
08微信小程序添加事件
09后台程序说明
10SpringBoot简介
11编写SpringBoot单车后台web项目
12后台web项目和微信小程序联调

第二天:共享单车项目-2-Mongodb统计UV-PV

01mongo简介
02mongo的安装
03设置mongo的用户名和密码
04mongo的基本操作
05mongodb的基本操作
06后台管理页面
07向mongo中记录log数据
08统计pv和uv指标

第三天:共享单车项目-3-Nginx负载均衡

01项目总体架构
02nginx的简介和安装
03nginx配置负载均衡
04nginx安装kafka插件
05小程序对接nginx-kafka

第四天:共享单车项目-4-Flume与Kafka

01flume知识回顾
02自定义可记录偏移量的TailFileSouce-1
03自定义可记录偏移量的TailFileSouce-2
04自定义可记录偏移量的TailFileSouce-3
05KafkaChannel介绍
06KafkaChannel的使用方式
07KafkaChannel的具体使用
08自定义***
09更好用的TailDirSouce

第五天:共享单车项目-5-短信验证与充值业务

01flume问题回顾
02共享单车业务流程介绍
03短信验证业务流程
04短信验证代码实现
05注册交押金身份认证代码实现
06充值业务实现
07短信代码缺少依赖解决
08腾讯地图短信api
09记录充值行为日志

第六天:共享单车项目-6-Flume与Kafka充值、短信指标

01flume数据采集架构
02将kafka中的数据同步到hdfs中
03充值相关指标介绍
04活动参与相关指标

第七天:共享单车项目-7-查找附近的单车实现与Redis集群部署

01springboot的mongodb相关注解
02springboot的mongodb的geo注解使用
03查找附近的单车实现-1
04查找附近的单车实现-2
05查找附近的单车实现-3
06redis集群架构简介
07redis集群配置-1
08redis集群配置-2
09redis集群测试

第八天:共享单车项目-8-报修与骑行

01报修和骑行模块
02mongodb集群介绍
03mongodb分片和副本集介绍
04mongodb集群安装-1
05mongodb集群安装-2
05spark整合mongodb集群
06springboot整合mongodb集群
07mycat介绍
08mycat安装-1
09mycat安装-2
10指标说明和作业

下载地址

链接: https://pan.baidu.com/share/init?surl=lGhLeyCt22O6AlclIqPOWQ 提取码: 7a7h 解压密码:www.17zixueba.com

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论