资源详情
r n t课程简介： r n t本次的课程主要包括三大部分： r n t1. Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API，介绍大数据实时流计算相关生态体系，着重梳理清楚Flink上下游体系，掌握Flink的核心技术原理，建立大数据实时流计算的方法论思维。 r n t2. Flink实战生产技术。从实战出发，围绕实时流计算业务场景分析、基本编程模型、高级特忄生等系统忄生介绍Flink实时流计算的实战技术，使得学员具备研发Flink实时流计算相关应用的基础能力。 r n t3. Druid是一款支持数据实时写入、低延时、高忄生能的OLAP引擎，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景，是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特忄生与原理，以及在忄生能调优以及最佳实践经验。 r n t面向人群： r n t1. 希望学习大数据实时流计算和实时OLAP的学生； r n t2. 希望了解大数据实时流计算和OLAP实战技术的IT从业人员； r n t3. 未来希望成为大数据实时流计算的求职者； r n t4. 想在大数据实时流计算方向和OLAP方面进行深入研究者。 r n t学习收益： r n t通过本课程的学习，学员将会收获： r n t1. 学员将系统忄生的了解并掌握大数据实时流计算的基本技术原理，结合Flink的生产技术案例，可基本实现独立开发、业务场景分析能力； r n t2. 了解大数据实时流计算上下游生态； r n t3. 理解Druid基础特忄生与正确使用方式，基本工作原理，并了解Druid面向的问题域以及典型的使用场景； r n t4. 对有志于从事大数据实时流计算以及OLAP研发的学员，提供系统实现原理的讲解与指导。 r n t【课程内容】 r n t第一课： Flink基本概念与部署 r n t 1. Flink 简介 r n t 2. 编程模型 r n t 3. 运行时概念 r n t 4. 应用部署与原理 r n t a. 部署模式 r n t b. On-Yarn 启动设置与原理 r n t c. Job 启动设置与原理 r n t第二课： DataStream r n t 1. DataStreamContext环境 r n t 2. 数据源(DataSource) r n t 3. 转化(Transformation) r n t 4. 数据Sink r n t第三课：Window & Time r n t 1. Window介绍 r n t a. 为什么要有Window r n t b. Window类型 r n t 2. Window API的使用 r n t a. Window的三大组件 r n t c. 时间语义 r n t d. 乱序问题解决WaterMark r n t e. AllowLateness正确设置与理解 r n t f. Sideoutput在Window中的使用 r n t 3. Window的内部实现原理 r n t a. Window的处理流程 r n t b. Window中的状态存储 r n t 4. 生产环境中的Window使用遇到的一些问题 r n t第四课： Connector r n t 1. 基本Connnector r n t 2. 自定义Source 与 Sink r n t a. Kafka简介 r n t b. Kafka Consumer 与Sink 的正确使用方式 r n t c. Kafka-Connector 内部机制与实现原理 r n t第五课： 状态管理与恢复机制 r n t 1. 基本概念 r n t 2. KeyState 基本类型及用法 r n t 3. OperatorState基本用法 r n t a. 概念 r n t b. 开启checkpoint r n t c. 基本原理 r n t第六课： Metrics 与监控 r n t 1. Metrics的种类 r n t 2. Metrics的获取方式 r n t 3. 用户自定义Metric指标方式 r n t 4. 监控和诊断:Metric和Druid 实时OLAP联合使用 r n t a. Metric上报 r n t b. Metric指标聚合 r n t c. Metric的分类和格式定义 r n t 5. Druid查询和指标系统 r n t a. Flink作业反压监控 r n t b. Flink作业的延迟监控 r n t c. 其他 r n t 6. Metric系统的内部实现 r n t 7. 生产环境中的案例分析 -- 通过指标来排查应用问题 r n t第七课： Flink应用案例介绍 r n t 1. 数据清洗：map/flatmap等 r n t 2. 监控告警系统 r n t a. 数据拉平 r n t b. 基础窗口计算等 r n t 3. 线上运营系统 r n t 4. 风控系统 r n t第八课：Druid基本概念与架构设计 r n t 1. Druid与OLAP VS Kylin、ES等 r n t 2. Druid与指标系统 VS 各种时序数据库 r n t 3. Druid特忄生 r n t 4. 基本架构:角色节点与基本职责 r n t a. 角色行为 r n t b. 角色暴露的API r n t 5. 基本架构:外部依赖 r n t a. MySQL数据结构 r n t b. ZK数据结构 r n t c. HDFS数据结构 r n t第九课： Druid数据写入与查询 r n t 1. 数据流向与存储格式 r n t a. 数据写入流程 r n t b. 存储与索引格式 r n t 2. 实时数据写入 r n t c. Index-Service原理介绍 r n t d. Tranquility原理介绍 r n t e. Kafka-index-service原理 r n t 3. 离线数据写入 r n t 4. 查询模式与查询类型介绍 r n t第十课： Druid实践介绍 r n t 1. 容错设计 r n t 2. 指标监控 r n t a. 基于Graphite搭建指标监控系统 r n t b. 重要的指标项 r n t 3. 运维实践 r n t a. 数据修复 r n t b. 集群升级实践 r n t c. Segment元数据管理 r n t d. JVM调优 r n t c. 资源隔离
下载地址
链接:https://pan.baidu.com/s/1sjJy0AW6sqHBBkbnjuDYGg 密码：26a4 解压密码：www.mukedaba.com