资源详情
课程名称及简介 《Hadoop进阶》:本课程面向Hadoop高阶学习者,具有一定Hadoop系统使用经验,结合大规模使用Hadoop的实践经验,了解和掌握HDFS构建、Hadoop工具使用、调试优化,问题分析,通过分析示例掌握大量实际使用的经验,很多实战内容的示例是很少在网络上找到文档支持。 时间:共六周 培训方式:视频学习 + 在线答疑 + 每周作业 + 结业考试 课程大纲: 授课对象:Hadoop高级、具有一定Hadoop系统使用经验 适用Hadoop版本:兼顾所有Hadoop版本,包括Apache、Hortonworks和CDH发行版 第一部分. MapReduce Mapreduce工作流程及基本架构回顾 运维相关 参数调优 benchmark reuse jvm 错误感知及speculative执行 task日志分析 可容忍错误百分比设置及跳过坏记录 选择fairescheduler等其他调度器优化忄生能 开发相关 数据类型选择 实现自定义wrITable数据类型、自定义key 一个mapper中输出不同类型value InputFormat/OutputFormat,原理及定制 Mapper/Reducer/Combiner,Combiner的使用及其对mapreduce框架优化的作用 Partitioner定制 排序策略GroupingComparator/SortComparator 任务调度原理及修改方法(案例,map/reduce共享slot,按标识精准map/reduce调度) Streaming DistributedCache mapreduce任务间依赖 counter JobChild参数设置 忄生能优化 第二部分. hdfs HDFS API fuse(C API) 压缩 HDFS benchmark Datanode添加及删除 多盘支持,磁盘错误感知 hdfs raid HDFS block size设置相关问题 文件备份数设置 HDFS中合并文件 第三部分. Hadoop工具 dfsadmin/mradmin/balancer/distcp/fsck/fs/job 监控及报警 hadoop配置管理 第四部分. Hadoop调试 Lo 本地模式调试map/reduce任务 远程调试 第五部分. 问题分析 JA危a GC介绍及jA危a进程常用的分析工具jstat、jhat、jmap top/iostat/netstat/lsof等 Jstack/kill -3 Strace nload/tcpdump 第六部分.分析示例 MapReduce简单分析 用MapReduce实现Group-by 用MapReduce实现倒排索引 MpReduce实现直方图 MapReduce实现Join
下载地址
链接:http://pan.baidu.com/s/1hrG3oGk 密码:2e15