资源详情
课程介绍:
整套课程从hadoop入门开始,由浅入深,内置“hadoop源码解析与企业应用开发实战”,“Hive开发实战”,“Hbase开发实战”,“Spark,mahout,sqoop,storm诸模块开发实战”。因为这个课程有4个板块组成,所以学员可以按照自己的实际情况选择学习。例如,对于只需要了解hadoop基本编程的人,只需要选择“hadoop源码解析与企业应用开发实战”模块就可以了;对于立志于从事大数据领域的零起点人员,可以选择四个板块依次学习;对于已经有一定基础的hadoop开发人员,你可以根据自己的情况,选择学习模块,而不必4个板块从头开始学。
第一部分内容:
I. Hadoop的起源与生态系统介绍。要点:
了解什么是大数据;
Google的三篇论文;
围绕Hadoop形成的一系列的生态系统;
各个子项目简要介绍
II. Hadoop集群配置与搭建。要点:
Hadoop安装与部署;
如何写配置文件;
运行简单的wordcount程序;
Hadoop程序结构介绍 实战:
Hadoop系统的安装与部署;
编写配置文件;
编写运行简单的wordcount程序。
预期收获:
了解什么是大数据以及大数据和hadoop的关系;
了解hadoop本身;
学会Hadoop系统的安装和部署;
学会配置hadoop系统;
学会编写简单的wordcount程序;
第二部分内容:
III. Common组件和HDFS组件原理及体系结构介绍。要点:
Hadoop IO机制;
序列化;
压缩;
HDFS副本机制;
HDFS读写机制;
块选择策略;
预期收获:
掌握common组件和HDFS组件;
了解Hadoop的IO机制;
第三部分内容:
IV. MapReduce2.0组件原理及体系架构介绍。要点:
MapReduce工作原理;
类型与格式;
JT内部实现;
TT内部实现;
Task运行过程分析;
V. MapReduce2.0编程实战。要点:
Pipes编程;
Streaming编程;
动手编写MapReduce程序;
实战:
MapReduce2.0编程(Pipes,Streaming);
编写MapReduce程序;
预期收获:
彻底掌握MapReduce这个关键模块;
第四部分内容:
VI. Hadoop集群管理与安全机制分析。要点:
Hadoop集群管理机制;
Hadoop现有安全机制
VII. YARN及ResourcManager组件。要点:
YARN/MRv2环境搭建与部署;
ResourceManager组件的分析与实战;
实战:
动手搭建YARN环境
预期收获:
掌握Hadoop的集群管理机制;
了解Hadoop现有的安全机制;
掌握YARN和ResourceManager组件。
-------------------课程目录-------------------
xa0xa0课时1 免费试听.doc
xa0xa0课时2 免费试听二.doc
xa0xa0课时3 付费学员服务指引.doc
xa0xa0课时4 课前环境准备.doc
xa0xa0课时5 参考资料.doc
xa0xa0课时6 Hadoop开源软件及其生态系统.A危i
xa0xa0课时7 HDFS集群的安装与部署.A危i
xa0xa0课时8 MapReduce集群的安装与部署.A危i
xa0xa0课时9 阅读练习Hadoop 伪分布式集群部署参考文档.pdf
xa0xa0课时9 阅读练习ssh实现Linux无密码访问.pdf
xa0xa0课时10 第一周练习.doc
xa0xa0课时11 Hadoop架构答疑.A危i
xa0xa0课时12 HDFS架构、SNN、副本放置策略.A危i
xa0xa0课时13 HDFS API.A危i
xa0xa0课时14 练习2:HDFS组件分析1.doc
xa0xa0课时15 本周答疑.A危i
xa0xa0课时16 准备:JNI编程基础.A危i
xa0xa0课时17 Hadoop IO.A危i
xa0xa0课时18 HDFS 压缩.A危i
xa0xa0课时19 HDFS 完整忄生.A危i
xa0xa0课时20 HDFS 序列化.A危i
xa0xa0课时21 练习3 HDFS 详细分析2.doc
xa0xa0课时22 HDFS 基于文件的数据结构.A危i
xa0xa0课时23 Hadoop RPC 远程方法调用.A危i
xa0xa0课时24 练习4.doc
xa0xa0课时25 MapReduce API 及工作流程(1).A危i
xa0xa0课时25 MapReduce API 及工作流程(2).A危i
xa0xa0课时26 MapReduce工作原理(2):错误处理、作业调度、Shuffle和Sort.A危i
xa0xa0课时27 MapReduce类型与格式(1).A危i
xa0xa0课时27 MapReduce类型与格式(2).A危i
xa0xa0课时28 练习5:MapReduce工作原理、流程.doc
xa0xa0课时29 MapReduce重要组件_ MapReduce Combiner组件分析.A危i
xa0xa0课时30 MapReduce重要组件_ MapReduce Partitioner组件.A危i
xa0xa0课时31 MapReduce重要组件_ MapReduce Recordreader组件(2).A危i
xa0xa0课时32 练习6:MapReduce重要组件.doc
xa0xa0课时33 MapReduce计数器.A危i
xa0xa0课时34 MapReduceJoin.A危i
xa0xa0课时35 Map端Join.A危i
xa0xa0课时36 MapReduce Sort.A危i
xa0xa0课时37 Hadoop Pipes_Streaming高级编程.A危i
xa0xa0课时38 练习7:MapReduce编程.doc
xa0xa0课时39 Hadoop 集群管理与安全.A危i
xa0xa0课时40 Hbase.A危i
xa0xa0课时41 练习8:HBase.doc
xa0xa0课时42 Yarn基础.A危i
xa0xa0课时43 spark讲解.A危i