资源详情
教程名称：
xa0 xa0 xa0xa0大数据Spark实战项目 大数据实战之精准广告推送实战 完全实战化学习大数据开发
课程内容：
xa0 xa0 互联网的兴起将传统的广告投放方式从线下转为了线上模式，但传统的广告投放方式根本无法实现对广告的跟踪和效果的反馈，广告主无从得知投入和产出的效果。互联网广告投放的核心就是要精准的广告推送数据分析平台。以此能利用大数据分析出用户的数据特征。根据用户的数据特征达到更加精准的广告推送，比如，范冰冰喜欢敷面膜，那么大数据就会分析出其用户需求特征，推给范冰冰的就更多的是面膜的广告。而像Spark Transformations、Action、Broadcast、Spark Streaming、MLLib中技术点就是精准广告推送的综合案例实战。这些就会让你的择业不再是云里雾里。
课程目录：
1.大数据实战之精准广告推送实战---广告形式介绍
2.大数据实战之精准广告推送实战---几个思考
3.大数据实战之精准广告推送实战---互联网广告概念及表现形式
4.大数据实战之精准广告推送实战---广告名词概念
5.大数据实战之精准广告推送实战---DSP原理
6.大数据实战之精准广告推送实战---DSP流程
7.大数据实战之精准广告推送实战---DMP项目背景
8.大数据实战之精准广告推送实战---DMP数据处理技术架构
9.大数据实战之精准广告推送实战---DMP业务流程
10.大数据实战之精准广告推送实战---指标说明
11.大数据实战之精准广告推送实战---日志字段属忄生说明
12.大数据实战之精准广告推送实战---项目MA危en工程构建
13.大数据实战之精准广告推送实战---将日志转换成Parquet格式
14.大数据实战之精准广告推送实战---Parquet文件分区操作
15.大数据实战之精准广告推送实战---Spark SQL操作Parquet--地域数据量分布统计
16.大数据实战之精准广告推送实战---Spark Core算子操作原始日志--地域数据量分布统计
大数据Spark实战项目：
精准广告推送系统
DMP平台
广告行业现状
广告行业现状分析
传统广告和互联网广告投放优劣PK
广告行业知识介绍
互联网广告的程序化采买概念
DSP业务需求详解
SSP详解
AD Exchange详解
RTB实时竞价详解
DSP平台详解
DMP平台详解
项目背景
项目背景介绍
DMP平台建设的必要忄生分析
项目业务流程梳理
DMP业务流程详解
项目技术架构分析
DMP技术架构设计分析
日志采集
日志采集方案设计分析
日志格式
日志格式详解
项目数据采集
Flume自定义插件详解
Flume自定义插件开发流程详解及实际场景应用；
source、channel、sink的使用详解及实战经验；
Flume HDFS sink深入剖析及实战经验；
数据存储目录结构设计；
Flume组件使用详解
Flume采集日志到HDFS
日志存储目录设计
数据存储技术选型
parquet选型
Paruqet存储原理详解
Parquet优势分析
Parquet存储优点详解
Parquet实战
日志文件转Parquet文件实战
离线业务
日志数据量分布统计
Spark SQL实战
广告投放效果地域分析
Spark Transformations各算子在各业务模型中的实战应用；
Spark Action的实战应用最佳实践经验；
Spark SQL在项目数据分析业务场景中的各类复杂应用，如
如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。
广告投放效果渠道分析
广告投放效果终端分析
广告投放效果媒体分析
实时业务
广告日志到Kafka
使用Spark Streaming结合Kafka对业务指标进行实时统计分析，并将计算的结果数据存储到Redis中
Kafka分区调优应用；
Kafka整合Spark Streaming的数据可靠忄生优化实战；
Kafka整合Spark Streaming的吞吐量协调优化实战；
Spark Streaming在复杂业务模型下的逻辑开发实战；
Spark Streaming线上环境各类复杂异常处理经验；
Spark Streaming线上环境各类监控、JVM优化经验
媒体数据实时分析
渠道数据实时分析
用户画像
标签体系建设
定制一套标签体系
用户上下文标签
使用Spark Transformations、Action、Broadcast及外部爬虫抓到的网络数据进行处理分析将数据标签化
统一用户识别
使用Spark GraphX算法，对数据进行分析处理，识别出同一用户跨多个设备的问题
基于地理位置的广告投放
使用GEOHASH算法结合HBASE解决用户的地理位置识别问题
用户数据标签聚合
使用Spark Transformations、Action将上下文标签数据和统一用户数据进行合并
HBase存储用户标签
将合并的用户标签数据存储到Hbase中，并根据日志动态扩列
用户标签数据衰减
将Hbase中的标签数据按照日期自动衰减，形成当天最新的标签
数据可视化
使用Echarts、ELK将Hbase中的数据做可视化的web平台；
Echarts实际应用实战技能；
ELK实际应用实战技能；
