Hadoop高級開發(fā)應(yīng)用與實踐

互聯(lián)網(wǎng)企業(yè)和云計算服務(wù)企業(yè)每天都會產(chǎn)生大量的數(shù)據(jù)并面臨高并發(fā)的嚴(yán)峻考驗，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)無法滿足大數(shù)據(jù)量高并發(fā)的要求，何以解憂？Hadoop！本課程針對Hadoop大數(shù)據(jù)處理技術(shù)的項目實戰(zhàn)需求，有針對性設(shè)計；以幫助學(xué)員實現(xiàn)基于Hadoop的應(yīng)用開發(fā)。

課程目標(biāo)

• 全面掌握Hadoop的架構(gòu)原理和使用場景；
• 全程項目實戰(zhàn)訓(xùn)練；
• 徹底掌握使用Hadoop進(jìn)行MapReduce程序開發(fā)；
• 熟悉分布式計算領(lǐng)域的常用算法；

課程綱要

第 一講 由案例引入Hadoop技術(shù)

1. 案例背景
2. 案例功能模塊簡介
3. 數(shù)據(jù)導(dǎo)入：Flume
4. 數(shù)據(jù)分析
5. Hadoop MapReduce
6. Hadoop MapReduce Streaming編程
7. MapReduce分布式程序
8. Hadoop 核心代碼剖析
9. HDFS分布式文件系統(tǒng)編程

第二講 Hadoop Mapreduce高級編程

1. ToolRunner介紹
2. 使用MRUnit進(jìn)行測試
3. 利用Combiners來減少中間數(shù)據(jù)
4. 使用Configure和Close方法來進(jìn)行Map/Reduce設(shè)置和關(guān)閉
5. 編寫Partitioner來優(yōu)化負(fù)載平衡
6. 直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
7. 使用分布式緩存（Distributed Cache）

第三講 MapReduce的優(yōu)化

1. map優(yōu)化
2. reduce優(yōu)化
3. 小文件優(yōu)化
4. 第四講 MapReduce的任務(wù)調(diào)度
5. Queue調(diào)度的使用
6. 公平調(diào)度的使用
7. 能力調(diào)度的使用

第五講 MapReduce編程實戰(zhàn)

1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
4. 第六講 flume+hadoop日志收集實戰(zhàn)
5. flume核心組件講解
6. flume自帶的組件分析
7. flume二次開發(fā)實戰(zhàn)

第七講 用戶行為分析系統(tǒng)案例解析與技術(shù)分享

第八講 CDR詳單系統(tǒng)案例解析與技術(shù)分享