課程亮點(diǎn)
師資:*講師團隊,豐富行業(yè)經(jīng)驗和企業(yè)培訓經(jīng)驗
特色:小班培訓,精品課程,面授+直播+錄播,上課方式多樣
培訓:免費重聽(tīng)
適用對象
不限
課程內容
*天
主題1:大數據平臺方案與實(shí)施
大數據基礎與發(fā)展過(guò)程
傳統大規模數據處理與分析存在的問(wèn)題
大數據計算框架
離線(xiàn)計算框架;流式計算框架;內存計算框架;
大數據平臺方案
CDH 、Hortonworks、MapR;傳統IT公司方案:Oracle Exadata,SAP HANA;核心組件;Hadoop 1.0與2.0版本關(guān)聯(lián)與區別;Hadoop生態(tài)系統;Apache Hadoop方案;國外主流大數據平臺方案;國內主流大數據平臺方案與廠(chǎng)商;大數據平臺方案比較;
大數據的行業(yè)應用
大數據的落地實(shí)施挑戰
主題2:大數據計算模型(一)–批處理MapReduce
MapReduce編程模型
Map處理;Reduce處理;MapReduce主程序設置;
MapReduce處理流程
數據讀取collect;中間數據sort;中間數據spill;中間數據shuffle;聚合分析reduce;
MapReduce開(kāi)發(fā)高級應用
Combiner技術(shù)與應用場(chǎng)景;Partitioner技術(shù)與應用場(chǎng)景;多Reducers應用;
MapReduce開(kāi)發(fā)與應用實(shí)踐
Hadoop平臺搭建與運行;MapReduce安裝與部署;應用案例:基于HDFS+MapReduce集成的服務(wù)器日志分析采集、存儲與分析MapReduce程序實(shí)例開(kāi)發(fā)與運行;
主題3:大數據存儲系統
HDFS分布式文件系統
NameNode單點(diǎn)故障解決方案;NFS冷備份;block的備份策略;fsimage和editslog;HDFS系統架構與原理;NameNode功能詳解;DataNode功能詳解;HDFS讀寫(xiě)機制;HDFS高可用方案;
第二天
主題4:Hadoop軟件框架與優(yōu)化
Hadoop1.0框架
Hadoop JobTracker;Hadoop TaskTracker;
Hadoop 2.0 框架
ResourceManager組件;NodeManager組件;ApplicationMaster組件;YARN組件;
Hadoop 2.0 資源調度優(yōu)化
YARN調度原理;CapacityScheduler;FairScheduler;
Hadoop框架組件調優(yōu)
慢啟動(dòng)優(yōu)化;心跳優(yōu)化;容錯優(yōu)化;MR計算框架參數調優(yōu);
HDFS調優(yōu)
RPC線(xiàn)程調優(yōu);本地文件系統調優(yōu);RAID與卷管理調優(yōu);小文件優(yōu)化;
主題5:大數據計算模型(二)實(shí)時(shí)交互計算– Spark
Spark編程模型
Scala:面向函數的編程;Scala常見(jiàn)函數與開(kāi)發(fā);Scala編譯和運行;
Spark RDD開(kāi)發(fā)模型
寬依賴(lài);窄依賴(lài);count;collect;saveAsTextFile;map;flatmap;filter;union;reduceByKey;groupByKey;Spark RDD運行機制;Spark RDD主要Transformation;Spark RDD主要Action;Spark RDD依賴(lài)關(guān)系;
Spark集群架構與關(guān)鍵組件
Spark作業(yè)運行機制
執行DAG圖;任務(wù)集;executor執行模型;
Spark開(kāi)發(fā)與應用實(shí)踐
基于HDFS+Flume+Spark的服務(wù)器運行日志實(shí)時(shí)分析Spark程序實(shí)例開(kāi)發(fā)與運行;Spark運行環(huán)境搭建與部署;應用案例;
主題6:SQL on Hadoop大數據查詢(xún)
基于MapReduce的大數據查詢(xún)Hive
列存儲和行存儲;Hive架構與工作原理;Hive數據加載;Hive內部表和外部表;Hive分區表和分通表;Hive的存儲方式;Hive SQL基本操作;
基于Spark的大數據查詢(xún)SparkSQL
數據表讀取、查詢(xún)與結果保存;json;Hive table;Parquet file;RDD;SparkSQL工作原理與執行機制;SparkSQL數據模型Dataframe;SparkSQL數據讀取與結果保存;SparkSQL和Hive的區別與聯(lián)系;實(shí)踐SparkSQL操作;
第三天
主題7:大數據計算模型(三) 流計算
流數據處理應用場(chǎng)景
流數據處理特點(diǎn);流計算系統:SparkStreaming,Storm對比;
流數據計算框架:Spark Streaming
基于文件流的SparkStraeming程序;基于socket流的SparkStraeming程序;Spark Streaming基本概念;Spark Streaming數據模型DStream;Spark Streaming架構與工作機制;Spark Streaming數據源操作;Spark Streaming開(kāi)發(fā)示例;
流數據計算框架:Storm
Spout,Bolt, Topology;Storm基本概念;Storm編程模型;數據流分組;并發(fā)度設置;容錯機制;
主題8:NoSQL數據庫
NoSQL數據庫
Hbase,MongoDB,Redis;關(guān)系型數據庫瓶頸;NoSQL數據庫概念,分類(lèi)與適用場(chǎng)景;
列存儲NoSQL數據庫Hbase
高表與寬表;rowkey設計;LSM結構的數據組織與讀寫(xiě);Hmaster;RegionServer;Zookeeper;行、列簇、時(shí)間戳;Hbase原理與數據模型;Hbase系統架構;Hbase的讀寫(xiě)機制;Hbase表的設計原則;Hbase適用場(chǎng)景;
主題9:大數據采集
RDBMS與Hadoop數據轉換工具Sqoop
Sqoop工作原理;
文件采集工具Flume
Flume組件與運行;Flume常用配置;
Kafka
Kafka基本概念: producer, broker, consumer;Kafka集群架構;Kafka運行機制;Kafka應用場(chǎng)景;
