課程亮點(diǎn)
師資:*講師團隊,豐富行業(yè)經(jīng)驗和企業(yè)培訓經(jīng)驗
特色:小班培訓,精品課程,面授+直播+錄播,上課方式多樣
培訓:免費重聽(tīng)
適用對象
不限
學(xué)習目標
掌握Cloudera Manager管理集群的功能
課程內容
*天
▲ Apache Hadoop介紹
● Hadoop介紹及優(yōu)勢
● 基本概念
● Hadoop核心組件
● 實(shí)操練習:網(wǎng)絡(luò )配置
▲ Hadoop集群安裝
● 集群管理方案
● Cloudera Manager特征
● Cloudera Manager安裝
● CDH介紹及安裝
● 實(shí)操練習1:安裝Cloudera Manager服務(wù)
● 實(shí)操練習2:創(chuàng )建Hadoop集群
▲ Hadoop分布式文件系統(HDFS)
● HDFS特性
● 讀寫(xiě)文件
● NameNode內存注意事項
● HDFS安全簡(jiǎn)介
● HDFS web UI
● 使用hadoop 文件 shell
● 實(shí)操練習:使用HDFS
第二天
▲ YARN上的MapRduce和Spark
● 計算平臺在hadoop中扮演的角色
● YARN(集群資源管理器)的介紹
● MapRduce概念介紹
● Spark概念介紹
● 在YARN上運行計算框架
● 通過(guò)web UIs和shell探索YARN應用程序
● YARN應用程序日志介紹
● 實(shí)操練習:運行YARN應用程序
▲ Hadoop配置及服務(wù)運行日志
● Cloudera Manager的配置管理機制
● 定位配置參數及更改應用配置
● 管理角色實(shí)例及添加服務(wù)
● 配置HDFS服務(wù)
● 配置Hadoop Daemon日志
● 配置YARN服務(wù)
● 實(shí)操練習:探索hadoop配置及守護程序日志
▲ 向HDFS導入數據
● 使用Flume從外部數據源實(shí)時(shí)導入數據
● 使用Sqooq從關(guān)系數據庫中導入數據
● REST接口介紹
● 導入數據的*佳實(shí)踐
● 實(shí)操練習1:Flume的使用
● 實(shí)操練習2:使用Sqooq導入數據
第三天
▲ Hadoop集群規劃
● 總體規劃考慮因素
● 硬件選擇
● 虛擬化選項
● 云部署選項
● 網(wǎng)絡(luò )考慮因素
● 節點(diǎn)配置
▲ Hive、Impala及Pig的安裝及配置
● Hive介紹
● Impala介紹
● Pig介紹
● Cloudera搜索
● 實(shí)操練習:使用Hive和Impala查詢(xún)HDFS
▲ Hadoop客戶(hù)端及Hue
● Hadoop客戶(hù)端介紹
● 安裝和配置Hadoop客戶(hù)端
● 安裝和配置Hue
● 使用Hue進(jìn)行身份驗證及授權
● 實(shí)操練習:使用Hue來(lái)控制hadoop用戶(hù)訪(fǎng)問(wèn)
▲ 集群高級配置
● 高級配置參數
● Hadoop端口配置
● HDFS機柜感知配置
● HDFS高可靠性配置
● 實(shí)操練習:配置HDFS的高可靠性
