400-888-5228

課程簡介

講解hadoop和spark的工作原理和部署方法,測試大數據程序的執(zhí)行,對各種任務和資源進行管理。

 

學員要求

學習了前置課程《Ubuntu Linux系統(tǒng)管理》?或者有Linux系統(tǒng)管理經驗,對進程運行環(huán)境、linux磁盤管理、網絡管理、服務管理熟悉。

 

培訓時長

3天(21學時)

 

課程收益

  1. 了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術特點,從而把握分布式計算框架及未來發(fā)展方向,在大數據時代能為企業(yè)的技術選型及架構設計提供決策參考。
  2. 全面掌握Hadoop的架構原理和使用場景,并通過貫穿課程的項目進行實戰(zhàn)鍛煉,課程還涵蓋了分布式計算領域的常用算法介紹,幫助學員為企業(yè)在利用大數據方面體現(xiàn)自身價值。
  3. 深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識,可以獨立規(guī)劃及部署生產環(huán)境的Hadoop集群,掌握Hadoop基本運維思路和方法,對Hadoop集群進行管理和優(yōu)化。

培訓對象

  1. 云計算管理員
  2. 大數據管理及開發(fā)人員
  3. 項目經理
  4. 架構師及對spark感興趣人員

 

課程內容

單元1:Hortonworks大數據平臺和Hadoop 2.0介紹

Lab 1.1:登陸到你的集群

單元2:HDFS架構

單元3:安裝 Hadoop

Lab 3.1:設置你的環(huán)境

Lab 3.2:用Ambari安裝HDP2.0集群

單元4:配置Hadoop

Lab 4.1:添加一個新的節(jié)點到集群

Lab 4.2:停止和啟動HDP 服務

Lab 4.3:使用HDFS命令

單元5:數據完整性檢查

Lab 5.1:用塊掃描和fsck 核查數據

單元6:HDFS NFS網關

Lab 6.1:安裝HDFS 到本地文件系統(tǒng)

單元7:YARN架構和MapReduce

Lab 7.1:MapReduce 任務的故障處理

單元8:任務調度

Lab 8.1:配置容量調度

單元9:企業(yè)數據運行

Lab 9.1:用distcp 從遠程集群復制數據

單元10:HDFS Web服務

Lab 10.1:使用Web HDFS

單元11:Hive管理

Lab11.1:Understanding HiveTables

單元12:Sqoop數據轉移

Lab12.1:Using Sqoop

單元13:Flume

Lab13.1:Install and TestFlume

單元14:Oozie

Lab14.1:Running an OozieWorkflow

單元15:監(jiān)控HDP2服務

單元16:增加及刪除節(jié)點

Lab16.1:Commissioning &Decommissioning DataNodes

單元17:備份和恢復

Lab17.1:Using HDFS、Snapshots

單元18:機架感知

Lab18.1:Configuring RackAwareness

單元19:NameNode HA

Lab19.1:ImplementingNameNode HA

單元20:HDP的安全訪問控制

Lab20.1:Securing aHDPCluster