400-888-5228

課程介紹

目前Hadoop在很多企業(yè)應(yīng)用越來(lái)越廣泛,Hadoop人才也很稀缺和搶手,待遇也水漲船高。本系列課講解目前主流的Hadoop版本Cloudera Hadoop 5(這里采用cdh5.1),該版本相比0.20.x,性能和穩(wěn)定性上提高很多。CDH5環(huán)境搭建相比舊版本也復(fù)雜很多,但可以用Cloudera-Manager對(duì)集群進(jìn)行管理和配置。CDH5默認(rèn)集成了常用的所有組件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等,從而形成一功能強(qiáng)大的分布式平臺(tái)。

本課會(huì)分享一些本人所在團(tuán)隊(duì)研究的適用于企業(yè)級(jí)開(kāi)發(fā)和應(yīng)用的框架和工具,這些有效提高了開(kāi)發(fā)效率,大大降低了維護(hù)成本,這些正是我們多年實(shí)戰(zhàn)的結(jié)晶。

培訓(xùn)天數(shù):

3天

培訓(xùn)對(duì)象:

  • 計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷或有一年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)的人員。
  • 有一定的英語(yǔ)基礎(chǔ),能閱讀簡(jiǎn)單的英文文檔。
  • 學(xué)習(xí)能力強(qiáng),渴望從事云計(jì)算行業(yè).
  • 擁有Linux 基本相關(guān)知識(shí)
  • 擁有SQL數(shù)據(jù)庫(kù)相關(guān)知識(shí)
  • 具備Java開(kāi)發(fā)技能(最佳)
  • 熟練使用一門(mén)編程語(yǔ)言:如C++,Java(最好是Java)
  • 對(duì)計(jì)算機(jī)基礎(chǔ)有一定了解:如網(wǎng)絡(luò)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫(kù)等.

課程目標(biāo)

  • Cloudera Hadoop 安裝配置
  • Hadoop基本原理和理論知識(shí)
  • Cloudera Manager 管理監(jiān)控維護(hù)
  • Hbase 基本使用方法以及實(shí)際項(xiàng)目中如何應(yīng)用

預(yù)備知識(shí)

  • 擁有Linux 基本相關(guān)知識(shí)
  • 擁有SQL數(shù)據(jù)庫(kù)相關(guān)知識(shí)
  • 具備Java開(kāi)發(fā)技能(最佳)

適合對(duì)象

  • 具有Linux 和數(shù)據(jù)庫(kù)操作技能,對(duì)Hadoop大數(shù)據(jù)處理感興趣的IT人
  • 計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷或有一年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)的人員。
  • 有一定的英語(yǔ)基礎(chǔ),能閱讀簡(jiǎn)單的英文文檔。
  • 學(xué)習(xí)能力強(qiáng),渴望從事云計(jì)算行業(yè).
  • 擁有Linux 基本相關(guān)知識(shí)
  • 擁有SQL數(shù)據(jù)庫(kù)相關(guān)知識(shí)
  • 具備Java開(kāi)發(fā)技能(最佳)
  • 熟練使用一門(mén)編程語(yǔ)言:如C++,Java(最好是Java)
  • 對(duì)計(jì)算機(jī)基礎(chǔ)有一定了解:如網(wǎng)絡(luò)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫(kù)等.

課程內(nèi)容

第一天:Hadoop安裝配置

  • Hadoop背景歷史發(fā)展
  • Hadoop基本原理和架構(gòu)
  • Cloudera Manager 介紹安裝
  • 1介紹
  • 1安裝
  • CDH組件安裝配置
  • Cloudera Management Service介紹安裝
  • 安裝CM
  • Hadoop監(jiān)控組件介紹
  • 如何監(jiān)控Hadoop
  • 如何配置報(bào)警以及報(bào)警閥值

第二天 Hive,Impala實(shí)戰(zhàn)解析

  • Hive,Impala原理安裝
  • Hive原理
  • Hive安裝
  • Impala原理
  • Impala安裝
  • Hive元數(shù)據(jù)管理
  • Hive數(shù)據(jù)表和數(shù)據(jù)存儲(chǔ)
  • Hive的Java擴(kuò)展開(kāi)發(fā)
  • Hive UDF開(kāi)發(fā)
  • Hive JDBC/ODBC連接
  • Hive適用場(chǎng)景和實(shí)戰(zhàn)演練

第三天 Hbase 實(shí)戰(zhàn)解析

  • Hbase介紹及原理
  • Hbase系統(tǒng)架構(gòu)
  • Hbase存儲(chǔ)機(jī)制
  • Hbase基本使用
  • Hbase表設(shè)計(jì)思路和方案
  • 利用Hive,Impala實(shí)現(xiàn)Hbase數(shù)據(jù)查詢
  • API訪問(wèn)
  • Hbase業(yè)務(wù)使用場(chǎng)景