- 其他機構同類課程
- 更多+
- 同類熱點網絡課程
- 暫無相關熱門網絡課程
課程背景:
隨著云時代的來臨,大數據技術將具有越來越重要的戰略意義。大數據已經滲透到每一個行業和業務職能領域,逐漸成為重要的生產要素,人們對于海量數據的運用將預示著新一輪生產率增長和消費者盈余浪潮的到來。大數據分析技術將幫助企業用戶在合理時間內攫取、管理、處理、整理海量數據,為企業經營決策提供積極的幫助。大數據分析作為數據存儲和挖掘分析的前沿技術,廣泛應用于物聯網、云計算、移動互聯網等戰略性新興產業。雖然大數據目前在國內還處于初級階段,但是其商業價值已經顯現出來。為加強大數據分析創新發展頂層設計和科學布局,推動相關人員更好理解和掌握大數據分析的關鍵技術原理、未來發展方向,為此培養大數據分析高級工程師。
培訓對象:
IT公司數據分析師、數據中心架構師、商業智能分析師、研發負責人、研發工程師、各地政府云計算、物聯網產業負責人,CIO、信息中心、技術總監,云計算產業投資團隊,云計算應用開發商,云計算硬件設備、運營服務提供商,高校、科研院所云計算項目負責人。
高級開發工程師、設計師、架構師、系統管理員、開發經理、測試經理、產品經理、項目經理等。
培訓證書:
工業和信息化部人才交流中心頒發的《工業和信息化領域急需緊缺人才》大數據分析高級工程師證書。證書可作為專業技術人員職業能力考核的證明,以及專業技術人員崗位聘用、任職、定級和晉升職務的重要依據。詳情請點擊:http://www.wanho.net/hadoop
課程大綱:
第一天
一、大數據挖掘分析簡介
大數據發展歷程以及hadoop起源 大數據定義和傳統手段遇到的瓶頸 Hadoop怎么解決大數據問題的 Hadoop生態系統簡介 Hadoop體系下主要的分析手段 Hadoop中優秀的軟件設計和體系架構思想
二、大數據與Hadoop
偽分布式和完全分布式hadoop的安裝 Hadoop常用配置項解讀 Hadoop分布式文件系統原理 Hdfs常用命令演示 Mapreduce的工作原理 Hadoop自帶的example演示 手動編寫mapreduce示例程序 Hadoop常見故障分析與解決
第二天
一、大數據分析核心工具之mapreduce和pig
高級mapreduce開發演示:combiners、partitioner;MRUnit;分布式緩存;join;二次排序等) Mapreduce開發之分布式緩存 mapreduce模擬sql語言的各種操作
二、除mapreduce外的hadoop數據分析工具介紹
Pig之piglatin語言 Pig之udf擴展 Pig案例
三、大數據分析核心工具之hive以及與現有工具流整合
Hive深入介紹 Hive之hql語言 Hive之udf擴展 Hive示例 一個完整的數據分析案例(分別使用mapreduce、pig、hive進行分析) 集成Hadoop到現有工作流(使用sqoop)(關系數據庫管理系統;利用Sqoop從關系型數據庫系統中導入數據到Hadoop)
第三天
一、大數據分析架構之分布式數據庫:Nosql與Hbase
Nosql簡介 常見Nosql介紹 Hbase介紹 Hbase體系架構 Hbase安裝(含本地、偽分布式、完全分布式) Hbase操作演示 Hbase應用案例
二、大數據分析核心技術在企業中的應用以及Hadoop調優
Hadoop調優 Hadoop在企業中如何使用 (企業案例以及hadoop在企業IT架構中的位置) Hadoop體系中單點解決方案(namenode,jobtracker,hive等) Hadoop生態環境其他產品在企業中的應用
江蘇萬和大數據培訓講師
謝老師:江蘇萬和金牌講師、云計算研究員、資深Nutch、Lucene、Solr、Tika、Mahout、Spark、Storm技術專家。活躍于開源中國、CSDN等開源社區,對于開源數據挖掘技術有著深刻的理解與實戰經驗,
擅長大規模云計算及數據挖掘系統的程序設計。對于目前主流數據挖掘技術及分析算法有著深入的研究,項目實施經驗豐富。作為項目負責人和主要成員先后參與并領導完成了多個云計算及大數據應用開發項目,
如:法國電信運營數據分析項目、江蘇移動網廳運營數據分析項目、新聞信息分類聚合推薦項目,涉及政府、媒體、通信業等諸多行業領域。近幾年陸續為公安、金融、報社、通信、電商等眾多政企行業提供了云
計算、大數據應用及開發等主題培訓服務,獲得客戶一致好評。
魯老師:江蘇萬和金牌講師、云計算研究員、資深Hadoop技術專家。活躍于開源中國、CSDN等開源社區,對于開源數據挖掘技術有著深刻的理解與實戰經驗,擅長大規模云計算及數據挖掘系統框架的設計。
對于目前主流虛擬化產品及技術有著深入的研究,項目實施經驗豐富。作為項目負責人和主要成員先后參與并領導完成了多個云計算及大數據應用開發項目,如:南京市政府智慧城市項目、美國鋁業公司生產數
據挖掘項目、美國RAMBUS數據分析項目,涉及政府、制造業、通信業等諸多行業領域。近幾年陸續為公安、金融、報社、通信、電商等眾多政企行業提供了云計算、大數據應用及開發等主題培訓服務,
獲得客戶一致好評。