課程大綱：大數(shù)據(jù)開發(fā)知識培訓(xùn)
01.Java基礎(chǔ)
Java基礎(chǔ)語法 面向?qū)ο缶幊?常用類和工具類 集合框架體系 異常處理機制 文件和IO流 移動開戶管理系統(tǒng) 多線程 枚舉和垃圾回收 反射 JDK新特性 通訊錄系統(tǒng)
Scala多范式編程語言編寫程序； Spark大數(shù)據(jù)計算框架原理；Spark實時流處理技術(shù)；Spark大數(shù)據(jù)計算框架調(diào)優(yōu)； 要求能夠?qū)Σ煌瑯I(yè)務(wù)場景下Spark Core、Spark Streaming、Spark SQL的技術(shù)選型有足夠認知，能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應(yīng)功能； Flink實時流處理技術(shù)；熟悉項目中應(yīng)用開發(fā)。
02 JavaEE核心
前端技術(shù) 數(shù)據(jù)庫 JDBC技術(shù) 服務(wù)器端技術(shù) Maven Spring SpringBoot Git
熟悉大數(shù)據(jù)開發(fā)基本流程和技術(shù)架構(gòu)； 熟悉機器學(xué)習(xí)算法理論基礎(chǔ)； 熟悉Python語言基礎(chǔ)及數(shù)據(jù)算法庫； 熟悉機器學(xué)習(xí)應(yīng)用場景； 熟悉Spark機器學(xué)習(xí)框架； 熟悉數(shù)據(jù)分析平臺開發(fā)全流程； 熟悉大數(shù)據(jù)推薦系統(tǒng)的開發(fā)全流程
03 Hadoop生態(tài)體系
Linux Hadoop ZooKeeper Hive HBase Phoenix Impala Kylin Flume Sqoop&DataX Kafka Oozie&Azkaban Hue 智慧農(nóng)業(yè)數(shù)倉分析平臺
Linux操作系統(tǒng)安裝及基本命令；shell腳本編程； 大數(shù)據(jù)架構(gòu)Hadoop原理及編程使用；熟悉大數(shù)據(jù)框架Hadoop調(diào)優(yōu) ZooKeeper工作機制，以及動態(tài)感知原理及使用; Hive數(shù)據(jù)倉庫的使用及調(diào)優(yōu)原理; HBase數(shù)據(jù)庫的開發(fā)、使用以及調(diào)優(yōu); Phoenix基本使用; Impala查詢使用; Kylin大數(shù)據(jù)的OLAP引擎; Flume數(shù)據(jù)遷移工具; Sqoop與DataX離線數(shù)據(jù)遷移工具及數(shù)據(jù)遷移測試; Kafka消息隊列; Oozie、Azkaban項目流程調(diào)度開發(fā)工具; Hue開源Hadoop UI系統(tǒng)；掌握Hue與各個大數(shù)據(jù)組件的搭配使用; 各個大數(shù)據(jù)組件在項目中的實戰(zhàn)使用;
04 Spark生態(tài)體系
Scala、Spark、交通領(lǐng)域汽車流量監(jiān)控項目、Flink
Scala多范式編程語言編寫程序； Spark大數(shù)據(jù)計算框架原理；Spark實時流處理技術(shù)；Spark大數(shù)據(jù)計算框架調(diào)優(yōu)； 要求能夠?qū)Σ煌瑯I(yè)務(wù)場景下Spark Core、Spark Streaming、Spark SQL的技術(shù)選型有足夠認知，能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應(yīng)功能； Flink實時流處理技術(shù)；熟悉項目中應(yīng)用開發(fā)。
05 項目實戰(zhàn) 機器學(xué)習(xí)
高鐵智能檢測系統(tǒng)、電信充值、中國天氣網(wǎng)、機器學(xué)習(xí)
熟悉大數(shù)據(jù)開發(fā)基本流程和技術(shù)架構(gòu)； 熟悉機器學(xué)習(xí)算法理論基礎(chǔ)； 熟悉Python語言基礎(chǔ)及數(shù)據(jù)算法庫； 熟悉機器學(xué)習(xí)應(yīng)用場景； 熟悉Spark機器學(xué)習(xí)框架； 熟悉數(shù)據(jù)分析平臺開發(fā)全流程； 熟悉大數(shù)據(jù)推薦系統(tǒng)的開發(fā)全流程。
加入高級會員獲得助教答疑
