 班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
| 每個(gè)班級(jí)的人數(shù)限3到5人，互動(dòng)授課， 保障效果，小班授課。 |
| 上間和地點(diǎn) |
上部份地點(diǎn)：【上海】同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站)【深圳分部】：電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院【北京分部】：北京中山學(xué)院/福鑫大樓【南京分部】：金港大廈(和燕路)【武漢分部】：佳源大廈（高新二路）【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道）【沈陽(yáng)分部】：沈陽(yáng)理工大學(xué)/六宅臻品【鄭州分部】：鄭州大學(xué)/錦華大廈【石家莊分部】：河北科技大學(xué)/瑞景大廈
最近開(kāi)間(周末班/連續(xù)班/晚班）：2019年1月26日 |
| 實(shí)驗(yàn)設(shè)備 |
◆小班教學(xué)，教學(xué)效果好
☆注重質(zhì)量☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽(tīng)；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。☆合格學(xué)員免費(fèi)頒發(fā)相關(guān)工程師等資格證書(shū)，提升職業(yè)資質(zhì)。專注高端技術(shù)培訓(xùn)15年，端海學(xué)員的能力得到大家的認(rèn)同，受到用人單位的廣泛贊譽(yù)，端海的證書(shū)受到廣泛認(rèn)可。 |
部份程大綱 |
| |
- 01 Scala入門
安裝Scala
配置IDEA環(huán)境
使用Scala REPL
使用Scala Doc
聲明值和變量
常用類型
算術(shù)和操作符重載
調(diào)用函數(shù)和方法
apply、update方法
option類型
If else表達(dá)式、while表達(dá)式、for表達(dá)式
函數(shù)
過(guò)程、懶值、異常
02 Scala數(shù)據(jù)結(jié)構(gòu)
主要的集合特質(zhì)
數(shù)組、映射、元組、隊(duì)列、堆棧、列表、集
添加去除元素操作符
將函數(shù)映射到集合
化簡(jiǎn)、折疊、掃描
拉鏈操作
迭代器
流（不可變列表）
懶視圖
與java集合的互操作總結(jié)
線程安全的集合
并行集合
操作符概述
03 Scala模式匹配
更好的switch
守衛(wèi)
模式中的變量
類型模式
匹配數(shù)組、列表和元組
提取器
變量聲明中的模式
For表達(dá)式中的模式
樣例類
Copy方法和帶名參數(shù)
Case語(yǔ)句的中置表達(dá)式
匹配嵌套結(jié)構(gòu)
密封類、模擬枚舉、偏函數(shù)
04 高階函數(shù) & 類 & 對(duì)象
作為參數(shù)的函數(shù)
匿名函數(shù)、高階函數(shù)
參數(shù)（類型）推斷
閉包、柯里化、控制抽象
簡(jiǎn)單類和無(wú)參方法
Getter、Setter方法
對(duì)象私有字段
Bean屬性、構(gòu)造器
嵌套類
單例對(duì)象、伴生對(duì)象
Apply方法
應(yīng)用程序?qū)ο?br>
枚舉
05 Scala包和引入 & 繼承
包、作用域、包對(duì)象
包可見(jiàn)性、引入
重命名和隱藏方法
繼承類
重寫方法
類型檢查和轉(zhuǎn)換
受保護(hù)的字段和方法
超類的構(gòu)造
重寫字段
匿名子類
抽象類
構(gòu)造順序和提前定義
Scala繼承層級(jí)
06 Scala特質(zhì)
不允許多重繼承
當(dāng)做接口使用的特質(zhì)
帶有具體實(shí)現(xiàn)的特質(zhì)
帶有特質(zhì)的對(duì)象
疊加在一起的特質(zhì)
在特質(zhì)中重寫抽象方法
當(dāng)做富接口使用的特質(zhì)
特質(zhì)中的具體字段
特質(zhì)中的抽象字段
07 注解 & 類型參數(shù)
什么可以被注解
注解參數(shù)
注解實(shí)現(xiàn)
針對(duì)java特性的注解
用于優(yōu)化的注解
泛型類、泛型函數(shù)
類型變量限定
視圖界定
上下文界定
08 Scala隱式轉(zhuǎn)換
隱式轉(zhuǎn)換
利用隱式轉(zhuǎn)換豐富類庫(kù)功能
引入隱式轉(zhuǎn)換
隱式轉(zhuǎn)換規(guī)則
隱式參數(shù)
利用隱式參數(shù)進(jìn)行隱式轉(zhuǎn)換
上下文界定
讀取行、讀取字符
讀取詞法單元和數(shù)字
09 Scala高級(jí)類型
類型與類的區(qū)別
classOf與getClass的區(qū)別
單例類型
類型投影
類型別名
結(jié)構(gòu)類型
復(fù)合類型
中置類型
自身類型
10 Scala Akka實(shí)例實(shí)操
需求分析
業(yè)務(wù)需求分解
項(xiàng)目源代碼
新建Maven項(xiàng)目AkkaSystem
WorkInfo類抽象
ActorMessage
Master
Worker
案例運(yùn)行
第四階段
大數(shù)據(jù)spark生態(tài)體系
11 Spark基礎(chǔ)解析
什么是Spark、Spark特點(diǎn)
Spark的用戶和用途
Spark集群安裝
配置Job History Server
配置Spark HA
執(zhí)行第一個(gè)spark程序
Spark應(yīng)用提交
啟動(dòng)Spark Shell
在IDEA中編寫WordCount程序
在IDEA中本地調(diào)試WordCount程序
在IDEA中遠(yuǎn)程調(diào)試WordCount程序
12 SparkCore應(yīng)用解析（一）
RDD概述
RDD彈性
RDD特點(diǎn)
RDD編程模型
RDD持久化
RDD檢查點(diǎn)機(jī)制
RDD的依賴關(guān)系
DAG的生成
鍵值對(duì)RDD的轉(zhuǎn)化操作
鍵值對(duì)RDD的行動(dòng)操作
鍵值對(duì)RDD的數(shù)據(jù)分區(qū)
13 SparkCore應(yīng)用解析（二）
文本文件輸入輸出
JSON文件輸入輸出
CSV文件輸入輸出
SequenceFile文件輸入輸出
對(duì)象文件輸入輸出
Hadoop輸入輸出格式
文件系統(tǒng)的輸入輸出
數(shù)據(jù)庫(kù)的輸入輸出
RDD編程進(jìn)階
累加器、自定義累加器
廣播變量
14 SparkSQL應(yīng)用解析（一）
什么是Spark SQL
RDD vs DataFrames vs DataSet
SparkSQL命令行查詢流程
IDEA創(chuàng)建SparkSQL程序
新的起始點(diǎn)SparkSession
創(chuàng)建DataFrames
DataFrame常用操作
Dataset和RDD互操作
類型之間的轉(zhuǎn)換總結(jié)
用戶自定義UDF函數(shù)
用戶自定義聚合函數(shù)
15 SparkSQL應(yīng)用解析（二）
SparkSQL數(shù)據(jù)源
通用加載/保存方法
Parquet文件
Hive數(shù)據(jù)庫(kù)
JSON數(shù)據(jù)集
JDBC
JDBC/ODBC服務(wù)器
運(yùn)行Spark SQL CLI
計(jì)算所有訂單中每年的銷售單數(shù)、銷售總額案例
計(jì)算所有訂單每年最大金額訂單的銷售額案例
計(jì)算所有訂單中每年最暢銷貨品案例
16 SparkStreaming應(yīng)用解析
什么是Spark Streaming
Spark與Storm的對(duì)比
運(yùn)行Spark Streaming
架構(gòu)與抽象
初始化StreamingContext
什么是Dstreams
DStreams輸入
DStreams轉(zhuǎn)換
DStreams輸出
累加器和廣播變量
DataFrame ans SQL Operations
Caching / Persistence
7x24 不間斷運(yùn)行
性能考量
17 SparkGraphX 應(yīng)用解析（一）
什么是Spark GraphX
彈性分布式屬性圖
運(yùn)行圖計(jì)算程序
圖存儲(chǔ)模式
GraphX存儲(chǔ)模式
vertices、edges以及triplets
圖的構(gòu)建
BSP計(jì)算模式
圖操作一覽
操作一覽
轉(zhuǎn)換操作
結(jié)構(gòu)操作
頂點(diǎn)關(guān)聯(lián)操作
聚合操作、緩存操作
18 SparkGraphX 應(yīng)用解析（二）
Pregel API
pregel計(jì)算模型
pregel實(shí)現(xiàn)最短路徑
GraphX實(shí)例
PageRank排名算法
PageRank算法原理
Spark GraphX實(shí)現(xiàn)
廣度優(yōu)先遍歷(參考)
單源最短路徑(參考)
連通圖(參考)
三角計(jì)數(shù)(參考)
PageRank實(shí)例
19 Spark內(nèi)核解析（一）
RDD抽象
計(jì)算抽象、集群模式
RPC網(wǎng)絡(luò)通信抽象
啟動(dòng)Standalone集群
核心組件
核心組件交互流程
Block管理
整體應(yīng)用
start-daemon.sh腳本解析
spark-class腳本解析
start-master.sh腳本解析
start-slaves.sh腳本解析
start-all.sh腳本解析
spark-submit腳本解析
20 Spark內(nèi)核解析（二）
Spark通信架構(gòu)
Endpoint啟動(dòng)過(guò)程
Endpoint Send & Ask流程
Endpoint receive流程
Endpoint Inbox處理流程
Endpoint畫(huà)像
Master節(jié)點(diǎn)和Work節(jié)點(diǎn)啟動(dòng)流程
Client啟動(dòng)流程
Driver和DriverRunner
SparkContext解析
SparkContext創(chuàng)建過(guò)程
SparkContext簡(jiǎn)易結(jié)構(gòu)與交互關(guān)系
Master對(duì)Application資源分配
Worker創(chuàng)建Executor
第四階段
大數(shù)據(jù)spark生態(tài)體系
21 Spark內(nèi)核解析（三）
Job提交和Task的拆分
Task的執(zhí)行流程
Task的回饋流程
Task的迭代流程
Spark的數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)寫入過(guò)程分析
數(shù)據(jù)讀取過(guò)程分析
Partition如何轉(zhuǎn)化為Block
partition和block的對(duì)應(yīng)關(guān)系
Spark Shuffle過(guò)程
Spill過(guò)程
Collect、Sort
Spill
Merge
Copy
Merge Sort
MapReduce與Spark過(guò)程對(duì)比
22 Spark內(nèi)核解析（四）
Spark內(nèi)存管理
堆內(nèi)內(nèi)存、堆外內(nèi)存
內(nèi)存管理接口、靜態(tài)內(nèi)存管理
統(tǒng)一內(nèi)存管理
RDD 的持久化機(jī)制
RDD 緩存的過(guò)程
淘汰和落盤
多任務(wù)間內(nèi)存分配
Shuffle 的內(nèi)存占用
部署模式解析
standalone框架
yarn集群模式、mesos集群模式
spark 三種部署模式的區(qū)別
異常分析1：worker異常退出
異常分析2：executor異常退出
異常分析3：master 異常退出
wordcount程序運(yùn)行原理窺探
23 Spark優(yōu)化解析（一）
調(diào)優(yōu)基本原則
數(shù)據(jù)傾斜優(yōu)化
如何定位導(dǎo)致數(shù)據(jù)傾斜的代碼
如何緩解/消除數(shù)據(jù)傾斜
Shuffle調(diào)優(yōu)
HashShuffleManager運(yùn)行原理
SortShuffleManager運(yùn)行原理
程序開(kāi)發(fā)調(diào)優(yōu)
原則一：避免創(chuàng)建重復(fù)的RDD
原則二：盡可能復(fù)用同一個(gè)RDD
原則三：對(duì)多次使用的RDD進(jìn)行持久化
原則四：盡量避免使用shuffle類算子
原則五：使用map-side預(yù)聚合的shuffle操作
原則六：使用高性能的算子
原則七：廣播大變量
原則八：使用Kryo優(yōu)化序列化性能
原則九：優(yōu)化數(shù)據(jù)結(jié)構(gòu)
24 優(yōu)化解析 & 機(jī)器學(xué)習(xí)
運(yùn)行資源調(diào)優(yōu)
JVM虛擬機(jī)優(yōu)化
GC優(yōu)化
Spark的內(nèi)存管理優(yōu)化
根據(jù)日志進(jìn)一步調(diào)優(yōu)
京東商城基于Spark的風(fēng)控系統(tǒng)的實(shí)現(xiàn)
Spark在美團(tuán)的實(shí)踐
數(shù)據(jù)處理平臺(tái)架構(gòu)中的SMACK組合
大數(shù)據(jù)架構(gòu)選擇
機(jī)器學(xué)習(xí)算法常用指標(biāo)
機(jī)器學(xué)習(xí)凸優(yōu)化算法分析及案例實(shí)操
機(jī)器學(xué)習(xí)L1、L2正則化算法分析及案例實(shí)操
PCA降維算法分析及案例實(shí)操
ICA降維算法分析及案例實(shí)操
非平衡數(shù)據(jù)處理
模型優(yōu)化
損失函數(shù)
25 機(jī)器學(xué)習(xí)（二）
矩陣奇異值分解SVD
線性回歸算法
邏輯回歸算法
貝葉斯分類算法
SVM支持向量機(jī)算法
決策樹(shù)算法
K近鄰算法
KMEANS聚類算法
EM算法
FPGrowth關(guān)聯(lián)規(guī)則算法
Apriori關(guān)聯(lián)規(guī)則算法
協(xié)同過(guò)濾推薦算法
ALS交替最小二乘算法
SVD推薦系統(tǒng)算法
隨機(jī)森林算法
AdaBoost算法
XgBoost算法、GBDT算法
26 Flink入門
流處理技術(shù)的演變
初識(shí)Flink
批處理與流處理
Flink基本架構(gòu)
JobManager與TaskManager
無(wú)界數(shù)據(jù)流與有界數(shù)據(jù)流
數(shù)據(jù)流編程模型
Flink集群搭建
Standalone模式安裝
Yarn模式安裝
27 Flink運(yùn)行架構(gòu)
任務(wù)提交流程
任務(wù)調(diào)度原理
Worker與Slots
程序與數(shù)據(jù)流
并行數(shù)據(jù)流
task與operator chains
Flink DataStream API
Flink運(yùn)行模型
Flink程序架構(gòu)
執(zhí)行環(huán)境
28 Flink source & sink
基于File的數(shù)據(jù)源
基于Socket的數(shù)據(jù)源
基于集合（Collection）的數(shù)據(jù)源
writeAsText
WriteAsCsv
print/printToErr
writeUsingOutputFormat
writeToSocket
Transformation
Map
29 Flink Transformation
FlatMap、Filter
Connect
CoMap,CoFlatMap
Split、Select
Union、KeyBy
Reduce、Fold
Aggregations
Time、Window
CountWindow
TimeWindow
30 Time與Window
Window Reduce
Window Fold
Aggregation on Window
EventTime的引入
Watermark
EvnetTimeWindow API
滾動(dòng)窗口
滑動(dòng)窗口
會(huì)話窗口
總結(jié)
第四階段
大數(shù)據(jù)spark生態(tài)體系
31 Elasticsearch入門
什么是Elasticsearch？
Elasticsearch的適用場(chǎng)景、特點(diǎn)、核心概念
Elasticsearch安裝部署、head插件安裝
獲取Transport Client案例
創(chuàng)建索引案例
刪除索引案例
新建文檔（源數(shù)據(jù)json串）
新建文檔（源數(shù)據(jù)map方式添加json）
新建文檔（源數(shù)據(jù)es構(gòu)建器添加json）
搜索文檔數(shù)據(jù)（單個(gè)索引）
32 Elasticsearch案例實(shí)操
搜索文檔數(shù)據(jù)（多個(gè)索引）
更新文檔數(shù)據(jù)（update）
更新文檔數(shù)據(jù)（upsert）
刪除文檔數(shù)據(jù)（prepareDelete）
查詢所有（matchAllQuery）
對(duì)所有字段分詞查詢（queryStringQuery）
通配符查詢（wildcardQuery）
詞條查詢（TermQuery）
模糊查詢（fuzzy）
映射操作案例
33 Python基礎(chǔ)
認(rèn)識(shí)python
編寫第一個(gè)python程序
注釋
變量以及類型
標(biāo)示符和關(guān)鍵字
輸入&輸出
運(yùn)算符
數(shù)據(jù)類型轉(zhuǎn)換
判斷語(yǔ)句介紹
if判斷語(yǔ)句
34 Python基礎(chǔ)
if嵌套
while循環(huán)
for循環(huán)
break和continue
字符串輸入&輸出
下標(biāo)和切片
元組(tuple)
函數(shù)
文件操作
類和對(duì)象
35 Python基礎(chǔ)
封裝
繼承
多態(tài)
設(shè)計(jì)模式
異常
模塊
列表推導(dǎo)式
集合
垃圾回收
編碼風(fēng)格
|
首頁(yè) 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)