教學(xué)優(yōu)勢
曙海教育的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系。曙海集團(tuán)的課程在業(yè)內(nèi)有著廣泛的美譽(yù)度和響亮的知名度。
本課程，秉承19年積累的教學(xué)品質(zhì)，以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,老師將會與您分享設(shè)計(jì)的全流程以及工具的綜合使用經(jīng)驗(yàn)、技巧。
課程目標(biāo)：
flink培訓(xùn)課程
課程大綱：
第一章 Flink簡介
01.Flink的引入
02.什么是Flink
03.Flink流處理特性
04.Flink基石
05.批處理與流處理
第二章 Flink架構(gòu)體系
01.Flink中重要角色
02.無界數(shù)據(jù)流與有界數(shù)據(jù)流
03.Flink數(shù)據(jù)流編程模型
04.Libraries支持
第三章 Flink集群搭建
01.環(huán)境準(zhǔn)備工作
02.local模式
03.Standalone集群模式
04.Standalone-HA集群模式
05.Flink On Yarn模式-介紹
06.Flink On Yarn模式-準(zhǔn)備工作
07.Flink On Yarn模式-提交方式-Session會話模式
08.Flink On Yarn模式-提交方式-Job分離模式
09. Flink運(yùn)行架構(gòu)-Flink程序結(jié)構(gòu)
10. Flink運(yùn)行架構(gòu)-Flink并行數(shù)據(jù)流
11. Flink運(yùn)行架構(gòu)-Task和Operator chain
12. Flink運(yùn)行架構(gòu)-任務(wù)調(diào)度與執(zhí)行
13. Flink運(yùn)行架構(gòu)-任務(wù)槽與槽共享
第四章 Dataset開發(fā)
01.入門案例
02.入門案例-構(gòu)建工程、log4j.properties
03.入門案例-代碼運(yùn)行yarn模式運(yùn)行
04.DataSource-基于集合
05.DataSource-基于文件
06.Transformation開發(fā)
07.Datasink-基于集合
08.Datasink-基于文件
09.執(zhí)行模式-本地執(zhí)行
10.執(zhí)行模式-集群執(zhí)行
11.廣播變量
12.累加器
13.分布式緩存
14.擴(kuò)展并行度的設(shè)置
第五章 DataStream開發(fā)
01.入門案例-流處理流程
02.入門案例-示例、參考代碼
03.流處理常見Datasource
04.Datasource基于集合
05.Datasource基于文件
06.Datasource基于網(wǎng)絡(luò)套接字
07.Datasource-自定義source-SourceFunction
08.Datasource-自定義source-ParallelSourceFunction
09.Datasource-自定義source-RichParallelSourceFunction
10.Datasource-自定義source-MysqlSource
11.Datasource-自定義source-KafkaSource
12.DataStream-transformations
13.DataSink-輸出數(shù)據(jù)到本地文件
14.DataSink-輸出數(shù)據(jù)到本地集合
15.DataSink-輸出數(shù)據(jù)到HDFS
16.DataSink-輸出數(shù)據(jù)到mysql,kafka,Redis
第六章 Flink中Window
01.為什么需要window
02.什么是window
03.Flink支持的窗口劃分方式
04.Time-window之tumbling-time-window
05.Time-window之sliding-time-window
06.Time-window之session-window
07.Count-window之tumbling-count-window
08.Count-window之sliding-count-window
09.window-Apply函數(shù)
第七章 Eventime-watermark
01.時間分類
02.watermark之?dāng)?shù)據(jù)延遲產(chǎn)生
03.watermark之解決數(shù)據(jù)延遲到達(dá)
04.watermark綜合案例
05.watermark之?dāng)?shù)據(jù)丟失
06.watermark+側(cè)道輸出保證數(shù)據(jù)不丟失
第八章 Flink狀態(tài)管理
01.狀態(tài)管理概述之無狀態(tài)計(jì)算
02.狀態(tài)管理概述之有狀態(tài)計(jì)算
03.狀態(tài)管理概述之有狀態(tài)計(jì)算場景
04.狀態(tài)的類型之Managed State&Raw State
05.狀態(tài)的類型之Keyed State&Operator State
06.API演示之ValueState
07.API演示之MapState
08.案例之OperatorState
09.案例之BroadcastState
第九章 Flink容錯&重啟策略
01.checkpoint是什么
02.checkpoint執(zhí)行流程
03.checkpoint持久化存儲
04.案例之checkpoint設(shè)置演示
05.Flink重啟策略之重啟策略配置
06.案例之重啟策略演示
07.Savepoint與checkpoint區(qū)別
08.案例之savepoint演示
09.端到端一致性語義解釋
10.案例之kafka實(shí)現(xiàn)EndToEnd一致性語義
11.案例之Mysql實(shí)現(xiàn)EndToEnd一致性語義
第十章 Flink擴(kuò)展_異步IO_反壓_內(nèi)存管理
01.異步IO之使用前提
02.異步IO之核心API Async IO
03.案例之異步IO案例
04.什么是反壓問題
05.Flink如何解決反壓問題
06.Flink內(nèi)存管理
07.定制化內(nèi)存管理
08.定制化序列化框架
09.使用堆外內(nèi)存
第十一章 Flink-sql開發(fā)
01.Flink sql背景
02.sql常用算子之select
03.sql常用算子之where
04.sql常用算子之distinct
05.sql常用算子之group by
06.sql常用算子之union_union all
07.sql常用算子之join
08.sql常用算子之group window
09.案例之批處理sql案例
10.案例之流處理sql案例
?
