基于Flink搭建流計算平臺培訓課程班

一、流式處理架構

1.1 流式處理背景及架構介紹
1.2 流式處理行業案例以及Flink的適用場景及應用概述

二、Flink概述

2.1 什么是Flink
2.2 Flink架構
2.3 Flink 與 Spark的比較以及為什么選擇Flink
2.4 Flink開發環境配置和搭建

三、Flink編程模型

3.1 數據集類型
3.2 Flink編程接口
3.3 Flink程序結構
3.4 Flink數據類型

四、DataStream API介紹與使用

4.1 DataStream編程模型
4.2 Flink Execution 參數
4.3 Transformation
4.4 時間概念與Watermark
4.5 Windows窗口計算
4.6 作業鏈和資源組
4.7 Asynchronous I/O異步API
4.8 Asynchronous I/O異步原理

五、Flink流式計算基本概念介紹

5.1 時間特性：Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 數據完整性語義
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector數據源

6.1 FlinkKafkaSource序列化、消費模式
6.2 FlinkKafkaSource容錯、動態分區及topic
6.3 FlinkKafkaSink序列化、配置、分區與容錯
6.4自定義Source和Sink

七、DataSet API介紹與使用

7.1 DataSet API，Transformation
7.2 迭代計算
7.3 廣播變量與分布式緩存
7.4 語義注解
7.5 DataSetUtils工具類

八、Table API & SQL介紹與使用

8.1 基本概念

流/表對偶性
Source/Sink Table
數據回撤

8.2 Flink Table API
8.3 Flink SQL使用

Flink SQL client
Flink SQL 已支持特性

8.4 自定義函數 UDF/UDTF/UDAF

九、兩個完整的Flink實現案例

9.1 Kafka 數據流處理，寫入HDFS
9.2多源數據關聯與聚合分析

十、Flink有狀態的計算、狀態管理和容錯

10.1 什么是有狀態計算
10.2 有狀態計算中的數據一致性挑戰
10.3 理解state狀態
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用與Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用條件及使用步驟
10.9 Checkpoint相關配置及重啟策略
10.10 Savepoint的觸發、Job恢復及刪除

十一、實戰項目1：用Flink實現一個通用、配置化的海量數據流、批處理產品

11.1實現配置管理
11.2實現數據源加載
11.3實現主流程控制
11.4實現任務管理

十二、Flink部署與應用

12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升級
12.5 Flink on Yarn的原理和運行方式
12.6 Flink on Yarn 提交任務與停止任務

十三、Flink監控與性能優化

13.1 監控指標
13.2 Backpressure監控與優化
13.3 Checkpointing監控與優化
13.4 Flink內存優化

十四、Flink組件棧介紹與使用

14.1 Flink復雜事件處理
14.2 Flink Gelly圖計算應用
14.3 FlinkML機器學習應用
14.4 Flink Metrics 與監控

十五、Flink源碼學習

15.1 Flink源碼編譯
15.2 如何閱讀和學習Flink源碼
15.3 Flink源碼實現思路以及依賴管理
15.4 Flink核心模塊源碼帶讀與分析

十六、Flink在各大互聯網公司的典型應用剖析

16.1Flink在阿里的應用
16.2Flink在字節跳動的應用
16.3Flink在騰訊的應用
16.4Flink在微博的應用
16.5Flink在其他互聯網公司的應用
16.6Flink 最佳實踐

十七、實戰項目2：使用Flink實現電商用戶支付行為分析和審計風控

17.1電商支付數據模型（訂單，流水，賬戶余額，發現表）
17.2用戶行為分析需求與維度指標設計
17.3審計風控的需求與實現思路
17.4Flink代碼實現結構與業務邏輯細節拆解