Apache Flink流處理模型

時間:2017-11-23 14:35:09

   Flink的流處理模型在處理傳入數據時會將每一項視作真正的數據流。Flink提供的DataStream API可用于處理無盡的數據流。Flink可配合使用的基本組件包括:

 

  Stream(流)是指在系統中流轉的,永恒不變的無邊界數據集;

  Operator(操作方)是指針對數據流執行操作以產生其他數據流的功能;

  Source(源)是指數據流進入系統的入口點;

  Sink(槽)是指數據流離開Flink系統后進入到的位置,槽可以是數據庫或到其他系統的連接器;

  為了在計算過程中遇到問題后能夠恢復,流處理任務會在預定時間點創建快照。為了實現狀態存儲,Flink可配合多種狀態后端系統使用,具體取決于所需實現的復雜度和持久性級別。此外Flink的流處理能力還可以理解“事件時間”這一概念,這是指事件實際發生的時間,此外該功能還可以處理會話。這意味著可以通過某種有趣的方式確保執行順序和分組。

? 江苏快3号码表