Apache Spark流處理模式

時間:2017-11-23 14:31:27

    流處理能力是由Spark Streaming實現的。Spark本身在設計上主要面向批處理工作負載,為了彌補引擎設計和流處理工作負載特征方面的差異,Spark實現了一種叫做微批(Micro-batch)*的概念。在具體策略方面該技術可以將數據流視作一系列非常小的“批”,借此即可通過批處理引擎的原生語義進行處理。

 

  Spark Streaming會以亞秒級增量對流進行緩沖,隨后這些緩沖會作為小規模的固定數據集進行批處理。這種方式的實際效果非常好,但相比真正的流處理框架在性能方面依然存在不足。

? 江苏快3号码表