Apache Hadoop的優勢與局限

時間:2017-11-23 14:23:32

    由于這種方法嚴重依賴持久存儲,每個任務需要多次執行讀取和寫入操作,因此速度相對較慢。但另一方面由于磁盤空間通常是服務器上最豐富的資源,這意味著MapReduce可以處理非常海量的數據集。同時也意味著相比其他類似技術,Hadoop的MapReduce通常可以在廉價硬件上運行,因為該技術并不需要將一切都存儲在內存中。MapReduce具備極高的縮放潛力,生產環境中曾經出現過包含數萬個節點的應用。

 

  MapReduce的學習曲線較為陡峭,雖然Hadoop生態系統的其他周邊技術可以大幅降低這一問題的影響,但通過Hadoop集群快速實現某些應用時依然需要注意這個問題。

 

  圍繞Hadoop已經形成了遼闊的生態系統,Hadoop集群本身也經常被用作其他軟件的組成部件。很多其他處理框架和引擎通過與Hadoop集成也可以使用HDFS和YARN資源管理器。

? 江苏快3号码表