大數據熱門培訓內容之大數據能力和頂層思考 

時間:2018-08-01 14:15:36

大數據的能力可以分為四層:

  第一層是骨骼,硬件和存儲的計算能力,相當于我們如何把數據的計算、存儲、服務等處理好;

  第二層是血液,數據建模和管理能力,包括數據如何進行采集、如何進行建模,以及如何最快的計算和最高效的存儲等等;

  第三層是思想,業務理解和算法能力,很多算法工程師、科學家用大數據的時候可以作出很多關于用戶的標簽畫像,其實這一部分正是他們對于業務的理解和算法能力的體現,但是僅僅這樣還不夠,大數據應用過程中需要一個系統、體系完整的解決方案。

  第四層是大腦,告訴你今天的數據表現是什么樣,問題是什么,未來你可以做一些什么,做完之后的效果會是怎么樣,因為這個效果可以做什么樣的改善,這本身就是一個非常復雜完整的體系,產品設計和服務能力,大腦進行產品的設計以及很好的服務能力。  

  這四者結合起來,分別表示著大數據的基礎建設能力和數據產品能力。  

  大數據能力背后意味著非常巨大的挑戰,大數據挑戰本身也是一個非常完整的閉環。  

  會在基礎建設方面,包括如何進行很好的數據采集,如果你的數據只有幾百個T或1PB左右,采集起來不那么難,如果面臨幾百個PB的數據如何采集,在無線時代已經到來的時候,無線的采集應該如何做?采集之后非常重要的是計算,如果把數據采集、計算都做得很好,可是上面的應用根本沒有很好的方法,快速和有效拿到這些數據來使用,其實前面所有的工作都是白費的。  

  關于采集、計算、服務是大數據基礎建設方面的挑戰,所有這些工作最終都要在上面浮現出來,就是我們所理解的數據產品,我們希望數據產品給到大家真的不只是一個報表,而是希望我們真的用數據產品去理解商業,理解它的目標,并且把數據不是枯燥的以一個表格的方式呈現給用戶,而是告訴你這個數據的含義是什么,如何解讀它,在這個過程中去追求數據價值的最大化。關于基礎建設和數據產品價值兩大塊挑戰的關鍵詞就是質量、效率和價值。  

  關于大數據的能力看起來非常具有想象空間,挑戰也是巨大的,這是非常復雜的事情,復雜的事情一定要用復雜的方法去解決,所以我們需要有簡單、清晰、明確的頂層設計。過去兩年,阿里巴巴大數據實戰過程中的一個頂層設計,下面我們做好數據的基礎建設,包括數據采集計算以及服務,上面我們面臨的客戶數據方面首先是阿里自己的小二,要有能力用好數據做數據化營運,第二塊是我們非常緊密的伙伴,即商家。我們在做這件事情頂層設計時,同步考慮阿里的小二和商家如何同時用好數據。數據基礎建設方面做好one data和one service,數據上面一塊做好對內和對外能夠共享的one Platform。解決的是關于大數據本身背后的挑戰,基礎建設和價值兩塊的挑戰。  

? 江苏快3号码表