大數據熱門培訓內容之如何玩轉大數據

時間:2018-08-01 14:14:24

隨著科技的不斷進步,日常工作、生活中的數據量也是節節攀升,我們迎來了大數據時代。
以大數據為代表的數據密集型科學將成為新一次技術變革的基石。隨著數據的進一步集中和數據量的增大,對海量數據進行安全防護變得更加困難,數據的分布式處理也加大了數據泄露的風險。
物聯網、云計算、移動互聯網等新技術的發展,使得手機、平板電腦、PC及遍布地球各個角落的傳感器,成為數據來源和承載方式,BYOD也隨之誕生。

 

(1)何為大數據

據有關分析公司預測,到2013年,互聯網承載的數據量將會達到每年667EB,這是什么概念?1EB=230GB,數據量之大顯而易見,這些數據絕大多數是“非結構化數據”,通常不能為傳統的數據庫所用,但是大數據技術革新將會給我們的生活帶來巨大變化。

 

(2)四大特點組成大數據

數據量巨大:人類生產的所有印刷材料的數據量是200PB(1PB=210TB),而歷史上全人類說過的所有的話的數據量大約5EB(1EB=210PB)。當前,典型個人計算機硬盤的容量為TB量級,而一些大企業的數據量已經接近EB量級,如此龐大的數據量群,分析它們的難度可想而知,因此需要大量的大數據解決方案。

價值密度低:這也是當今大數據背景下需要解決的一個難題,價值密度的高低與數據總量的大小成反比,如果看一小時視頻,在連續不間斷的監控中有用數據的時間可能會很短,甚至是幾秒鐘,那么強大的數據計算機的算法就需要非常迅速地完成對數據的“提純”。

數據類型多:這點不用多解釋,數據類型的多樣性也讓數據被分為結構化數據和非結構化數據。相對于以往便于存儲的以文本為主的結構化數據,非結構化數據越來越多,包括網絡日志、音頻、視頻、圖片、地理位置信息等。

處理速度快:據IDC研究機構報告顯示,預計到2020年,全球數據使用量將達到35.2ZB(1ZB=210EB),分析這么大的數據,就需要設備對數據的處理速度有很大的提升。

 

(3)大數據給企業謀福利

2012年3月,美國宣布投資2億美元啟動“大數據研究和發展計劃”,借以增強收集海量數據、分析萃取信息的能力。2012年瑞士達沃斯論壇上發布的《大數據大影響》報告稱,數據已成為一種新的經濟資產類別,就像貨幣或黃金一樣,許多國家政府更是把大數據上升到戰略層面。

 

(4)全球大數據市場發展趨勢

對企業來講,在大數據背景下數據資產將會取代人才成為各個公司和行業的重要載體,可以有效地幫助企業完成業務的操作、流程的制定以及公司各項工作的運營和監督,通過對數據的分析,幫助企業領導者進行各項決策。

大數據對企業的核心資產也進行了重塑,企業必須熟悉和用好海量的數據,而互聯網行業已提早感受到了大數據帶來的深切變化。一些互聯網企業已經完成了核心競爭力的重新定義。

 

(5)信息安全不容小視

大數據成為網絡攻擊的顯著目標,在網絡空間,大數據是更容易被“發現”的大目標。一方面,大數據意味著海量的數據,也意味著更復雜、更敏感的數據,這些數據會吸引更多的潛在攻擊者。另一方面,數據的大量匯集,使得黑客成功攻擊一次就能獲得更多數據,無形中降低了黑客的進攻成本,增加了“收益率”。

如此龐大的數據中包含了很多個人信息,甚至是隱私信息,數據的集中存儲就勢必帶來大量數據丟失和破壞的風險,一些敏感數據的所有權和使用權并沒有明確界定,很多基于大數據的分析都未考慮到其中涉及的個體隱私問題。

許多企業對大數據的認知程度不同,因此致使企業在大數據管理和運營中會出現不妥之處,安全防護手段的更新升級速度無法跟上數據量非線性增長的步伐,就會暴露大數據安全防護的漏洞。

大數據技術很容易成為黑客的攻擊手段,在企業用數據挖掘和數據分析等大數據技術獲取商業價值的同時,黑客也在利用這些大數據技術向企業發起攻擊。黑客會最大限度地收集更多有用信息。

傳統的檢測是基于單個時間點進行的基于威脅特征的實時匹配檢測,而高級可持續攻擊是一個實施過程,無法被實時檢測。此外,大數據的價值低密度性,使得安全分析工具很難聚焦在價值點上,黑客可以將攻擊隱藏在大數據中。

 

(6)切忌一哄而上

中國工程院院士鄔賀銓曾建議,中國發展大數據需要盡快制定信息保護法與信息公開法,既要鼓勵面向群體而且服務于社會的數據挖掘,又要防止針對個體侵犯隱私的行為,既要提倡數據共享又要防止數據被濫用。

據了解,2010年中國新存儲的數據為250PB,僅為日本的60%,北美的7%。我國還并未重視對大數據的利用和存儲,一些數據在一定時間內白白浪費了。一些部門和機構擁有大量數據,但以鄰為壑,寧愿自己不用也不愿提供與有關部門共享,導致信息不完整或重復投資。

 

(7)國內大數據發展

鄔賀銓說,我國對大數據的信息安全保護也不夠重視。2012年中國的數據存儲量達到364EB,其中55%的數據需要一定程度的保護,然而目前只有不到一半的數據得到保護。

在制造行業,企業通過對網上大數據分析了解客戶需求和掌握市場動向,并對大數據進行分析后,就可以有效實現對采購和合理庫存量的管理,大大減少因盲目進貨而導致銷售損失,大數據是一個應用驅動性很強的服務,其標準和產業格局尚未形成,這是我國跨越發展的機會,但切忌一哄而起。

 

? 江苏快3号码表