Hi,你好,歡迎來(lái)到智慧城市網(wǎng)
  • 廠(chǎng)家直供
  • 大宗采購
  • 實(shí)力企業(yè)
  • 資訊頭條
  • 招商
  • 卓越品牌
?
當前位置: 首頁(yè) » 大數據
大數據
       大數據(big data),指無(wú)法在一定時(shí)間范圍內用常規軟件工具進(jìn)行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長(cháng)率和多樣化的信息資產(chǎn)。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫(xiě)的《大數據時(shí)代》中大數據指不用隨機分析法(抽樣調查)這樣捷徑,而采用所有數據進(jìn)行分析處理。大數據的5V特點(diǎn)(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價(jià)值密度)、Veracity(真實(shí)性)。

對于“大數據”(Big data)研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力來(lái)適應海量、高增長(cháng)率和多樣化的信息資產(chǎn)。

麥肯錫全球研究所給出的定義是:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類(lèi)型和價(jià)值密度低四大特征。

大數據技術(shù)的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進(jìn)行專(zhuān)業(yè)化處理。換而言之,如果把大數據比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實(shí)現盈利的關(guān)鍵,在于提高對數據的“加工能力”,通過(guò)“加工”實(shí)現數據的“增值”。

從技術(shù)上看,大數據與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數據必然無(wú)法用單臺的計算機進(jìn)行處理,必須采用分布式架構。它的特色在于對海量數據進(jìn)行分布式數據挖掘。但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術(shù)。

隨著(zhù)云時(shí)代的來(lái)臨,大數據(Big data)也吸引了越來(lái)越多的關(guān)注。分析師團隊認為,大數據(Big data)通常用來(lái)形容一個(gè)公司創(chuàng )造的大量非結構化數據和半結構化數據,這些數據在下載到關(guān)系型數據庫用于分析時(shí)會(huì )花費過(guò)多時(shí)間和金錢(qián)。大數據分析常和云計算聯(lián)系到一起,因為實(shí)時(shí)的大型數據集分析需要像MapReduce一樣的框架來(lái)向數十、數百或甚至數千的電腦分配工作。

大數據需要特殊的技術(shù),以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內的數據。適用于大數據的技術(shù),包括大規模并行處理(MPP)數據庫、數據挖掘、分布式文件系統、分布式數據庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統。

最小的基本單位是bit,按順序給出所有單位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

它們按照進(jìn)率1024(2的十次方)來(lái)計算:

1 Byte =8 bit

1 KB = 1,024 Bytes = 8192 bit

1 MB = 1,024 KB = 1,048,576 Bytes

1 GB = 1,024 MB = 1,048,576 KB

1 TB = 1,024 GB = 1,048,576 MB

1 PB = 1,024 TB = 1,048,576 GB

1 EB = 1,024 PB = 1,048,576 TB

1 ZB = 1,024 EB = 1,048,576 PB

1 YB = 1,024 ZB = 1,048,576 EB

1 BB = 1,024 YB = 1,048,576 ZB

1 NB = 1,024 BB = 1,048,576 YB

1 DB = 1,024 NB = 1,048,576 BB

全稱(chēng):

1 Bit(比特) =Binary Digit

8Bits = 1 Byte(字節)

1,000 Bytes = 1 Kilobyte

1,000Kilobytes = 1 Megabyte

1,000 Megabytes = 1 Gigabyte

1,000 Gigabytes = 1Terabyte

1,000 Terabytes = 1 Petabyte

1,000 Petabytes = 1 Exabyte

1,000Exabytes = 1 Zettabyte

1,000 Zettabytes = 1 Yottabyte

1,000 Yottabytes = 1Brontobyte

1,000 Brontobytes = 1 Geopbyte

特征

容量(Volume):數據的大小決定所考慮的數據的價(jià)值和潛在的信息;

種類(lèi)(Variety):數據類(lèi)型的多樣性;

速度(Velocity):指獲得數據的速度;

可變性(Variability):妨礙了處理和有效地管理數據的過(guò)程。

真實(shí)性(Veracity):數據的質(zhì)量

復雜性(Complexity):數據量巨大,來(lái)源多渠道

價(jià)值(value):合理運用大數據,以低成本創(chuàng )造高價(jià)值

結構

大數據包括結構化、半結構化和非結構化數據,非結構化數據越來(lái)越成為數據的主要部分。據IDC的調查報告顯示:企業(yè)中80%的數據都是非結構化數據,這些數據每年都按指數增長(cháng)60%。大數據就是互聯(lián)網(wǎng)發(fā)展到現今階段的一種表象或特征而已,沒(méi)有必要神話(huà)它或對它

保持敬畏之心,在以云計算為代表的技術(shù)創(chuàng )新大幕的襯托下,這些原本看起來(lái)很難收集和使用的數據開(kāi)始容易被利用起來(lái)了,通過(guò)各行各業(yè)的不斷創(chuàng )新,大數據會(huì )逐步為人類(lèi)創(chuàng )造更多的價(jià)值。

其次,想要系統的認知大數據,必須要全面而細致的分解它,著(zhù)手從三個(gè)層面來(lái)展開(kāi):

第一層面是理論,理論是認知的必經(jīng)途徑,也是被廣泛認同和傳播的基線(xiàn)。在這里從大數據的特征定義理解行業(yè)對大數據的整體描繪和定性;從對大數據價(jià)值的探討來(lái)深入解析大數據的珍貴所在;洞悉大數據的發(fā)展趨勢;從大數據隱私這個(gè)特別而重要的視角審視人和數據之間的長(cháng)久博弈。

第二層面是技術(shù),技術(shù)是大數據價(jià)值體現的手段和前進(jìn)的基石。在這里分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數據從采集、處理、存儲到形成結果的整個(gè)過(guò)程。

第三層面是實(shí)踐,實(shí)踐是大數據的最終價(jià)值體現。在這里分別從互聯(lián)網(wǎng)的大數據,政府的大數據,企業(yè)的大數據和個(gè)人的大數據四個(gè)方面來(lái)描繪大數據已經(jīng)展現的美好景象及即將實(shí)現的藍圖。

應用

洛杉磯警察局和加利福尼亞大學(xué)合作利用大數據預測犯罪的發(fā)生。

google流感趨勢(Google Flu Trends)利用搜索關(guān)鍵詞預測禽流感的散布。

統計學(xué)家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。

麻省理工學(xué)院利用手機定位數據和交通數據建立城市規劃。

梅西百貨的實(shí)時(shí)定價(jià)機制。根據需求和庫存的情況,該公司基于SAS的系統對多達7300萬(wàn)種貨品進(jìn)行實(shí)時(shí)調價(jià)。

醫療行業(yè)早就遇到了海量數據和非結構化數據的挑戰,而近年來(lái)很多國家都在積極推進(jìn)醫療信息化發(fā)展,這使得很多醫療機構有資金來(lái)做大數據分析。

意義

現在的社會(huì )是一個(gè)高速發(fā)展的社會(huì ),科技發(fā)達,信息流通,人們之間的交流越來(lái)越密切,生活也越來(lái)越方便,大數據就是這個(gè)高科技時(shí)代的產(chǎn)物。阿里巴巴創(chuàng )辦人馬云來(lái)臺演講中就提到,未來(lái)的時(shí)代將不是IT時(shí)代,而是DT的時(shí)代,DT就是Data Technology數據科技,顯示大數據對于阿里巴巴集團來(lái)說(shuō)舉足輕重。

有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi),而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類(lèi)似,大數據并不在“大”,而在于“有用”。價(jià)值含量、挖掘成本比數量更為重要。對于很多行業(yè)而言,如何利用這些大規模數據是贏(yíng)得競爭的關(guān)鍵。

大數據的價(jià)值體現在以下幾個(gè)方面:

1)對大量消費者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數據進(jìn)行精準營(yíng)銷(xiāo)

2) 做小而美模式的中小微企業(yè)可以利用大數據做服務(wù)轉型

3) 面臨互聯(lián)網(wǎng)壓力之下必須轉型的傳統企業(yè)需要與時(shí)俱進(jìn)充分利用大數據的價(jià)值

不過(guò),“大數據”在經(jīng)濟發(fā)展中的巨大意義并不代表其能取代一切對于社會(huì )問(wèn)題的理性思考,科學(xué)發(fā)展的邏輯不能被湮沒(méi)在海量數據中。著(zhù)名經(jīng)濟學(xué)家路德維希·馮·米塞斯曾提醒過(guò):“就今日言,有很多人忙碌于資料之無(wú)益累積,以致對問(wèn)題之說(shuō)明與解決,喪失了其對特殊的經(jīng)濟意義的了解。”這確實(shí)是需要警惕的。

在這個(gè)快速發(fā)展的智能硬件時(shí)代,困擾應用開(kāi)發(fā)者的一個(gè)重要問(wèn)題就是如何在功率、覆蓋范圍、傳輸速率和成本之間找到那個(gè)微妙的平衡點(diǎn)。企業(yè)組織利用相關(guān)數據和分析可以幫助它們降低成本、提高效率、開(kāi)發(fā)新產(chǎn)品、做出更明智的業(yè)務(wù)決策等等。例如,通過(guò)結合大數據和高性能的分析,下面這些對企業(yè)有益的情況都可能會(huì )發(fā)生:

1)及時(shí)解析故障、問(wèn)題和缺陷的根源,每年可能為企業(yè)節省數十億美元。

2)為成千上萬(wàn)的快遞車(chē)輛規劃實(shí)時(shí)交通路線(xiàn),躲避擁堵。

3)分析所有SKU,以利潤最大化為目標來(lái)定價(jià)和清理庫存。

4)根據客戶(hù)的購買(mǎi)習慣,為其推送他可能感興趣的優(yōu)惠信息。

5)從大量客戶(hù)中快速識別出金牌客戶(hù)。

6)使用點(diǎn)擊流分析和數據挖掘來(lái)規避欺詐行為。

趨勢

趨勢一:數據的資源化

何為資源化,是指大數據成為企業(yè)和社會(huì )關(guān)注的重要戰略資源,并已成為大家爭相搶奪的新焦點(diǎn)。因而,企業(yè)必須要提前制定大數據營(yíng)銷(xiāo)戰略計劃,搶占市場(chǎng)先機。

趨勢二:與云計算的深度結合

大數據離不開(kāi)云處理,云處理為大數據提供了彈性可拓展的基礎設備,是產(chǎn)生大數據的平臺之一。自2013年開(kāi)始,大數據技術(shù)已開(kāi)始和云計算技術(shù)緊密結合,預計未來(lái)兩者關(guān)系將更為密切。除此之外,物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新興計算形態(tài),也將一齊助力大數據革命,讓大數據營(yíng)銷(xiāo)發(fā)揮出更大的影響力。

趨勢三:科學(xué)理論的突破

隨著(zhù)大數據的快速發(fā)展,就像計算機和互聯(lián)網(wǎng)一樣,大數據很有可能是新一輪的技術(shù)革命。隨之興起的數據挖掘、機器學(xué)習和人工智能等相關(guān)技術(shù),可能會(huì )改變數據世界里的很多算法和基礎理論,實(shí)現科學(xué)技術(shù)上的突破。

趨勢四:數據科學(xué)和數據聯(lián)盟的成立

未來(lái),數據科學(xué)將成為一門(mén)專(zhuān)門(mén)的學(xué)科,被越來(lái)越多的人所認知。各大高校將設立專(zhuān)門(mén)的數據科學(xué)類(lèi)專(zhuān)業(yè),也會(huì )催生一批與之相關(guān)的新的就業(yè)崗位。與此同時(shí),基于數據這個(gè)基礎平臺,也將建立起跨領(lǐng)域的數據共享平臺,之后,數據共享將擴展到企業(yè)層面,并且成為未來(lái)產(chǎn)業(yè)的核心一環(huán)。

趨勢五:數據泄露泛濫

未來(lái)幾年數據泄露事件的增長(cháng)率也許會(huì )達到100%,除非數據在其源頭就能夠得到安全保障??梢哉f(shuō),在未來(lái),每個(gè)財富500強企業(yè)都會(huì )面臨數據攻擊,無(wú)論他們是否已經(jīng)做好安全防范。而所有企業(yè),無(wú)論規模大小,都需要重新審視今天的安全定義。在財富500強企業(yè)中,超過(guò)50%將會(huì )設置首席信息安全官這一職位。企業(yè)需要從新的角度來(lái)確保自身以及客戶(hù)數據,所有數據在創(chuàng )建之初便需要獲得安全保障,而并非在數據保存的最后一個(gè)環(huán)節,僅僅加強后者的安全措施已被證明于事無(wú)補。

趨勢六:數據管理成為核心競爭力

數據管理成為核心競爭力,直接影響財務(wù)表現。當“數據資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后,企業(yè)對于數據管理便有了更清晰的界定,將數據管理作為企業(yè)核心競爭力,持續發(fā)展,戰略性規劃與運用數據資產(chǎn),成為企業(yè)數據管理的核心。數據資產(chǎn)管理效率與主營(yíng)業(yè)務(wù)收入增長(cháng)率、銷(xiāo)售收入增長(cháng)率顯著(zhù)正相關(guān);此外,對于具有互聯(lián)網(wǎng)思維的企業(yè)而言,數據資產(chǎn)競爭力所占比重為36.8%,數據資產(chǎn)的管理效果將直接影響企業(yè)的財務(wù)表現。

趨勢七:數據質(zhì)量是BI(商業(yè)智能)成功的關(guān)鍵

采用自助式商業(yè)智能工具進(jìn)行大數據處理的企業(yè)將會(huì )脫穎而出。其中要面臨的一個(gè)挑戰是,很多數據源會(huì )帶來(lái)大量低質(zhì)量數據。想要成功,企業(yè)需要理解原始數據與數據分析之間的差距,從而消除低質(zhì)量數據并通過(guò)BI獲得更佳決策。

趨勢八:數據生態(tài)系統復合化程度加強

大數據的世界不只是一個(gè)單一的、巨大的計算機網(wǎng)絡(luò ),而是一個(gè)由大量活動(dòng)構件與多元參與者元素所構成的生態(tài)系統,終端設備提供商、基礎設施提供商、網(wǎng)絡(luò )服務(wù)提供商、網(wǎng)絡(luò )接入服務(wù)提供商、數據服務(wù)使能者、數據服務(wù)提供商、觸點(diǎn)服務(wù)、數據服務(wù)零售商等等一系列的參與者共同構建的生態(tài)系統。而今,這樣一套數據生態(tài)系統的基本雛形已然形成,接下來(lái)的發(fā)展將趨向于系統內部角色的細分,也就是市場(chǎng)的細分;系統機制的調整,也就是商業(yè)模式的創(chuàng )新;系統結構的調整,也就是競爭環(huán)境的調整等等,從而使得數據生態(tài)系統復合化程度逐漸增強。

IT分析工具

大數據概念應用到IT操作工具產(chǎn)生的數據中,大數據可以使IT管理軟件供應商解決大廣泛的業(yè)務(wù)決策。IT系統、應用和技術(shù)基礎設施每天每秒都在產(chǎn)生數據。大數據非結構化或者結構數據都代表了‘所有用戶(hù)的行為、服務(wù)級別、安全、風(fēng)險、欺詐行為等更多操作’的絕對記錄。

大數據分析的產(chǎn)生旨在于IT管理,企業(yè)可以將實(shí)時(shí)數據流分析和歷史相關(guān)數據相結合,然后大數據分析并發(fā)現它們所需的模型。反過(guò)來(lái),幫助預測和預防未來(lái)運行中斷和性能問(wèn)題。進(jìn)一步來(lái)講,他們可以利用大數據了解使用模型以及地理趨勢,進(jìn)而加深大數據對重要用戶(hù)的洞察力。 他們也可以追蹤和記錄網(wǎng)絡(luò )行為,大數據輕松地識別業(yè)務(wù)影響;隨著(zhù)對服務(wù)利用的深刻理解加快利潤增長(cháng);同時(shí)跨多系統收集數據發(fā)展IT服務(wù)目錄。

大數據分析的想法,尤其在IT操作方面,大數據對于我們發(fā)明并沒(méi)有什么作用,但是我們一直在其中。Gartner已經(jīng)關(guān)注這個(gè)話(huà)題很多年了,基本上他們已經(jīng)強調,如果IT正在引進(jìn)新鮮靈感,他們將會(huì )扔掉大數據老式方法開(kāi)發(fā)一個(gè)新的IT操作分析平臺。

促進(jìn)發(fā)展

經(jīng)李克強總理簽批,2015年9月,國務(wù)院印發(fā)《促進(jìn)大數據發(fā)展行動(dòng)綱要》(以下簡(jiǎn)稱(chēng)《綱要》),系統部署大數據發(fā)展工作。

《綱要》明確,推動(dòng)大數據發(fā)展和應用,在未來(lái)5至10年打造精準治理、多方協(xié)作的社會(huì )治理新模式,建立運行平穩、安全高效的經(jīng)濟運行新機制,構建以人為本、惠及全民的民生服務(wù)新體系,開(kāi)啟大眾創(chuàng )業(yè)、萬(wàn)眾創(chuàng )新的創(chuàng )新驅動(dòng)新格局,培育高端智能、新興繁榮的產(chǎn)業(yè)發(fā)展新生態(tài)。

《綱要》部署三方面主要任務(wù)。一要加快政府數據開(kāi)放共享,推動(dòng)資源整合,提升治理能力。大力推動(dòng)政府部門(mén)數據共享,穩步推動(dòng)公共數據資源開(kāi)放,統籌規劃大數據基礎設施建設,支持宏觀(guān)調控科學(xué)化,推動(dòng)政府治理精準化,推進(jìn)商事服務(wù)便捷化,促進(jìn)安全保障高效化,加快民生服務(wù)普惠化。二要推動(dòng)產(chǎn)業(yè)創(chuàng )新發(fā)展,培育新興業(yè)態(tài),助力經(jīng)濟轉型。發(fā)展大數據在工業(yè)、新興產(chǎn)業(yè)、農業(yè)農村等行業(yè)領(lǐng)域應用,推動(dòng)大數據發(fā)展與科研創(chuàng )新有機結合,推進(jìn)基礎研究和核心技術(shù)攻關(guān),形成大數據產(chǎn)品體系,完善大數據產(chǎn)業(yè)鏈。三要強化安全保障,提高管理水平,促進(jìn)健康發(fā)展。健全大數據安全保障體系,強化安全支撐。

2015年9月18日貴州省啟動(dòng)我國首個(gè)大數據綜合試驗區的建設工作,力爭通過(guò)3至5年的努力,將貴州大數據綜合試驗區建設成為全國數據匯聚應用新高地、綜合治理示范區、產(chǎn)業(yè)發(fā)展聚集區、創(chuàng )業(yè)創(chuàng )新首選地、政策創(chuàng )新先行區。

圍繞這一目標,貴州省將重點(diǎn)構建“三大體系”,重點(diǎn)打造“七大平臺”,實(shí)施“十大工程”。

“三大體系”是指構建先行先試的政策法規體系、跨界融合的產(chǎn)業(yè)生態(tài)體系、防控一體的安全保障體系;“七大平臺”則是指打造大數據示范平臺、大數據集聚平臺、大數據應用平臺、大數據交易平臺、大數據金融服務(wù)平臺、大數據交流合作平臺和大數據創(chuàng )業(yè)創(chuàng )新平臺;“十大工程”即實(shí)施數據資源匯聚工程、政府數據共享開(kāi)放工程、綜合治理示范提升工程、大數據便民惠民工程、大數據三大業(yè)態(tài)培育工程、傳統產(chǎn)業(yè)改造升級工程、信息基礎設施提升工程、人才培養引進(jìn)工程、大數據安全保障工程和大數據區域試點(diǎn)統籌發(fā)展工程。

此外,貴州省將計劃通過(guò)綜合試驗區建設,探索大數據應用的創(chuàng )新模式,培育大數據交易新的做法,開(kāi)展數據交易的市場(chǎng)試點(diǎn),鼓勵產(chǎn)業(yè)鏈上下游之間的數據交換,規范數據資源的交易行為,促進(jìn)形成新的業(yè)態(tài)。

國家發(fā)展改革委有關(guān)專(zhuān)家表示,大數據綜合試驗區建設不是簡(jiǎn)單的建產(chǎn)業(yè)園、建數據中心、建云平臺等,而是要充分依托已有的設施資源,把現有的利用好,把新建的規劃好,避免造成空間資源的浪費和損失。探索大數據應用新的模式,圍繞有數據、用數據、管數據,開(kāi)展先行先試,更好地服務(wù)國家大數據發(fā)展戰略。

2016年3月17日,《中華人民共和國國民經(jīng)濟和社會(huì )發(fā)展第十三個(gè)五年規劃綱要》發(fā)布,其中第二十七章“實(shí)施國家大數據戰略”提出:把大數據作為基礎性戰略資源,全面實(shí)施促進(jìn)大數據發(fā)展行動(dòng),加快推動(dòng)數據資源共享開(kāi)放和開(kāi)發(fā)應用,助力產(chǎn)業(yè)轉型升級和社會(huì )治理創(chuàng )新;具體包括:加快政府數據開(kāi)放共享、促進(jìn)大數據產(chǎn)業(yè)健康發(fā)展。


經(jīng)營(yíng)許可證編號 京ICP備17002221號 |?京公網(wǎng)安備 110105019046號
返回頂部