“大數(shù)據(jù)”概念已經(jīng)出現(xiàn)超過15年,在褪去了社會對其浮躁的認知后,已在各領(lǐng)域成熟應(yīng)用,從最開始的互聯(lián)網(wǎng)搜索行業(yè),再到企業(yè)運營和生產(chǎn)制造,繼而擴展到城市治理和教育醫(yī)療等。

　　當“大數(shù)據(jù)”從少數(shù)機構(gòu)的技術(shù)殺手锏,變成每個企業(yè)都可以快速應(yīng)用的通用技術(shù),技術(shù)演進貌似也已經(jīng)進入一個相對平穩(wěn)的解答。我們不禁要問,大數(shù)據(jù)的未來在哪里?

　　我們今天不講那些大家耳熟能詳?shù)慕?jīng)典應(yīng)用案例,而是從筆者一個另類的大數(shù)據(jù)體驗說起。

　　一. 你玩的是游戲,別人玩的是“大數(shù)據(jù)”。

　　去年,“吃雞”游戲《絕地求生》大火,我也積極相應(yīng)朋友圈的號召,在加班之余投入到吃雞大軍中,當然,絕大多數(shù)時候都免不了在開局初期就成 “盒”(被擊殺)。

　　于是,為了提高戰(zhàn)績,我換了1080TI顯卡,在高位升級了2條內(nèi)存,還買了個高性能鼠標,但仍然是每局悲劇。再次驗證了毛主席說的:“決定戰(zhàn)爭勝負的不是一兩件新式武器”。

　　直到我最近看到一篇文章,從大數(shù)據(jù)的角度對20G的游戲日志數(shù)據(jù)進行了分析,讓我恍然大悟。

　　文章作者獲取到了近70萬次游戲內(nèi)擊殺的數(shù)據(jù)集,然后使用Mathematica工具進行了簡單的大數(shù)據(jù)分析,得出了幾條結(jié)論。

　　1.首先通過分析擊殺者和被擊殺者的相對位置信息,得出結(jié)論“在房屋視覺死角方向靠近房屋可以大幅降低被擊殺的幾率”。

　　2.通過分析擊殺發(fā)生的坐標信息,分析出游戲中的最容易發(fā)生擊殺事件的區(qū)域,玩家可以根據(jù)自己的游戲策略,選擇進入高危區(qū)域或者躲避高危區(qū)域。

　　3.通過擊殺次數(shù)統(tǒng)計,得出“擊殺15名對手的玩家,有75%的概率能贏得比賽”。說明,在游戲中,只有多擊殺對手,才是獲得最終勝利的關(guān)鍵。

　　遵循著大數(shù)據(jù)分析給出的結(jié)論,我又上手玩了幾天,雖然還是沒有吃到雞,但是整體的游戲表現(xiàn)比之前有了大幅提升。只要有數(shù)據(jù),人人都可以玩大數(shù)據(jù)。

　　二. 大數(shù)據(jù)是怎么走到今天的

　　2004年前后,谷歌發(fā)表了三篇論文,標志著計算機大數(shù)據(jù)時代的開啟。三篇文章分別是《分布式文件系統(tǒng) GFS》、《分布式計算框架 MapReduce》和《NoSQL 數(shù)據(jù)庫 BigTable》,俗稱“三駕馬車”。

　　2005年, Hadoop因其技術(shù)的高效性,被Apache Software Foundation公司引入并成為開源應(yīng)用。

　　2008年末,計算社區(qū)聯(lián)盟 (Computing Community Consortium),發(fā)表了白皮書《大數(shù)據(jù)計算:在商務(wù)、科學(xué)和社會領(lǐng)域創(chuàng)建革命性突破》,該組織也成為第一個提出大數(shù)據(jù)概念的機構(gòu)。

　　2010年,肯尼斯.庫克爾在《經(jīng)濟學(xué)人》上發(fā)表大數(shù)據(jù)專題報告《數(shù)據(jù),無所不在的數(shù)據(jù)》,成功的洞見了大數(shù)據(jù)時代的趨勢。

　　2012年,維克托•邁爾•舍恩伯格出版了《大數(shù)據(jù)時代:生活、工作與思維的大變革》一書,提出了大數(shù)據(jù)的核心就是預(yù)測。該書也成為的大數(shù)據(jù)入門必看讀物。

　　2012年,美國政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》,標志著大數(shù)據(jù)已經(jīng)成為重要的時代特征。

　　2014年,中國《政府工作報告》中首次出現(xiàn)“大數(shù)據(jù)”一詞,掀起國內(nèi)大數(shù)據(jù)研究和應(yīng)用浪潮。

　　2016年,Spark在大數(shù)據(jù)行業(yè)開始流行,包括IBM在內(nèi)的大企業(yè)都紛紛擁抱這個經(jīng)濟實惠的分布式計算開源框架。標志著一個大數(shù)據(jù)新的技術(shù)里程碑。

　　2019年,知名的大數(shù)據(jù)軟件企業(yè)Cloudera和Hortonworks宣布合并,而另一大數(shù)據(jù)獨角獸MapR被HPE收購,標志著大數(shù)據(jù)商業(yè)軟件時代的結(jié)束,也預(yù)示著大數(shù)據(jù)的另一個未來。

　　三.大數(shù)據(jù)的未來在哪里?

　　在過去的十幾年,硬件的性能,尤其是網(wǎng)絡(luò)性能一直是大數(shù)據(jù)應(yīng)用的瓶頸, 天才的架構(gòu)師們自然想到了集群化大數(shù)據(jù)系統(tǒng)架構(gòu)。

　　1)分布式集群集中部署

　　單服務(wù)器提供的算力有限,使用大規(guī)模的服務(wù)器組成分布式集群,成千上萬個普通CPU并行計算突破了單服務(wù)器算力極限。

　　2)數(shù)據(jù)分散存儲在物理機每個硬盤上

　　每臺服務(wù)器掛載幾個至十幾個普通硬盤,使用多臺服務(wù)器搭載搭建了分布式存儲系統(tǒng),有效解決超大規(guī)模數(shù)據(jù)存儲問題。

　　3)數(shù)據(jù)本地化

　　數(shù)據(jù)處理任務(wù)從遠程物理機讀取數(shù)據(jù)開銷大。以數(shù)據(jù)為“中心”,將數(shù)據(jù)處理任務(wù)遷移到數(shù)據(jù)所在的物理機上,能有效降低網(wǎng)絡(luò)帶寬,保證了整體性能。

　　這就是存算一體的大數(shù)據(jù)技術(shù)架構(gòu)。經(jīng)過十多年的發(fā)展,網(wǎng)絡(luò)性能已經(jīng)提升了100倍,內(nèi)存容量也提升了數(shù)十倍。大數(shù)據(jù)處理的瓶頸逐漸從網(wǎng)絡(luò)轉(zhuǎn)移到CPU上,上述存算一體架構(gòu)的缺點也逐漸突顯出來:

　　1)剛性擴容,資源浪費

　　不同場景需要的存儲空間和算力配比是不一樣的。實際使用中要么計算資源達到瓶頸,要么是存儲容量不足,只能對集群進行剛性擴容,造成集群資源浪費。

　　2)資源無法彈性

　　不同場景,不同時期需要的算力是不固定的,存在波峰和波谷。物理機中存儲數(shù)據(jù)造成無法大規(guī)模關(guān)閉閑置節(jié)點,造成算力閑置和能源浪費。

　　3)數(shù)據(jù)孤島

　　隨著企業(yè)數(shù)據(jù)多種數(shù)據(jù)式并存,并存儲在不同的系統(tǒng)中,形成數(shù)據(jù)孤島,且互相訪問轉(zhuǎn)換成本高,制約了數(shù)據(jù)價值的進一步挖掘。

　　4)作業(yè)擁塞

　　隨著數(shù)據(jù)采集技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展,企業(yè)擁有EB級數(shù)據(jù)已經(jīng)成為常態(tài),而單次大數(shù)據(jù)分析作業(yè)就需要讀取數(shù)百TB乃至PB級的數(shù)據(jù),多任務(wù)并發(fā)下,極易出現(xiàn)作業(yè)擁塞,影響企業(yè)正常運作。

　　華為預(yù)測,到2025年,全球年新增數(shù)據(jù)存儲量為180ZB,企業(yè)的數(shù)據(jù)利用率會達到86%。如此巨大的數(shù)據(jù)如何高效的分析其中的價值?顯然,現(xiàn)有的大數(shù)據(jù)架構(gòu)已經(jīng)無法滿足未來的需求了,那么,大數(shù)據(jù)的未來在哪里?

　　8月27日,在重慶悅來國際會議中心舉辦的“重慶·選擇不凡 華為云城市峰會2019”,鯤鵬大數(shù)據(jù)解決方案將重磅發(fā)布,為您揭開大數(shù)據(jù)的未來之路。想了解更多峰會詳細內(nèi)容,搜索:華為云官網(wǎng)-最新活動-城市峰會-重慶·選擇不凡 華為云城市峰會2019。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔此類作品侵權(quán)行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。