大數(shù)據(jù)基礎(chǔ)架構(gòu)構(gòu)建為堆棧式技術(shù)架構(gòu),包括:1、基礎(chǔ)層。2、管理層;本層既包括數(shù)據(jù)的存儲和管理,也涉及數(shù)據(jù)的計算。3、分析層;提供基于統(tǒng)計學(xué)的數(shù)據(jù)挖掘和機器學(xué)習(xí)算法,用于分析和解釋數(shù)據(jù)集,幫助企業(yè)獲得對數(shù)據(jù)價值深入的領(lǐng)悟。4、應(yīng)用層。
本教程操作環(huán)境:windows7系統(tǒng)、Dell G3電腦。
大數(shù)據(jù)基礎(chǔ)架構(gòu)構(gòu)建為堆棧式技術(shù)架構(gòu),包括:基礎(chǔ)層、管理層、分析層、應(yīng)用層。
大數(shù)據(jù)的四層堆棧式技術(shù)架構(gòu):
1、基礎(chǔ)層
第一層作為整個大數(shù)據(jù)技術(shù)架構(gòu)基礎(chǔ)的最底層,也是基礎(chǔ)層。要實現(xiàn)大數(shù)據(jù)規(guī)模的應(yīng)用,企業(yè)需要一個高度自動化的、可橫向擴展的存儲和計算平臺。這個基礎(chǔ)設(shè)施需要從以前的存儲孤島發(fā)展為具有共享能力的高容量存儲池。容量、性能和吞吐量必須可以線性擴展。
云模型鼓勵訪問數(shù)據(jù)并提供彈性資源池來應(yīng)對大規(guī)模問題,解決了如何存儲大量數(shù)據(jù),以及如何積聚所需的計算資源來操作數(shù)據(jù)的問題。在云中,數(shù)據(jù)跨多個節(jié)點調(diào)配和分布,使得數(shù)據(jù)更接近需要它的用戶,從而可以縮短響應(yīng)時間和提高生產(chǎn)率。
2、管理層
要支持在多源數(shù)據(jù)上做深層次的分析,大數(shù)據(jù)技術(shù)架構(gòu)中需要一個管理平臺,使結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)管理為一體,具備實時傳送和查詢、計算功能。本層既包括數(shù)據(jù)的存儲和管理,也涉及數(shù)據(jù)的計算。并行化和分布式是大數(shù)據(jù)管理平臺所必須考慮的要素。
3、分析層
大數(shù)據(jù)應(yīng)用需要大數(shù)據(jù)分析。分析層提供基于統(tǒng)計學(xué)的數(shù)據(jù)挖掘和機器學(xué)習(xí)算法,用于分析和解釋數(shù)據(jù)集,幫助企業(yè)獲得對數(shù)據(jù)價值深入的領(lǐng)悟??蓴U展性強、使用靈活的大數(shù)據(jù)分析平臺更可成為數(shù)據(jù)科學(xué)家的利器,起到事半功倍的效果。
4、應(yīng)用層
大數(shù)據(jù)的價值體現(xiàn)在幫助企業(yè)進行決策和為終端用戶提供服務(wù)的應(yīng)用。不同的新型商業(yè)需求驅(qū)動了大數(shù)據(jù)的應(yīng)用。反之,大數(shù)據(jù)應(yīng)用為企業(yè)提供的競爭優(yōu)勢使得企業(yè)更加重視大數(shù)據(jù)的價值。新型大數(shù)據(jù)應(yīng)用對大數(shù)據(jù)技術(shù)不斷提出新的要求,大數(shù)據(jù)技術(shù)也因此在不斷的發(fā)展變化中日趨成熟。
想要查閱