apache spark是什么意思？

Apache Spark是一個(gè)基于內(nèi)存計(jì)算的開(kāi)源的集群計(jì)算系統(tǒng)，目的是讓數(shù)據(jù)分析更加快速。Spark非常小巧玲瓏，由加州伯克利大學(xué)AMP實(shí)驗(yàn)室的Matei為主的小團(tuán)隊(duì)所開(kāi)發(fā)。使用的語(yǔ)言是Scala，項(xiàng)目的core部分的代碼只有63個(gè)Scala文件，非常短小精悍。

Apache Spark的5大優(yōu)勢(shì)：

1.更高的性能，因?yàn)閿?shù)據(jù)被加載到集群主機(jī)的分布式內(nèi)存中。數(shù)據(jù)可以被快速的轉(zhuǎn)換迭代，并緩存用以后續(xù)的頻繁訪問(wèn)需求。很多對(duì)Spark感興趣的朋友可能也會(huì)聽(tīng)過(guò)這樣一句話——在數(shù)據(jù)全部加載到內(nèi)存的情況下，Spark可以比Hadoop快100倍，在內(nèi)存不夠存放所有數(shù)據(jù)的情況下快Hadoop 10倍。

2.通過(guò)建立在Java、Scala、Python、SQL(應(yīng)對(duì)交互式查詢(xún))的標(biāo)準(zhǔn)API以方便各行各業(yè)使用，同時(shí)還含有大量開(kāi)箱即用的機(jī)器學(xué)習(xí)庫(kù)。

3.與現(xiàn)有Hadoop v1 (SIMR) 和2.x (YARN) 生態(tài)兼容，因此機(jī)構(gòu)可以進(jìn)行無(wú)縫遷移。

4.方便下載和安裝。方便的shell(REPL: Read-Eval-Print-Loop)可以對(duì)API進(jìn)行交互式的學(xué)習(xí)。

5.借助高等級(jí)的架構(gòu)提高生產(chǎn)力，從而可以講精力放到計(jì)算上。

同時(shí)，Apache Spark由Scala實(shí)現(xiàn)，代碼非常簡(jiǎn)潔。