Spark介紹

按照官方的定義，Spark 是一個(gè)通用，快速，適用于大規(guī)模數(shù)據(jù)的處理引擎。

通用性：我們可以使用Spark SQL來執(zhí)行常規(guī)分析， Spark Streaming 來流數(shù)據(jù)處理， 以及用Mlib來執(zhí)行機(jī)器學(xué)習(xí)等。Java，python，scala及R語言的支持也是其通用性的表現(xiàn)之一。

快速： 這個(gè)可能是Spark成功的最初原因之一，主要?dú)w功于其基于內(nèi)存的運(yùn)算方式。當(dāng)需要處理的數(shù)據(jù)需要反復(fù)迭代時(shí)，Spark可以直接在內(nèi)存中暫存數(shù)據(jù)，而無需像Map Reduce一樣需要把數(shù)據(jù)寫回磁盤。官方的數(shù)據(jù)表明：它可以比傳統(tǒng)的Map Reduce快上100倍。

大規(guī)模：原生支持HDFS，并且其計(jì)算節(jié)點(diǎn)支持彈性擴(kuò)展，利用大量廉價(jià)計(jì)算資源并發(fā)的特點(diǎn)來支持大規(guī)模數(shù)據(jù)處理。

環(huán)境準(zhǔn)備

mongodb下載

解壓安裝

啟動(dòng)mongodb服務(wù)

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log