Hadoop可運行于一般的商用服務(wù)器上,具有高容錯、高可靠性、高擴展性等特點
特別適合寫一次,讀多次的場景
適合
- 大規(guī)模數(shù)據(jù)
- 流式數(shù)據(jù)(寫一次,讀多次)
- 商用硬件(一般硬件)
不適合
- 低延時的數(shù)據(jù)訪問
- 大量的小文件
- 頻繁修改文件(基本就是寫1次)
Hadoop架構(gòu)
- HDFS: 分布式文件存儲
- YARN: 分布式資源管理
- MapReduce: 分布式計算
- Others: 利用YARN的資源管理功能實現(xiàn)其他的數(shù)據(jù)處理方式
內(nèi)部各個節(jié)點基本都是采用Master-Woker架構(gòu)
更多建議: