全部課程
hdfs的優(yōu)缺點
發(fā)布時間: 2023-01-30
HDFS的優(yōu)點:
高容錯性。提供了容錯和恢復機制,副本丟失后,自動恢復。
高可靠性。數(shù)據(jù)自動保存多個副本,通過多副本提高可靠性。
適合大數(shù)據(jù)處理。可以處理超大文件,比如 TB級甚至PB級 的文件。
適合批處理。移動計算而非移動數(shù)據(jù);數(shù)據(jù)位置暴露給計算框架。
支持流式數(shù)據(jù)訪問。一次性寫入,多次讀?。ㄒ粋€數(shù)據(jù)集一旦生成,就會被復制分發(fā)到不同的存儲節(jié)點,各節(jié)點可以進行讀取/訪問);保證數(shù)據(jù)一致性。
低成本運行??梢赃\行在低成本的硬件之上。
HDFS的缺點:
不適合處理 低延遲 的數(shù)據(jù)訪問。比如用戶 要求時間比較短 的低延遲應用(主要處理高數(shù)據(jù)吞吐量的應用)。
不適合處理 大量的小 文件。會造成尋址時間超過讀取時間;會占用NameNode大量內(nèi)存,因為NameNode把文件系統(tǒng)的元數(shù)據(jù)存放在內(nèi)存中(文件系統(tǒng)的容量由NameNode的大小決定),小文件太多會消耗NameNode的內(nèi)存。
不適合 并發(fā)寫入。一個文件只能有一個寫入者,HDFS暫不支持多個用戶對同一個文件的寫操作。
不適合 任意修改 文件。僅支持append(附加),不支持在文件的任意位置進行修改。
上一篇: hdfs中block默認保存幾份