全部課程
hdfs中block默認(rèn)保存幾份
發(fā)布時(shí)間: 2023-01-30
一般來(lái)說(shuō),HDFS的常見(jiàn)拷貝冗余策略是默認(rèn)保留3個(gè)拷貝。大型HDFS實(shí)例通常分布在由多個(gè)機(jī)架組成的集群中運(yùn)行,機(jī)房里有多個(gè)機(jī)架,同一機(jī)架上的多個(gè)服務(wù)器在不同的機(jī)架上。作為一個(gè)分布式文件系統(tǒng),HDFS使用多個(gè)副本進(jìn)行冗余數(shù)據(jù)存儲(chǔ),以提供容錯(cuò)和系統(tǒng)可用性,通常一個(gè)數(shù)據(jù)塊的多個(gè)副本分布在不同的數(shù)據(jù)節(jié)點(diǎn)。
第一個(gè)副本:放置在 上傳文件 的數(shù)據(jù)節(jié)點(diǎn)(第一個(gè)副本如果是在 集群外 提交,則隨機(jī)挑選一個(gè) CPU 比較空閑 、 磁盤(pán)不太滿(mǎn) 的節(jié)點(diǎn));
第二個(gè)副本:放置在與 第一個(gè)副本 不同 的機(jī)架的節(jié)點(diǎn)上;
第三個(gè)副本:放在與 第二個(gè)副本 相同 的機(jī)架的其他節(jié)點(diǎn)上。
上一篇: ECS的產(chǎn)品架構(gòu)
下一篇: hdfs的優(yōu)缺點(diǎn)