售前咨詢電話:
暉客科技-為您的數(shù)據(jù)保駕護(hù)航
新一代網(wǎng)絡(luò)存儲(chǔ)服務(wù)器/一站式數(shù)據(jù)管理平臺(tái)
小數(shù)點(diǎn)后11個(gè)9都避免不了人為錯(cuò)誤。
隨著越來(lái)越多的企業(yè)將重點(diǎn)任務(wù)數(shù)據(jù)轉(zhuǎn)移到云端,云端平臺(tái)必須提供高層次的可用性和持久性,保證您的數(shù)據(jù)在需要時(shí)保持可訪問(wèn)性和完整性至關(guān)重要。
以99.999999999999999999的耐久性和99.99%的對(duì)象可用性為目的。AmazonS3引用數(shù)字9(9s)作為數(shù)據(jù)保護(hù)和運(yùn)營(yíng)業(yè)績(jī)水平的指標(biāo)。
但是,各大云商之間似乎正在進(jìn)行軍備競(jìng)賽,每個(gè)供應(yīng)商都試圖達(dá)到盡可能多的九成。微軟Azure有12個(gè)9個(gè),AmazonS3、Backblaze和谷歌CloudPlatform有11個(gè)9個(gè)。但比較棘手的是,關(guān)于這些數(shù)字怎么算,還沒(méi)有公認(rèn)的公式。在詳細(xì)介紹之前,從這9個(gè)意思開(kāi)始基本知識(shí)吧。
數(shù)據(jù)持續(xù)性:保持存儲(chǔ)的數(shù)據(jù)一致,具有完全不腐爛、驅(qū)動(dòng)故障或任何形式損壞的能力。99.9999999999%(11個(gè)9)的持續(xù)性意味著如果保存1000萬(wàn)個(gè)對(duì)象,預(yù)計(jì)每10,000年就會(huì)失去數(shù)據(jù)對(duì)象。
服務(wù)可用性:確保斷電或系統(tǒng)故障的連續(xù)無(wú)中斷服務(wù)(即正常運(yùn)行時(shí)間)的能力。SLA(服務(wù)水平協(xié)議)保證99.99%的可用性,意味著每年可能經(jīng)歷約53分鐘的停機(jī)時(shí)間。
可用性(%)=正常運(yùn)行時(shí)間/總時(shí)間(正常運(yùn)行時(shí)間+停%)=正常運(yùn)行時(shí)間/總時(shí)間(正常運(yùn)行時(shí)間+停止時(shí)間)在數(shù)據(jù)持續(xù)性方面要復(fù)雜得多。以下是我們數(shù)學(xué)運(yùn)算前應(yīng)該知道的三個(gè)重要因素
1.AFR(年度故障率):給定年度的平均故障率。AFR=(24*365)/MTBF(hr)BF(hr)。MTBF(平均無(wú)故障時(shí)間)是指設(shè)備到壽命為止的平均運(yùn)轉(zhuǎn)時(shí)間。
2.MTR(平均維護(hù)時(shí)間):指發(fā)生故障后,系統(tǒng)恢復(fù)正常運(yùn)行所需的平均時(shí)間。MTTR是重點(diǎn)指標(biāo)之一,因?yàn)閿?shù)據(jù)的持久性完全取決于重建過(guò)程中另一個(gè)驅(qū)動(dòng)器發(fā)生故障的可能性。
3.刪除代碼(里德-所羅門(mén)代碼):數(shù)據(jù)保護(hù)方法可以將對(duì)象分為m+n帶布局的片段(m:數(shù)據(jù)片段、n:奇偶檢查片段)。這些碎片在儲(chǔ)存池中均勻分布。以12+3擦碼方案為例。這意味著存儲(chǔ)的對(duì)象最多可以容忍3個(gè)損壞的段落,至少需要12個(gè)段落來(lái)恢復(fù)數(shù)據(jù)。
在灰**域內(nèi)。
盡管數(shù)據(jù)的持久性如何計(jì)算尚未達(dá)成共識(shí),但云存儲(chǔ)行業(yè)有兩種可用公式。一個(gè)。
這是第一個(gè)公式的樣子
1–(AFR/(365/MTTR)^(奇偶檢查數(shù))
假設(shè)AFR為5%,MTTR為3.4天的4個(gè)驅(qū)動(dòng)器容錯(cuò)能力,重建故障驅(qū)動(dòng)器時(shí)發(fā)生4個(gè)驅(qū)動(dòng)器故障的概率如下
(AFR*MTTR)4=(.05/年*3.4天*1/365年/天)4=4.66*10-4)4=4.7*10-14。
數(shù)據(jù)的持續(xù)性等于:
1–(4.7*10-14)=.999999999999530(13個(gè)9)
接下來(lái)的第二個(gè)公式是遵循泊松分布,這個(gè)泊松分布用于顯示在給定時(shí)間段內(nèi)發(fā)生的事件數(shù)的概率。
在哪里?
k=1、2、3…(事件數(shù))
e=2.7182818284。
λ=給定時(shí)間間間隔內(nèi)連續(xù)事件的平均數(shù)。
網(wǎng)絡(luò)存儲(chǔ)服務(wù)的EC方案為17+3,AFR為0.41%,MTTR為156小時(shí),lambda為(((0.0041*20)/(365*24)/156)=0.00146027397。
4個(gè)驅(qū)動(dòng)器在156小時(shí)內(nèi)發(fā)生故障的概率如下
P=(2.7182818284-0.00146027397)*(0.001460273974)/(4*3*2*1)=1.89187284e-13)。
換句話說(shuō),(1-P)沒(méi)有并發(fā)驅(qū)動(dòng)器故障的概率為0.9999999999999810812715(12個(gè)9)。一年有56個(gè)156小時(shí)間隔,年耐久性實(shí)際上等于(1-1.89187284e-13)56=0.99999999999(11個(gè)9)。
SynologyC2對(duì)象的耐久性。
Synology選擇第二個(gè)公式來(lái)計(jì)算SynologyC2的耐久性,因?yàn)槲覀兿嘈挪此煞植急鹊谝粋€(gè)公式更能準(zhǔn)確地反映耐久性。驅(qū)動(dòng)器故障應(yīng)視為連續(xù)事件,而不是離散事件。當(dāng)一個(gè)驅(qū)動(dòng)器發(fā)生故障時(shí),同時(shí)安裝的其他驅(qū)動(dòng)器很可能很快發(fā)生故障。
目前,SynologyC2的EC方案為12+3,AFR為0.8%,MTTR為286(hr),數(shù)據(jù)持續(xù)性為9個(gè)。我們?cè)谶@些關(guān)鍵因素上做了很多努力。AFR顯著下降(從1.79%下降到0.8%)。為提供數(shù)據(jù)的任何人提供可靠性,持久的云服務(wù)是我們不懈的追求,所以我們一直在思考如何提高持久度。
選項(xiàng)之一是增加數(shù)據(jù)條的寬度。如下表所示,添加奇偶校驗(yàn)片段在實(shí)現(xiàn)9s方面效果較好。我們還發(fā)現(xiàn),16+4條帶的布局效果最好,因?yàn)樗梢詮?個(gè)9到12個(gè)9,不影響存儲(chǔ)效率。因此,將數(shù)據(jù)從12+3添加到16+4是我們近期要做的事情。
現(xiàn)實(shí)的場(chǎng)景。
在我們擴(kuò)展群暉SynologyC2云存儲(chǔ)的三周內(nèi),六個(gè)驅(qū)動(dòng)器出現(xiàn)故障,其中兩個(gè)驅(qū)動(dòng)器擊中了同一個(gè)對(duì)象。幸運(yùn)的是,由于我們的容錯(cuò)存儲(chǔ)基礎(chǔ)設(shè)施,我們可以幸免。
那么,同時(shí)發(fā)生的驅(qū)動(dòng)器故障需要幾個(gè)九個(gè)問(wèn)題。并發(fā)驅(qū)動(dòng)器發(fā)生故障的可能性接近奇偶檢測(cè)驅(qū)動(dòng)器的RAID陣列。因此,如果一卷有六個(gè)以上的驅(qū)動(dòng)器,建議配置RAID6。你將有兩個(gè)奇偶測(cè)試驅(qū)動(dòng)器,可以實(shí)現(xiàn)更高的數(shù)據(jù)冗余。
避免數(shù)據(jù)丟失。
如前所述,在數(shù)據(jù)持久性的精準(zhǔn)計(jì)算上并未達(dá)成共識(shí),在一定程度上,各大云商通過(guò)夸大一些數(shù)字來(lái)濫用它作為云服務(wù)的賣點(diǎn)。
聽(tīng)起來(lái)不錯(cuò),但沒(méi)有九位數(shù)可以防止數(shù)據(jù)丟失。事實(shí)上,三分之二的數(shù)據(jù)丟失事件不是由硬件故障引起的。不管基礎(chǔ)架構(gòu)存儲(chǔ)多久,你的數(shù)據(jù)仍然會(huì)受到人為錯(cuò)誤的影響。
為了最大限度地減少數(shù)據(jù)丟失的風(fēng)險(xiǎn),最好的實(shí)踐是建立可靠的數(shù)據(jù)保護(hù)戰(zhàn)略。對(duì)于重要的任務(wù)數(shù)據(jù),不必太小心。確保采用3-2-1備份戰(zhàn)略,確保重要數(shù)據(jù)的服務(wù)可用性和數(shù)據(jù)完整性。保留三份數(shù)據(jù)復(fù)印件,存儲(chǔ)在兩種不同的介質(zhì)中,一種存儲(chǔ)在異地。
數(shù)據(jù)保護(hù)從當(dāng)?shù)財(cái)U(kuò)展到云?使用SynologyC2邁出堅(jiān)實(shí)的備份計(jì)劃第一步,在社區(qū)里告訴我們你的想法。
地址:北京市海淀區(qū)白家疃尚品園? ? ? ? ? ? ?1號(hào)樓225
北京群暉時(shí)代科技有限公司