大存儲(chǔ)廠商一直都在強(qiáng)調(diào)磁盤可靠性對(duì)于整個(gè)存儲(chǔ)系統(tǒng)的重要性,并用各種參數(shù)來說明自己的磁盤產(chǎn)品的高可靠性。但事實(shí)上,相比于用戶對(duì)于可靠性的需求來說,目前存儲(chǔ)系統(tǒng)的可靠性技術(shù)發(fā)展已經(jīng)滯后了,并且,評(píng)價(jià)可靠性的各種參數(shù)也不再適應(yīng)當(dāng)今用戶的需求了。因此,我們需要尋找新的標(biāo)準(zhǔn)來衡量磁盤的可靠性和使用年限。
據(jù)統(tǒng)計(jì),有20%到25%的存儲(chǔ)系統(tǒng)故障是由于磁盤問題所引起的,而且,磁盤驅(qū)動(dòng)器的實(shí)際故障率是廠商們聲稱的15倍甚至更高,用戶更換磁盤的頻率也遠(yuǎn)高于廠商的統(tǒng)計(jì)數(shù)字。上面這些統(tǒng)計(jì)數(shù)字讓我們不得不更重視磁盤的可靠性,因此,用戶在設(shè)計(jì)可靠性存儲(chǔ)系統(tǒng)時(shí)應(yīng)綜合考慮更多的因素,如選擇更可靠的磁盤類型和支撐架、使用冗余技術(shù)來應(yīng)付組件故障、給不同的存儲(chǔ)子系統(tǒng)配備獨(dú)立的連接等。
在存儲(chǔ)領(lǐng)域,MTBF(平均 無故障時(shí)間,mean time between failures)和AFR(年平均故障率,average failure rate)一直都是存儲(chǔ)廠商們自我評(píng)價(jià)的標(biāo)準(zhǔn),同時(shí)也是用戶在選購(gòu)時(shí)非常關(guān)注的重要參數(shù)。
那么,為什么存儲(chǔ)廠商和用戶都會(huì)如此地關(guān)注這兩個(gè)參數(shù)呢?從存儲(chǔ)廠商的角度來看,他們希望用這樣的數(shù)字來表征技術(shù)的發(fā)展。現(xiàn)在,廠商們紛紛宣稱自己的磁盤產(chǎn)品的MTBF已經(jīng)達(dá)到了100萬至150萬小時(shí)的水平,相當(dāng)于114年到170年,這樣的年限甚至已經(jīng)遠(yuǎn)超過了一般人的壽命。
MTBF是用來衡量存儲(chǔ)產(chǎn)品的可靠性指標(biāo),具體來說,是指相鄰兩次故障之間的平均工作時(shí)間?!暗F(xiàn)在,MTBF這個(gè)參數(shù)已經(jīng)變得越來越?jīng)]有意義了,因?yàn)橛脩粼絹碓脚磺宄@個(gè)數(shù)字究竟代表了什么?!盌ata Mobility的分析師Robin Harris說:“存儲(chǔ)廠商們都在宣稱自己的磁盤產(chǎn)品的平均無故障時(shí)間已經(jīng)達(dá)到了100萬小時(shí),甚至更長(zhǎng)的時(shí)間,但事實(shí)上,磁盤根本就堅(jiān)持不了那么久,這讓很多IT主管以及數(shù)據(jù)中心中的管理員們都感到十分困惑?!?
“這些被‘冠名’為MTBF或者是AFR的數(shù)字真的能夠幫助用戶衡量磁盤驅(qū)動(dòng)器的好壞嗎?”曾經(jīng)是EMC員工,現(xiàn)在是一家咨詢公司IT顧問的Steve Smith對(duì)此提出了自己的質(zhì)疑。
其實(shí),甚至連存儲(chǔ)廠商N(yùn)etApp自己也承認(rèn)了這一點(diǎn)。當(dāng)有用戶在分析機(jī)構(gòu)Data Mobility所運(yùn)營(yíng)的StorageMojo博客上發(fā)表了一篇公開信來抗議實(shí)際的平均無故障率時(shí)間要比廠商標(biāo)稱的高出好幾倍時(shí),NetApp的回復(fù)是:大部分有經(jīng)驗(yàn)的用戶都知道,存儲(chǔ)領(lǐng)域的磁盤故障率跟汽車廠商所標(biāo)稱的每公里耗油數(shù)的定義有些類似。也就是說,關(guān)于磁盤故障率的問題,就好比是開同樣的車、使用相同的汽油,但是跑的公里數(shù)卻不一樣,在平均無故障時(shí)間上出現(xiàn)的偏差在很大程度上是因?yàn)橛脩魶]有在******的環(huán)境中配置和使用磁盤。很明顯,這樣的解釋不免有些牽強(qiáng)。
.
MTBF已經(jīng)過時(shí)
***近,很多研究機(jī)構(gòu)對(duì)MTBF和AFR等衡量存儲(chǔ)特性的參數(shù)進(jìn)行了新一輪的研究,研究結(jié)果可以用這樣的一句話來總結(jié):在磁盤的可靠性和故障率的問題上,用戶和存儲(chǔ)廠商顯然是行駛在了不同的車道上。
“事實(shí)上,MTBF確實(shí)是經(jīng)過了實(shí)際的壓力測(cè)試和科學(xué)的統(tǒng)計(jì)學(xué)推斷而綜合得出的數(shù)據(jù)。但是,大家不要忘了,當(dāng)存儲(chǔ)廠商們宣布自己的磁盤產(chǎn)品的MTBF為30萬小時(shí)的時(shí)候,他們實(shí)際上是在說,在經(jīng)歷測(cè)試的所有磁盤中,經(jīng)過30萬小時(shí)的運(yùn)行后,只有一半出現(xiàn)了故障。”Harris表示,“如果是這樣的話,MTBF似乎對(duì)于某個(gè)磁盤驅(qū)動(dòng)器能夠使用多久并沒有什么參考價(jià)值。也就是說,MTBF根本無法準(zhǔn)確地表達(dá)出某個(gè)磁盤真實(shí)的故障率分布?!?
“MTBF參數(shù)就好比是某一地區(qū)女性的平均身高這類統(tǒng)計(jì)數(shù)據(jù)一樣,我們并不知道這個(gè)身高平均值的基數(shù)以及具體某個(gè)人的身高。其實(shí),當(dāng)初MTBF成為了衡量存儲(chǔ)性能的標(biāo)準(zhǔn)參數(shù)的原因也就在于,人們覺得其在表示了磁盤可靠性高低的同時(shí),不用去了解那些讓人弄不懂的具體細(xì)節(jié)?!盨mith表示。
“但是,在今天,MTBF這種簡(jiǎn)化了的參數(shù)已經(jīng)不能再適應(yīng)用戶的需求了?!盨mith補(bǔ)充說。Gartner的分析師Stan Zaffos也同意Smith的觀點(diǎn)。不過,他也表示,MTBF還是能夠比較準(zhǔn)確地反映出存儲(chǔ)廠商的技術(shù)發(fā)展水平,只不過這個(gè)參數(shù)對(duì)于用戶來說理解起來比較困難,或者說這個(gè)數(shù)字對(duì)于用戶來說意義已經(jīng)沒有以前那么大了?!耙胝嬲乩斫釳TBF并不是一件容易的事情,它需要IT管理者有很多工程方面的經(jīng)驗(yàn)和概率統(tǒng)計(jì)學(xué)方面的知識(shí)?!盳affos補(bǔ)充說。
不吻合的三大原因
“現(xiàn)在,存儲(chǔ)業(yè)界已經(jīng)逐漸開始使用AFR來代替MTBF,以達(dá)到讓用戶更容易理解的目的?!盚arris介紹說。同時(shí),Carnegie Mellon研究中心的Bianca Schroeder也表示:“用戶或許應(yīng)該更想知道,在某一年中有多少比例的磁盤會(huì)出現(xiàn)故障?!?
不過,據(jù)Carnegie Mellon的一項(xiàng)調(diào)查研究結(jié)果顯示,磁盤的更換率也比存儲(chǔ)廠商所提供的AFR數(shù)值高很多。廠商們提供的資料顯示,AFR一般在0.58%到0.88%之間,但調(diào)查結(jié)果卻表明,實(shí)際的年平均磁盤更換率超過了1%,一般來說在2%到4%之間,更高的甚至達(dá)到了13%?!霸谶@里需要強(qiáng)調(diào)的是,我們?cè)诖舜握{(diào)查中搜集了許多大型存儲(chǔ)系統(tǒng)更換磁盤的數(shù)據(jù),其中涉及了10萬個(gè)左右的SCSI、Fiber Channel和SATA磁盤,因此數(shù)據(jù)的可靠性還是有所保障的?!盨chroeder補(bǔ)充說。
Schroeder還介紹說,研究發(fā)現(xiàn),磁盤的更換率還會(huì)隨著其使用時(shí)間而逐步升高,尤其是當(dāng)磁盤使用了5年以后,磁盤驅(qū)動(dòng)器通常就會(huì)開始老化。這項(xiàng)發(fā)現(xiàn)與很多用戶的普遍看法非常吻合,但同時(shí)卻與廠商所提供的AFR出現(xiàn)了很大程度上的不吻合。
對(duì)于出現(xiàn)這種不吻合的一種解釋是,此項(xiàng)研究結(jié)果關(guān)注的是更換了多少磁盤,而AFR描述的是有多少磁盤預(yù)計(jì)會(huì)出現(xiàn)故障?!暗拇_,故障與更換并不能劃等號(hào)。舉個(gè)例子,用戶可能會(huì)在磁盤稍有異常的情況下就將其更換掉了,而這塊磁盤其實(shí)仍然還可以使用?!盨chroeder也解釋說。
此外,出現(xiàn)這種不吻合的第二個(gè)原因可能是,存儲(chǔ)廠商的測(cè)試環(huán)境一般都是十分理想的,而用戶真正的使用環(huán)境通常就無法達(dá)到這樣的水平?!坝脩粼谑褂么疟P時(shí),很多情況都可能會(huì)導(dǎo)致磁盤的損壞,比如振動(dòng)、電涌、塵土和濕度等?!盳affos介紹說。
而第三個(gè)原因可能就在于,存儲(chǔ)廠商和用戶對(duì)于故障的定義并不同。比如,當(dāng)磁盤驅(qū)動(dòng)器廠商拿到一塊返廠的磁盤時(shí),他們會(huì)把磁盤插進(jìn)測(cè)試設(shè)備中,如果發(fā)現(xiàn)沒有問題,就會(huì)貼上“no trouble found”或者“NTF”的標(biāo)簽。事實(shí)上,據(jù)統(tǒng)計(jì),有20%到30%的返廠磁盤上都被貼上了“no trouble found”的標(biāo)簽。但如果用戶拿一個(gè)這樣的磁盤插進(jìn)自己的服務(wù)器中,就會(huì)發(fā)現(xiàn)根本不能用。那么,對(duì)于用戶來說,它就還是一塊需要更換的壞磁盤。當(dāng)然,客觀地說,在對(duì)磁盤的好與壞的判斷上,廠商和用戶都沒有原則上的錯(cuò)誤。
這就正如Google的一項(xiàng)研究發(fā)現(xiàn),磁盤的故障在很多時(shí)候是由于匹配不當(dāng)所造成的,比如磁盤驅(qū)動(dòng)器與控制器的不匹配。有的時(shí)候,用戶在認(rèn)為是壞了的磁盤驅(qū)動(dòng)器中更換一個(gè)控制器后,就會(huì)發(fā)現(xiàn)仍然可以使用。據(jù)說,在Google的研究過程中,還發(fā)生了一件很有意思的事情:有一塊在用戶那里無論怎樣都不能使用了的磁盤,在測(cè)試人員手中卻始終顯示一切正常。
伊利諾斯州立大學(xué)的一項(xiàng)研究也證實(shí)了這個(gè)發(fā)現(xiàn)。在分析了39000個(gè)商業(yè)存儲(chǔ)系統(tǒng)和180萬個(gè)磁盤錯(cuò)誤記錄后,得出了這樣的結(jié)論:雖然存儲(chǔ)系統(tǒng)出現(xiàn)的故障有20%到25%是由于磁盤問題所引起的,但系統(tǒng)的其他部分,比如物理連接或是協(xié)議棧等也是引起磁盤問題的重要原因——物理連接問題導(dǎo)致的故障占到了27%~68%;而協(xié)議棧問題導(dǎo)致的故障占到了5%~10%。
.
理論上的MTDL
另一個(gè)從MTBF衍生而來的參數(shù)是MTDL(平均數(shù)據(jù)丟失時(shí)間,mean time to data loss),MTDL是指一個(gè)組件可能失敗使數(shù)據(jù)不能訪問的時(shí)間,其主要是存儲(chǔ)子系統(tǒng)廠商所使用的參數(shù),磁盤驅(qū)動(dòng)器廠商一般不會(huì)涉及,因?yàn)檫@個(gè)參數(shù)主要考慮的是所使用磁盤的數(shù)量、彈性、重建時(shí)間以及系統(tǒng)冗余的數(shù)量和類型。
Harris認(rèn)為,MTDL是個(gè)相對(duì)來說更有用的數(shù)字,不過也只是停留在了理論階段。實(shí)際上,伊利諾斯州立大學(xué)的一項(xiàng)研究同樣也對(duì)這個(gè)參數(shù)提出了質(zhì)疑。研究發(fā)現(xiàn),存儲(chǔ)子系統(tǒng)的故障表現(xiàn)出了很強(qiáng)的相關(guān)性,也就是說,在某一次故障發(fā)生以后,發(fā)生同樣故障的幾率要增大很多,且故障發(fā)生的時(shí)間也十分接近。
“而平均數(shù)據(jù)丟失時(shí)間的前提就是故障的隨機(jī)不相關(guān)性。但事實(shí)上,故障卻并不是隨機(jī)的,且故障之間是高度相關(guān)的,因此理論計(jì)算結(jié)果也并不能與實(shí)際相吻合。”Harris說。
也許是因?yàn)榇疟P驅(qū)動(dòng)器是物理設(shè)備,既然是物理設(shè)備就一定會(huì)老化,也自然就會(huì)出現(xiàn)這種實(shí)際與理論上的不吻合。事實(shí)上,據(jù)Google和Carnegie Mellon的一項(xiàng)聯(lián)合調(diào)研表明,一旦磁盤驅(qū)動(dòng)器使用超過了三年,AFR的值就會(huì)開始增大。
“其實(shí),使用過大容量磁盤的用戶早就已經(jīng)有這樣的經(jīng)驗(yàn)了。”Harris說,“如果用戶只購(gòu)買了200個(gè)磁盤,那么三年后,AFR這個(gè)數(shù)字對(duì)于他們來說就非常重要了,因?yàn)檫@個(gè)時(shí)候就要開始考慮更換磁盤了。”當(dāng)然,是否真的要更換還取決于用戶對(duì)于數(shù)據(jù)的重視程度和對(duì)于系統(tǒng)的穩(wěn)定性要求,以及用戶自身備份系統(tǒng)的好壞。
尋找新標(biāo)準(zhǔn)
回到問題的本質(zhì),存儲(chǔ)廠商該如何告訴用戶他們所購(gòu)買的磁盤究竟能夠用多久?很多業(yè)內(nèi)人士認(rèn)為,MTBF還沒有被拋棄的原因就在于,還沒有找到能夠替代它的參數(shù)?!捌鋵?shí),現(xiàn)在大多數(shù)用戶都希望能有一種新的評(píng)價(jià)標(biāo)準(zhǔn)來表征存儲(chǔ)產(chǎn)品的可靠性,但是要想找到這種新標(biāo)準(zhǔn)卻并不容易?!盨chroeder說。Smith也同意這個(gè)觀點(diǎn),不過,他也表示,總會(huì)找到一種方式可以用來區(qū)別不同磁盤驅(qū)動(dòng)器的可靠性程度。
此外,Smith還認(rèn)為,其實(shí)存儲(chǔ)廠商們擁有更“確切”的數(shù)字,只是他們不愿意公布出來?!笆聦?shí)上,對(duì)于該如何更好地評(píng)價(jià)存儲(chǔ)產(chǎn)品的可靠性,***為了解的莫過于大型磁盤陣列廠商了。但是,他們卻不愿意更清楚地告訴用戶,因?yàn)檫@樣就會(huì)減少他們?cè)凇忉屵@個(gè)數(shù)字’的過程中所創(chuàng)造出來的附加價(jià)值。”Smith說。
當(dāng)然,還有一種辦法就是使用實(shí)測(cè)的數(shù)據(jù)。“但是,這樣也很麻煩,有研究發(fā)現(xiàn),磁盤的使用時(shí)間越長(zhǎng),故障率就會(huì)越高。所以,從那些只使用了一年的磁盤上獲得的統(tǒng)計(jì)數(shù)據(jù)也并不能應(yīng)用到使用了多年的磁盤上?!盨chroeder說。
“也許,我們應(yīng)該測(cè)出磁盤驅(qū)動(dòng)器每年的AFR,但即使是這樣,仍然有很多因素會(huì)影響到這個(gè)數(shù)據(jù)的真實(shí)可靠性,如運(yùn)行狀況和工作負(fù)載等。”Schroeder補(bǔ)充說。的確,很多影響磁盤可靠性的因素使得存儲(chǔ)廠商們也很難建立起符合現(xiàn)實(shí)的模型。
不過,Schroeder也同意Smith的觀點(diǎn),存儲(chǔ)廠商們應(yīng)該、也有責(zé)任提供更多的數(shù)據(jù)讓用戶更好地了解磁盤的真實(shí)可靠性,如實(shí)際的磁盤更換率和潛在的扇區(qū)錯(cuò)誤等信息。目前,Carnegie Mellon就正在與Usenix合作建立一個(gè)記錄不同種類、不同使用年數(shù)和不同容量的磁盤的故障信息數(shù)據(jù)庫(kù)。
此外,Smith還介紹說,除了磁盤的可靠性以外,對(duì)用戶影響******的莫過于壞磁盤了,因?yàn)槟硞€(gè)磁盤的故障可能還會(huì)牽連到其他磁盤?!斑@也就是為什么對(duì)磁盤的安裝做物理分析非常重要的原因,因?yàn)檫@樣會(huì)找到系統(tǒng)中的一些代碼缺陷或是一些壞的部件。”Smith說,“當(dāng)然,擁有成熟的服務(wù)和技術(shù)支持來跟蹤系統(tǒng)運(yùn)行并查找錯(cuò)誤也非常重要?!?主要內(nèi)容譯自《Computerworld》)
.
評(píng)論
誰來保障可靠性?
110萬小時(shí)、114年,面對(duì)這些似乎讓人有些不敢相信的數(shù)字,用戶是不是可以得出這樣的結(jié)論——磁盤驅(qū)動(dòng)器的可靠性已經(jīng)很強(qiáng),因此完全可以不用再在乎MTBF和AFR之類的數(shù)字了?那么,在購(gòu)買磁盤時(shí),MTBF和AFR等參數(shù)還是影響用戶選購(gòu)的關(guān)鍵因素嗎?
其實(shí),已經(jīng)身經(jīng)百戰(zhàn)的用戶們也明白這些存儲(chǔ)產(chǎn)品的MTBF有些過高了,這些數(shù)字對(duì)于他們來說已經(jīng)不那么重要了,甚至他們已經(jīng)根本不在乎了。比如,兩個(gè)磁盤廠商所提供的磁盤產(chǎn)品的MTBF相差10%,用戶會(huì)覺得這是很大的差別嗎?似乎100萬小時(shí)與110萬小時(shí)已經(jīng)沒有什么本質(zhì)的區(qū)別了。
與此同時(shí),用戶們也開始覺得,讓存儲(chǔ)系統(tǒng)更可靠的途徑似乎只有加固整個(gè)系統(tǒng)的架構(gòu),而并不是寄希望于磁盤。除非存儲(chǔ)廠商們可以用事實(shí)證明他們的磁盤是值得信賴的,磁盤的可靠性才能真正地成為保障存儲(chǔ)系統(tǒng)的關(guān)鍵。
但是,現(xiàn)在的情況是,用戶對(duì)磁盤驅(qū)動(dòng)器的可靠性的需求增長(zhǎng)越來越快,但存儲(chǔ)廠商卻并不能完全達(dá)到用戶的需求。25年前,2萬小時(shí)的MTBF就非常不錯(cuò)了,而今天,雖然這個(gè)數(shù)字已經(jīng)達(dá)到了百萬小時(shí),但似乎已經(jīng)失去了原有的意義。因?yàn)椋啾却疟P可靠性的這種進(jìn)步,用戶遇到的問題似乎更多,并且這一差距還越拉越大