參照上圖中的成本構(gòu)成,存儲(chǔ)業(yè)務(wù)成本主要由硬件成本和運(yùn)營(yíng)成本構(gòu)成。而UCloud新一代歸檔存儲(chǔ)產(chǎn)品,從硬件和運(yùn)營(yíng)方面,都將成本壓到極低。

創(chuàng)新1:國(guó)內(nèi)首次SMR+JBOD高密機(jī)型商用落地,性?xún)r(jià)比新基石

UCloud新一代歸檔存儲(chǔ)采用了西數(shù)的SMR磁盤(pán)來(lái)提升單位容量的性?xún)r(jià)比。從CMR到SMR是磁盤(pán)技術(shù)的演進(jìn)方向,不過(guò),為了追求更大的存儲(chǔ)密度和存儲(chǔ)容量,不得不做出一些取舍,結(jié)果就是SMR雖然不支持隨機(jī)寫(xiě),但非常適合歸檔存儲(chǔ)大量順序?qū)懮倭侩S機(jī)讀的場(chǎng)景。

其實(shí)SMR磁盤(pán)的爭(zhēng)議很多,關(guān)于SMR是否可靠,是否容易損壞的說(shuō)法很多,但其實(shí)完全不用擔(dān)心。本質(zhì)上,就跟當(dāng)年NAND顆粒處于MLC到TLC的過(guò)渡期一樣,后者能帶來(lái)容量上的提升,但是是以壽命或者性能作為代價(jià)換來(lái)的,為了安全地用上TLC,SSD需要在控制器上做許多針對(duì)性的優(yōu)化,而用SMR同樣也要解決許多問(wèn)題。

由于SMR與CMR的磁道分布不同,導(dǎo)致SMR只支持每次在每個(gè)Zone里進(jìn)行順序?qū)懖僮?,于是便與原本的CMR的讀寫(xiě)操作有很大差異,這對(duì)于文件系統(tǒng)和軟件層面帶來(lái)了很大的挑戰(zhàn),為此,UCloud在自研的歸檔存儲(chǔ)架構(gòu)上做出了許多調(diào)整,向下兼容了CMR和SMR兩種類(lèi)型磁盤(pán),向上融合到了UFile對(duì)象存儲(chǔ)體系當(dāng)中。

SMR磁盤(pán)屬于新生事物,目前只在部分國(guó)外市場(chǎng)上用的比較多,而UCloud是國(guó)內(nèi)最早采用JBOD加SMR磁盤(pán)的廠商(首次商用落地),在使用過(guò)程中也發(fā)現(xiàn)了一些有趣的問(wèn)題,比如,由于過(guò)于追求容量密度,導(dǎo)致觸及機(jī)房地板的承重上限,一番調(diào)整后,最后就有了容量上的大幅提升。

SMR降低了單位容量成本是一方面,同時(shí),由于單機(jī)架整體容量的提升,意味著單位容量占用的CPU和內(nèi)存資源降低,在降低成本方面也有加成。通過(guò)采用西數(shù)的SMR大容量磁盤(pán),還有JBOD磁盤(pán)柜,將容量密度抬到了新高度,單盤(pán)空間提升150%,硬盤(pán)數(shù)量增加59%,單機(jī)架容量提升5.375倍。

SMR磁盤(pán)的采用從根本上提升了單盤(pán)存儲(chǔ)空間,降低了單位容量成本,降幅大約在10%到20%之間。

創(chuàng)新2:支持磁盤(pán)上下電的IO調(diào)度,省電費(fèi)的新高度

硬件以外,接下來(lái)的成本優(yōu)化主要就是靠?jī)?yōu)化運(yùn)營(yíng)了,運(yùn)營(yíng)成本的一個(gè)大頭就是電費(fèi)。

為了省電費(fèi),大家都很拼。許多數(shù)據(jù)中心都構(gòu)建在比較偏遠(yuǎn)的地方,占地費(fèi)用是一方面,主要是因?yàn)槠h(yuǎn)的地方電費(fèi)會(huì)有減免,如果當(dāng)?shù)販囟容^低,那還可以省一些空調(diào)電費(fèi)。國(guó)外還有人把數(shù)據(jù)中心放到海里,優(yōu)勢(shì)是可以使用潮汐這個(gè)清潔可再生能源,用海水的低溫來(lái)降低冷卻成本。

UCloud歸檔存儲(chǔ)的架構(gòu)中采用了支持上下電的IO調(diào)配技術(shù)來(lái)降低電費(fèi)能耗,說(shuō)白了就是:不干活兒的磁盤(pán)就不供電,需要干活兒的時(shí)候再給它供電。這一做法能降低90%的硬盤(pán)能耗,在純寫(xiě)入場(chǎng)景下,耗能的硬盤(pán)數(shù)僅為原來(lái)的5%,效果還是非常顯著的。

那么,部分硬盤(pán)斷電后的性能如何保證呢?UCloud存儲(chǔ)平臺(tái)資深研發(fā)工程師方然介紹,寫(xiě)的話(huà)是會(huì)始終保持有一定的磁盤(pán)進(jìn)行寫(xiě)操作,讀的話(huà)磁盤(pán)上下電操作有一定的冷卻時(shí)間,在時(shí)間內(nèi)進(jìn)行IO操作,無(wú)需再進(jìn)行上下電操作就能滿(mǎn)足IO請(qǐng)求。

至于磁盤(pán)壽命的問(wèn)題,方然解釋說(shuō),雖然磁盤(pán)上下電的次數(shù)是有限的,但將上下電的次數(shù)分配給壽命期內(nèi)的每一天每一個(gè)小時(shí),并根據(jù)這個(gè)壽命維護(hù)上下電的冷卻時(shí)間,這就使得磁盤(pán)在壽命期內(nèi)可以正常使用,無(wú)需擔(dān)心頻繁上下電造成的壽命問(wèn)題。

創(chuàng)新3:價(jià)格打折,可靠性和可用性不打折

對(duì)于在線歸檔服務(wù)來(lái)說(shuō),成本降低絕對(duì)不能犧牲可靠性和可用性。

在高可用設(shè)計(jì)方面,考慮到歸檔存儲(chǔ)使用了大容量磁盤(pán),數(shù)據(jù)恢復(fù)的耗時(shí)比較長(zhǎng),而且浪費(fèi)的存儲(chǔ)資源比較多。

于是UCloud的歸檔存儲(chǔ)架構(gòu)除了采用較小的Zone為故障修復(fù)單位之外還采用雙機(jī)頭帶JBOD的架構(gòu),每一塊磁盤(pán)在同一時(shí)間雙機(jī)頭可見(jiàn),當(dāng)故障發(fā)生時(shí)候,其中的一個(gè)機(jī)頭能在一定時(shí)間接管所有磁盤(pán)。

最終,UCloud歸檔存儲(chǔ)的高可用能達(dá)到3個(gè)9。

在高可靠設(shè)計(jì)方面,采用的是大比例EC糾刪碼的做法,為了避免對(duì)性能造成影響,UCloud采用了硬件加速方式來(lái)提升EC的計(jì)算能力。

由于冷存儲(chǔ)的時(shí)間跨度比較大,數(shù)據(jù)量也比較大,磁盤(pán)中可能會(huì)出現(xiàn)一些靜默錯(cuò)誤,為了解決這一問(wèn)題,UCloud在全鏈路上都保留了CRC校驗(yàn),保障了數(shù)據(jù)的安全性。

最終,UCloud歸檔存儲(chǔ)的可靠性能達(dá)到11個(gè)9的業(yè)內(nèi)主流水平。

為什么不用磁帶和藍(lán)光光盤(pán)呢?

說(shuō)到歸檔存儲(chǔ),許多人都能想到磁帶和藍(lán)光光盤(pán)存儲(chǔ),這兩種介質(zhì)的成本優(yōu)勢(shì)也非常明顯,為什么不用呢?

UCloud存儲(chǔ)平臺(tái)研發(fā)總監(jiān)吳斌煒表示,之所以不用主要還是因?yàn)閁Cloud一直以來(lái)的技術(shù)積累還是在于磁盤(pán)方面,有豐富的自研文件系統(tǒng)的經(jīng)驗(yàn)和直接操作裸塊設(shè)備的經(jīng)驗(yàn)。許多主流的云計(jì)算廠商也很少有用磁帶和光盤(pán)的,磁帶和光盤(pán)存儲(chǔ)主要出現(xiàn)在部分企業(yè)數(shù)據(jù)中心內(nèi)部。

在實(shí)際使用中,歸檔存儲(chǔ)也并不是絕對(duì)不修改數(shù)據(jù),有時(shí)候也會(huì)需要修改一些數(shù)據(jù),由于光盤(pán)完全不支持重新寫(xiě)入,磁帶的擦寫(xiě)需要花費(fèi)大量的時(shí)間,這也是選擇磁盤(pán)的一項(xiàng)原因。

更重要的是,磁盤(pán)未來(lái)有發(fā)展,磁盤(pán)廠商都宣布了更大容量盤(pán)的發(fā)布計(jì)劃,這意味著云廠商的用戶(hù)將在未來(lái)享受技術(shù)進(jìn)步帶來(lái)的收益,讓成本一降再降。值得一提的是, UCloud老用戶(hù)可以使用新一代歸檔存儲(chǔ)產(chǎn)品,通過(guò)配置靈活的生命周期策略將冷數(shù)據(jù)進(jìn)行遷移來(lái)節(jié)省成本。

結(jié)語(yǔ)

看完UCloud歸檔存儲(chǔ)的創(chuàng)新,最大的感受就是,云計(jì)算不愧是講究規(guī)模效應(yīng)的行業(yè),需要精益求精算成本,才能有競(jìng)爭(zhēng)力,這樣的創(chuàng)新讓我想起了AWS Nitro將虛擬化層硬化到專(zhuān)有設(shè)備里,從而減少主機(jī)資源占用的做法,為用戶(hù)交付更多資源,最終實(shí)現(xiàn)降本增效。

云計(jì)算的競(jìng)爭(zhēng)是方方面面的,但像這種創(chuàng)新是必然要有的。

分享到

zhupb

相關(guān)推薦