隨著文件大小和數(shù)據(jù)規(guī)模逐步達到TB和PB,用戶也開始尋找一種新的方法,以便在不同的主機之間存儲、訪問和共享文件。集群和存儲區(qū)域網(wǎng)(SAN)文件系統(tǒng)也因此應(yīng)運而生。
廠商們已經(jīng)制造了一些軟件和硬件設(shè)備,它們可以把不相干的文件系統(tǒng)融合成只使用一個命名空間的文件系統(tǒng)。用戶可以訪問并共享其他用戶的數(shù)據(jù),而無需考慮是什么介質(zhì)或其所處的是哪臺主機。
這些設(shè)備和軟件所使用的技術(shù)就是人們所熟知的集群和SAN文件系統(tǒng)。與分布式文件系統(tǒng)相比,此類文件系統(tǒng)有如下幾大優(yōu)勢:因為數(shù)據(jù)不需要從一個文件系統(tǒng)拷貝或復(fù)制到另一個文件系統(tǒng),通過集群系統(tǒng)共享應(yīng)用和數(shù)據(jù)的任務(wù)執(zhí)行起來要比在單獨的設(shè)備上執(zhí)行快得多;集群可以為文件和文件系統(tǒng)提供更多的空間;因為只需要管理一個文件系統(tǒng),而不再是每個存儲設(shè)備或主機都需要一個文件系統(tǒng),管理也更容易了;如果集群內(nèi)的某臺服務(wù)器出現(xiàn)了故障,另一臺服務(wù)器就可以把它的工作接手過來,故障恢復(fù)也成為了現(xiàn)實;用戶也可以同時對位于其網(wǎng)絡(luò)上的存儲設(shè)備里的所有文件進行訪問。
集群存儲
在集群里,一組獨立的節(jié)點或主機可以象一個系統(tǒng)一樣步調(diào)一致地工作。它們不僅可以共享公用的存儲陣列或者SAN,也可以擁有只有一個命名空間的公用文件系統(tǒng)。
最近的一些案例來自Cluster File Systems、Oracle、Red Hat以及新興的Panasas和Spinnaker Networks公司等。Red Hat公司于去年收購了Sistina公司,該公司發(fā)布了適用于開放源碼的集群Global File System。Network Appliance公司則收購了Spinnaker Networks公司,該公司目前正在使用其SpinCluster軟件來改進網(wǎng)格戰(zhàn)略,即對網(wǎng)絡(luò)附加存儲(NAS)以及SAN存儲進行集群整合。Oracle公司也在該公司的真正應(yīng)用集群(Oracle 9i RAC)上使用其Cluster File System。Cluster File Systems公司則使用其Lustre File System來建立高性能的集群。
在一些成功案例里,單獨的服務(wù)器也是通過元數(shù)據(jù)服務(wù)器或設(shè)備與存儲連接,元數(shù)據(jù)服務(wù)器或設(shè)備可以對數(shù)據(jù)進行很細的分類,以使這些數(shù)據(jù)可以很容易地找到。
更好的性能是一些用戶使用集群文件系統(tǒng)的一個關(guān)鍵理由。某用戶目前使用Lustre File System,他們通過構(gòu)建的集群來進行科學仿真和模型建立工作,如今把兩個1000節(jié)點的集群用于生產(chǎn)系統(tǒng)。以前,需要在每一個集群上安裝文件系統(tǒng),而且當有人需要數(shù)據(jù)時,經(jīng)常需要把一個文件復(fù)制到另一個集群上去,文件系統(tǒng)之間頻繁的FTP任務(wù)對整個系統(tǒng)的性能造成了很大的影響。而現(xiàn)在他們能夠隨時將數(shù)據(jù)從文件系統(tǒng)中調(diào)出來閱讀,在不影響正常仿真任務(wù)進行的同時查看系統(tǒng)運行結(jié)果。
SAN文件系統(tǒng)
盡管集群文件系統(tǒng)具有上述優(yōu)勢,但是,它仍有一些地方需要改進。
有用戶評價說,集群文件系統(tǒng)非常復(fù)雜,此外,它們還需要技術(shù)人員很好的支持和專業(yè)技能來對其進行體系結(jié)構(gòu)的設(shè)計,并使其運行起來。與之相比,SAN文件系統(tǒng)能夠把服務(wù)器與存儲進行連接,并對文件系統(tǒng)環(huán)境進行“虛擬化”。另一用戶擁有的50TB數(shù)據(jù)是由ADIC公司的StorNext FS負責管理的。它正在進行科學鏡像數(shù)據(jù)收集。
該用戶的文件相對來說比較大,最大可達1GB,因此,使用分級存儲格式來存儲。其IT主管Terry Duncan說,“我們的大型系統(tǒng)里有數(shù)百萬份文件。我們希望多個系統(tǒng)能夠以非常快的速度同時查看相同的數(shù)據(jù)?!?br />
Duncan說,使用SAN文件系統(tǒng)之后,管理更容易了。如果我們不能把文件編寫到一個公用空間,以便讓數(shù)個系統(tǒng)同時訪問這些文件的話,就很難以我們需要的速度來處理這些數(shù)據(jù);如果不能擁有單一的命名空間的話,就得花大量的時間來回移動500GB的數(shù)據(jù)并對其進行分析。
集群存儲新產(chǎn)品 一些新產(chǎn)品允許同時對分布于眾多服務(wù)器和存儲設(shè)備中的文件進行訪問。 | |||
廠商名稱 | 產(chǎn)品 | 文件系統(tǒng)類型 | 支持的操作系統(tǒng) |
ADIC | StorNext FS | SAN | Windows,Linux,Unix |
Cluster File Systems | Lustre | File System 集群 | Linux |
IBM | Global Parallel File System | 集群,SAN | Linux,AIX |
IBM | TotalStorage SAN File System | SAN | Windows,Unix |
Panasas | ActiveScale File System | NAS | Linux |
Red Hat | Sistina Global File System | 集群,SAN | Linux |