一、引言

隨著信息存儲量的爆炸式增長和數(shù)據(jù)重要性的日益凸顯，網(wǎng)絡(luò)存儲正在逐步取代傳統(tǒng)直連式存儲(DAS，directaim.chedstorage)，它具有以下優(yōu)點：

(1)提高存儲資源利用率，研究表明直連存儲中的存儲設(shè)備利用率僅為40%，而網(wǎng)絡(luò)存儲中則高達90%;

(2)降低存儲系統(tǒng)的總體擁有成本(TCO，totalcostofowner)，存儲管理成本中最主要的是人力成本，網(wǎng)絡(luò)存儲可以有效降低大規(guī)模存儲中的人力成本的開銷。

據(jù)統(tǒng)計，直連存儲的TCO約為0.84$MB，而網(wǎng)絡(luò)存儲則僅為0.35~0.38$MB。

存儲虛擬化是網(wǎng)絡(luò)存儲系統(tǒng)中普遍采用的一種數(shù)據(jù)管理技術(shù)，它通過一定手段實現(xiàn)對存儲資源的集中式管理，屏蔽了組成物理存儲介質(zhì)的異構(gòu)性并為使用者提供大容量、高性能和多功能的存儲系統(tǒng)。網(wǎng)絡(luò)存儲虛擬化可以分為帶內(nèi)和帶外兩類，如圖1所示，在帶內(nèi)虛擬化網(wǎng)絡(luò)存儲系統(tǒng)中。所有數(shù)據(jù)通路都經(jīng)由唯一IO導(dǎo)向器，它不僅負(fù)責(zé)存儲資源的虛擬化管理同時在數(shù)據(jù)通路上實現(xiàn)各種數(shù)據(jù)存儲管理語義;在帶外虛擬化網(wǎng)絡(luò)存儲系統(tǒng)中，應(yīng)用服務(wù)器和存儲設(shè)備直接進行數(shù)據(jù)傳輸，存儲資源的管理由獨立于數(shù)據(jù)傳輸通路的存儲虛擬化服務(wù)器提供。相比之下，一方面，帶內(nèi)虛擬化方式不僅存在由IO導(dǎo)向器帶來的性能瓶頸和單點故障等問題，同時它不能充分發(fā)揮交換式存儲網(wǎng)絡(luò)的承載能力和單個存儲設(shè)備的IO能力，此外IO導(dǎo)向器的IO轉(zhuǎn)發(fā)操作也會相應(yīng)增加數(shù)據(jù)傳輸通路的IO延遲;另一方面，通過對數(shù)據(jù)傳輸通路的有效控制，帶內(nèi)虛擬化方式易于實現(xiàn)各種高級數(shù)據(jù)存儲管理語義，如在線數(shù)據(jù)遷移、數(shù)據(jù)復(fù)制和數(shù)據(jù)版本(快照)控制等。

目前網(wǎng)絡(luò)存儲從系統(tǒng)結(jié)構(gòu)上主要分為SAN(storageareanetwork)和NAS(networkattachedstorage)兩類，其中前者由專用的網(wǎng)絡(luò)和設(shè)備構(gòu)建，提供塊級數(shù)據(jù)訪問接口，而后者基于服務(wù)器直連盤陣架構(gòu)，在傳統(tǒng)數(shù)據(jù)網(wǎng)上提供文件級數(shù)據(jù)訪問接口。本文主要介紹由國家高性能計算機工程技術(shù)中心自主研制的網(wǎng)絡(luò)存儲系統(tǒng)?BWVSDS(BlueWhale-virtualstoragedevicesystem)，它是一種基于帶外虛擬化技術(shù)的SAN系統(tǒng)，目前已實際應(yīng)用于視頻監(jiān)控、科學(xué)研究和企業(yè)辦公等領(lǐng)域，相比于其它SAN系統(tǒng)，BW-VSDS具有以下特點：

(1)采用兩級帶外虛擬化數(shù)據(jù)管理模型以充分發(fā)揮單個存儲節(jié)點的LO能力并釋放存儲網(wǎng)絡(luò)的承載能力;

(2)采用分布式數(shù)據(jù)存儲管理協(xié)議以實現(xiàn)高級數(shù)據(jù)存儲管理語義;

(3)支持多種塊級數(shù)據(jù)傳輸協(xié)議以適用于不同的應(yīng)用環(huán)境。

2基本原理

BW-VSDS系統(tǒng)由元數(shù)據(jù)服務(wù)器、存儲節(jié)點和應(yīng)用服務(wù)器三種功能實體組成，如圖2所示，元數(shù)據(jù)服務(wù)器采用帶外虛擬化方式將分布在多個存儲節(jié)點中的離散存儲資源聚合為一個統(tǒng)一的虛擬存儲池，它根據(jù)應(yīng)用的具體需求劃分出具有不同屬性的虛擬存儲卷并授權(quán)給相應(yīng)的應(yīng)用服務(wù)器，后者則通過存儲代理以虛擬磁盤的方式直接訪問位于存儲節(jié)點中的存儲資源。本小節(jié)我們將闡述為實現(xiàn)上述功能BW―VSDS所采用的兩項關(guān)鍵技術(shù)。2.1兩級帶外虛擬化數(shù)據(jù)管理模型

BW-VSDS系統(tǒng)中將存儲虛擬化功能劃分為存儲節(jié)點內(nèi)和存儲節(jié)點間兩級(如圖3所示)：

本地虛擬化：存儲節(jié)點通過RMD或基于磁盤屬性的分組池化技術(shù)集中管理與其直連的物理存儲資源(磁盤或磁盤陣列)，在此基礎(chǔ)之上，它以邏輯存儲卷為單位對存儲資源進行劃分，并在節(jié)點內(nèi)提供各種高級數(shù)據(jù)存儲管理功能，如數(shù)據(jù)讀寫緩存、數(shù)據(jù)復(fù)制、數(shù)據(jù)版本控制和數(shù)據(jù)加密等，其中邏輯存儲卷是BW-VSDS系統(tǒng)中最小的可管理單元。

全局虛扭化：元數(shù)據(jù)服務(wù)器集中管理系統(tǒng)中的存儲資源，它首先將存儲節(jié)點中離散的存儲資源聚合為一個統(tǒng)一的虛擬存儲池，接著根據(jù)應(yīng)用服務(wù)器的具體需求為其分配具有豐H應(yīng)屆性(存儲空間的大小、數(shù)據(jù)的可靠性和讀寫性能等)的虛擬存儲卷，其中后者是由分布于不同存儲節(jié)點中的邏輯存儲卷在按照一定的地址映射規(guī)則聚合而成，位于應(yīng)用服務(wù)器中的虛擬磁盤驅(qū)動，根據(jù)相關(guān)元數(shù)據(jù)(對應(yīng)于圖3中的靜態(tài)路由轉(zhuǎn)發(fā)表)完成數(shù)據(jù)讀寫的轉(zhuǎn)發(fā)。

相比于Magicstore系統(tǒng)中采用的帶外虛擬化技術(shù)，BW-VSDS系統(tǒng)的特點在于將數(shù)據(jù)存儲的管理和存儲資源的管理進一步分離，其中元數(shù)據(jù)服務(wù)器只專注于系統(tǒng)存儲資源的管理，而各種高級數(shù)據(jù)存儲語義由每個存儲節(jié)點在本地提供，這樣徹底將元數(shù)據(jù)服務(wù)器從數(shù)據(jù)傳輸通路中釋放出來，這不僅減輕了前者的負(fù)載，提高了系統(tǒng)的可擴展性，同時避免了Magicstore系統(tǒng)在數(shù)據(jù)讀寫過程中訪問動態(tài)元數(shù)據(jù)而引入的額外網(wǎng)絡(luò)延遲開銷，從而進一步降低了端到端的數(shù)據(jù)傳輸延遲，這些相互獨立的存儲節(jié)點之間則通過相應(yīng)的分布式數(shù)據(jù)存儲管理協(xié)議以協(xié)作實現(xiàn)對虛擬存儲卷的高級數(shù)據(jù)存儲功能。

2.2分布式數(shù)據(jù)存儲管理

如前所述，帶內(nèi)虛擬存儲系統(tǒng)中的IO導(dǎo)向器通過重定向應(yīng)用服務(wù)器的讀寫請求在數(shù)據(jù)傳輸通路中實現(xiàn)各種高級數(shù)據(jù)存儲管理語義;而帶外虛擬存儲系統(tǒng)的特點在于元數(shù)據(jù)服務(wù)器并不直接參與數(shù)據(jù)的讀寫，為了實現(xiàn)多個存儲節(jié)點之問的協(xié)同工作需要某種分布式數(shù)據(jù)管理機制的支持，MagIEStore系統(tǒng)采用一種存儲空間的動態(tài)影射技術(shù)，其基本原理為：為了完成一次i賣寫請求，應(yīng)用服務(wù)器需首先向元數(shù)據(jù)服務(wù)器查詢完成該讀寫操作所需的地址影射信息，因此元數(shù)據(jù)服務(wù)器雖然不支直接參與讀寫轉(zhuǎn)發(fā)但實際控制著讀寫操作的進程，在這類帶外虛擬化存儲系統(tǒng)中，數(shù)據(jù)存儲管理功能對存儲節(jié)點是透明的，其優(yōu)點在于實現(xiàn)簡單而代價是增加了每次讀寫操作的延遲，相反，在BW-VSDS系統(tǒng)中，智能化的存儲節(jié)點在本地實現(xiàn)對單個組成邏輯存儲卷的數(shù)據(jù)存儲管理，而多個獨立存儲節(jié)點在元數(shù)據(jù)服務(wù)器的統(tǒng)一協(xié)調(diào)下協(xié)同工作，從而不僅實現(xiàn)了對復(fù)合虛擬存儲卷的數(shù)據(jù)存儲管理，同時保證了存儲數(shù)據(jù)的一致性，目前BW-VSDS系統(tǒng)已實現(xiàn)了對虛擬存儲卷的在線擴容、數(shù)據(jù)版本控制和在線數(shù)據(jù)復(fù)制等3種分布式數(shù)據(jù)存儲管理協(xié)議，下面我們主要介紹數(shù)據(jù)版本控制協(xié)議的基本工作原理

數(shù)據(jù)版本控制用以解決虛擬存儲卷快照創(chuàng)建時多個組成邏輯存儲卷的數(shù)據(jù)版本一致性問題。

(1)系統(tǒng)管理員為滿足麻用或系統(tǒng)在線數(shù)據(jù)備份等需求，分別從應(yīng)用服務(wù)器或元數(shù)據(jù)服務(wù)器發(fā)起虛擬存儲卷的快照創(chuàng)建請求;

(2)元數(shù)據(jù)服務(wù)器在接受該請求后向當(dāng)前在線共享該虛擬卷的所有應(yīng)用服務(wù)器發(fā)送快照創(chuàng)建命令;

(3)后者依次執(zhí)行對前臺讀寫請求的阻塞和本地緩存的同步;

(4)當(dāng)所有應(yīng)用服務(wù)器都完成(3)步操作后，元數(shù)據(jù)服務(wù)器向相關(guān)存儲節(jié)點發(fā)起對組成邏輯存儲卷的本地快照創(chuàng)建命令;(5-7)元數(shù)服務(wù)器在所有存儲節(jié)點完成快照創(chuàng)建操作后，通知應(yīng)用服務(wù)器快照操作完成，后者隨即釋放正被阻塞的讀寫請求，由上可知一次虛擬存儲卷的快照創(chuàng)建操作的總用時

3系統(tǒng)實現(xiàn)

如圖5所示，BW-VSDS系統(tǒng)軟件從結(jié)構(gòu)上可劃分為全局虛擬化、本地虛擬化和存儲代理三個子系統(tǒng)，他們分別運行于系統(tǒng)中的三種功能實體：元數(shù)據(jù)服務(wù)器、存儲節(jié)點和應(yīng)用服務(wù)器，本節(jié)將依次介紹這三種子系統(tǒng)各自不同的軟件組成和系統(tǒng)功能，以及三者之間的通訊機制。

3.1全局虛擬化子系統(tǒng)

該子系統(tǒng)運行于元數(shù)據(jù)服務(wù)器是整個系統(tǒng)的核心樞紐，它一方面將位于后端存儲節(jié)點中離散存儲資源聚合統(tǒng)一管理;另一方面以虛擬存儲卷為單位為前端應(yīng)用服務(wù)器分配所需的存儲資源，它由全局虛擬化引擎、系統(tǒng)管理接口，Web服務(wù)器三個模塊構(gòu)成，其中全局虛擬化引擎實現(xiàn)了系統(tǒng)存儲資源管理機制及多種資源管理策略;系統(tǒng)管理接口將用戶管理員命令轉(zhuǎn)換為對全局虛擬化引擎的相應(yīng)操作;Web服務(wù)器對外提供功能豐富的系統(tǒng)管理界面以方便管理員在控制臺實施遠(yuǎn)程訪問。