海量數(shù)據(jù)存儲
GS9200系列分布式存儲采用存儲服務(wù)器集群的方式來滿足海量數(shù)據(jù)的存儲需求,大量的存儲服務(wù)器構(gòu)成的一個分布式的虛擬化存儲池,能夠為應(yīng)用提供單卷EB級別的存儲容量。所有的應(yīng)用客戶端都可以共享訪問虛擬化存儲池中的數(shù)據(jù),能夠很好的保證應(yīng)用系統(tǒng)數(shù)據(jù)的一致性,且存儲池中的資源可以按照應(yīng)用性能和容量需求進(jìn)行動態(tài)的彈性分配。
海量文件高效檢索
應(yīng)用平臺中,大量應(yīng)用的持續(xù)運行會產(chǎn)生海量的數(shù)據(jù),海量的數(shù)據(jù)不僅僅意味著容量的增長,也會帶來大量的文件數(shù)量增長。為了滿足應(yīng)用平臺的長期發(fā)展,集群存儲系統(tǒng)必須要能夠高效存儲管理足夠多的文件數(shù)量。集群存儲系統(tǒng)采用元數(shù)據(jù)服務(wù)器集群的方式來滿足海量文件數(shù)量的存儲需求以及海量文件數(shù)量帶來的元數(shù)據(jù)性能需求,可支撐單卷2千億以上文件的快速檢索需求。
元數(shù)據(jù)服務(wù)器集群中,元數(shù)據(jù)最大可擴展至128臺,采用兩兩互備的形式提供訪問,且集群中所有的元數(shù)據(jù)服務(wù)器都是對等的,元數(shù)據(jù)均衡地存放在所有的元數(shù)據(jù)服務(wù)器中。完全對等的元數(shù)據(jù)服務(wù)器集群架構(gòu)使得每臺元數(shù)據(jù)服務(wù)器都能夠同時提供服務(wù),突破了傳統(tǒng)單元數(shù)據(jù)服務(wù)器架構(gòu)對文件數(shù)量的限制以及存儲服務(wù)能力的限制。
在元數(shù)據(jù)服務(wù)器中,所有的元數(shù)據(jù)都是存放在永久性存儲區(qū)中,只有頻繁訪問的活躍性元數(shù)據(jù)才會在緩存中駐留,所有的元數(shù)據(jù)內(nèi)容更新都會及時地刷新到永久性存儲區(qū)中。上述的元數(shù)據(jù)存儲方式在滿足元數(shù)據(jù)服務(wù)器單元數(shù)據(jù)存儲能力的同時也提高了單個元數(shù)據(jù)服務(wù)器的服務(wù)能力,即使整個平臺突然斷電也不會發(fā)生數(shù)據(jù)的丟失,甚至從而導(dǎo)致整個存儲平臺的崩潰。
元數(shù)據(jù)服務(wù)器集群是以內(nèi)置的負(fù)載均衡機制來共同維護(hù)一個統(tǒng)一的名字空間,元數(shù)據(jù)的存儲負(fù)載和訪問負(fù)載都均勻地分布到各個元數(shù)據(jù)服務(wù)器上。元數(shù)據(jù)集群之上存在一個虛擬層,客戶端在訪問時可通過此虛擬層確定元數(shù)據(jù)存在于那臺物理元數(shù)據(jù)節(jié)點上,所有元數(shù)據(jù)訪問一步定位,無須中間代理轉(zhuǎn)發(fā)。
高并發(fā)訪問
在數(shù)據(jù)讀取的過程中,元數(shù)據(jù)信息是采用隨機讀取的形式進(jìn)行的,數(shù)據(jù)信息是采用順序讀取的形式進(jìn)行,當(dāng)高并發(fā)訪問時,隨機讀取與順序讀取的同時進(jìn)行會對服務(wù)器以至于整個文件系統(tǒng)造成很大的壓力,造成并發(fā)訪問性能低下。
GS9200文件系統(tǒng)是采用數(shù)據(jù)通道與元數(shù)據(jù)通道分離的形式實現(xiàn),且元數(shù)據(jù)服務(wù)器與數(shù)據(jù)存儲服務(wù)器可動態(tài)進(jìn)行擴容,從而加大元數(shù)據(jù)服務(wù)器檢索能力,與數(shù)據(jù)傳輸?shù)男阅埽簿褪钦f在高并發(fā)訪問情況發(fā)生時,元數(shù)據(jù)服務(wù)器可迅速的檢索到數(shù)據(jù)元數(shù)據(jù)信息,然后讓數(shù)據(jù)存儲端與訪問端直接建立數(shù)據(jù)通道,進(jìn)行并發(fā)數(shù)據(jù)讀取,從而提升高并發(fā)訪問效率。
GS9200的元數(shù)據(jù)可根據(jù)元數(shù)據(jù)服務(wù)器內(nèi)存大小將熱點的元數(shù)據(jù)盡量多地駐留在內(nèi)存中,提升元數(shù)據(jù)訪問的效率,同時得益于現(xiàn)在固態(tài)硬盤的發(fā)展,元數(shù)據(jù)在緩存中不命中的情況下也可以極高的帶寬提供元數(shù)據(jù)查詢服務(wù)。
實際應(yīng)用中,十臺元數(shù)據(jù)服務(wù)器的吞吐率可超過數(shù)十萬文件/秒,且此值不是元數(shù)據(jù)極限值,只是根據(jù)應(yīng)用實際環(huán)境得到的一個檢測時的最高值。
高數(shù)據(jù)讀寫性能
整個集群存儲系統(tǒng)是一個帶外模式的IO訪問架構(gòu),客戶端訪問存儲系統(tǒng)模型如下圖所示,數(shù)據(jù)通道和元數(shù)據(jù)通道完全分開,所有的數(shù)據(jù)讀寫都直接在Client(客戶端)和iStore(存儲服務(wù)器)之間進(jìn)行,整個IO架構(gòu)不存在任何單點性能限制。
存儲服務(wù)器集群中所有的存儲服務(wù)器都同時提供IO服務(wù),能夠向應(yīng)用服務(wù)器提供GByte/s級的聚合IO帶寬,能夠滿足云計算平臺中大量的應(yīng)用服務(wù)器同時訪問存儲系統(tǒng)帶來的性能需求。
集群存儲系統(tǒng)的雙集群模式(元數(shù)據(jù)服務(wù)器集群和存儲服務(wù)器集群)使得整個存儲平臺在架構(gòu)上沒有任何性能瓶頸,能夠提供超過100GByte/s的聚合IO帶寬以及1000萬次以上的IOPS(每秒讀寫次數(shù))。
動態(tài)在線擴展
集群存儲系統(tǒng)中的元數(shù)據(jù)服務(wù)器集群和存儲服務(wù)器集群都可以在線動態(tài)擴展。
存儲服務(wù)器集群的擴展包括存儲服務(wù)器數(shù)量和存儲服務(wù)器中磁盤數(shù)量的擴展,存儲服務(wù)器集群的擴展帶來的是容量上的增長,在擴展過程中無需中斷存儲系統(tǒng)上應(yīng)用的運行,擴展的容量即插即用。而且隨著存儲服務(wù)器數(shù)量的增多,整套集群存儲系統(tǒng)的聚合帶寬也會線性的增長。
元數(shù)據(jù)服務(wù)器集群的擴展帶來的是文件數(shù)量存儲能力的增長,整個擴展過程對整個應(yīng)用平臺完全透明,擴展的元數(shù)據(jù)服務(wù)器即刻能夠提供服務(wù),前端應(yīng)用無需進(jìn)行任何配置。隨著元數(shù)據(jù)服務(wù)器數(shù)量的增多,整套集群存儲系統(tǒng)所提供的元數(shù)據(jù)服務(wù)能力也會呈線性增長,能夠管理的文件總個數(shù)也線性增加。
高可靠性
在集群存儲系統(tǒng)設(shè)計中,假設(shè)任何硬件設(shè)備都是不可靠的,集群存儲系統(tǒng)的可靠性不依賴任何硬件設(shè)備來實現(xiàn),在集群存儲系統(tǒng)中任何元數(shù)據(jù)服務(wù)器、存儲服務(wù)器、磁盤以及網(wǎng)絡(luò)設(shè)備的失效都不影響集群存儲系統(tǒng)的穩(wěn)定運行。
數(shù)據(jù)動態(tài)遷移
隨著應(yīng)用平臺的持續(xù)運行和擴展,集群存儲系統(tǒng)也需要進(jìn)行不斷的擴展。擴展帶來了一個問題,新添加的存儲服務(wù)器中沒有任何的數(shù)據(jù),而原有的存儲服務(wù)器空間利用率卻維持在一個較高的狀態(tài),此時集群存儲系統(tǒng)只能在新添加的存儲服務(wù)器上為數(shù)據(jù)分配空間,從而導(dǎo)致整個集群存儲系統(tǒng)的寫入性能不能得到有效提升。為此需要在系統(tǒng)擴容后可以將原有存儲服務(wù)器上的一部分?jǐn)?shù)據(jù)動態(tài)的遷移到新添加的存儲服務(wù)器中,直到整個存儲服務(wù)器集群的空間利用率都達(dá)到一個相同的狀態(tài)。
在進(jìn)行數(shù)據(jù)動態(tài)遷移過程中前端應(yīng)用無需停止服務(wù),而且數(shù)據(jù)動態(tài)遷移過程對前端的應(yīng)用服務(wù)器是完全透明的,從而在擴容的同時也提高了整個平臺的IO效率。數(shù)據(jù)動態(tài)遷移過程可以隨時中斷,用戶可以在前端應(yīng)用負(fù)載較高的情況下將數(shù)據(jù)遷移過程停止,在合適的時間重新啟動數(shù)據(jù)動態(tài)遷移任務(wù),數(shù)據(jù)動態(tài)遷移任務(wù)將繼續(xù)進(jìn)行。
數(shù)據(jù)動態(tài)遷移的實現(xiàn)還帶來一個好處,存儲系統(tǒng)可以籍此替換老舊的過保硬件。管理員可以將一臺存儲服務(wù)器上的數(shù)據(jù)動態(tài)遷移到剩余的完好存儲服務(wù)器上,在數(shù)據(jù)遷移完成之后即可在集群存儲系統(tǒng)中刪除此存儲服務(wù)器。借助數(shù)據(jù)動態(tài)遷移功能集群存儲系統(tǒng)可以有效安全的撤除老舊設(shè)備,從而在線更新集群存儲系統(tǒng)中的所有的硬件。從上述可以得到,集群存儲系統(tǒng)可以確保云存儲系統(tǒng)持續(xù)不斷地運行下去,并進(jìn)行自我更新,實現(xiàn)可伸縮性綠色節(jié)能。
數(shù)據(jù)隔離與交互
存儲平臺是一個公共的服務(wù)平臺,存儲系統(tǒng)需要在共享訪問的基礎(chǔ)上減少不同應(yīng)用之間的相互干擾。在這里,GS9200系列分布式存儲可以讓不同的應(yīng)用掛載到集群存儲系統(tǒng)中不同的子目錄下,這樣既滿足了同一應(yīng)用不同服務(wù)器之間的共享訪問需求,又隔離了不同應(yīng)用的數(shù)據(jù)。這樣的數(shù)據(jù)隔離是邏輯上的隔離,各應(yīng)用在相互隔離的情況下還能夠共享集群存儲系統(tǒng)的剩余空間和整體IO性能,無需將集群存儲系統(tǒng)像SAN系統(tǒng)那樣分割成多個小塊,在滿足需求的同時也簡化了整個存儲平臺的管理,且linu可動態(tài)的對此目錄進(jìn)行容量設(shè)置。
文件系統(tǒng)POSI接口兼容
為了廣泛支持各種現(xiàn)有的應(yīng)用和方面構(gòu)建新的應(yīng)用系統(tǒng),GS9200系列分布式存儲采用POSI接口作為應(yīng)用訪問接口。POSI接口是一個廣泛應(yīng)用于各個操作系統(tǒng)的一個API規(guī)范,采用POSI接口作為集群存儲系統(tǒng)的訪問方式能夠滿足應(yīng)用領(lǐng)域中多樣化的應(yīng)用系統(tǒng)訪問存儲系統(tǒng)的兼容性。POSI也是一個應(yīng)用廣泛的編程模型,現(xiàn)有的應(yīng)用可以無縫的遷移到應(yīng)用平臺上。
文件系統(tǒng)和對象存儲互通
GS9200支持提供全面的S3對象存儲接口能力,同時還支持文件系統(tǒng)和對象存儲實現(xiàn)數(shù)據(jù)互通的功能。
為了融合兩種場景,GS9200在對象系統(tǒng)里面加入了存儲池的概念,對象的存儲池分為不同的類型(普通、FS),租戶基于存儲池創(chuàng)建bucket,該bucket訪問方式取決于bucket歸屬的存儲池的模式。
業(yè)務(wù)和存儲融合運行能力
GS9200存儲系統(tǒng)具備在自身的存儲節(jié)點之上運行相關(guān)業(yè)務(wù)系統(tǒng)(比如WebServer、流媒體、高性能計算、虛擬化)的能力,實現(xiàn)業(yè)務(wù)程序和存儲系統(tǒng)在同一批物理服務(wù)器中融合運行的模式。
GS9200的融合運行模式能夠大幅度降低構(gòu)建成本和日常的運維管理工作難度,真正實現(xiàn)在擴展計算能力或者存儲能力按需擴展。
秒級的快照功能
GS9200實現(xiàn)了秒級的ROW方式快照,具有以下幾個特點:
ROW方式的快照,沒有寫放大
對數(shù)據(jù)寫入性能沒有影響
支持大量快照并存
基于切片的快照,快照顆粒度小,空間占用小。
快照功能可為文件或者卷創(chuàng)建多達(dá)無限數(shù)量的基于增量的歷史時間點拷貝。當(dāng)發(fā)生數(shù)據(jù)“軟”故障,比如軟件程序?qū)е碌臄?shù)據(jù)損壞、病毒破壞、意外刪除等,可以通過對合適的時間點標(biāo)記進(jìn)行“回滾”來快速恢復(fù)數(shù)據(jù)。該功能特別適用于關(guān)鍵性業(yè)務(wù)的連續(xù)數(shù)據(jù)保護(hù)。