以客戶為中心,提供定制化或一站式的全棧解決方案,賦能千行百業(yè)
xx臺(tái)新媒體每天產(chǎn)生大量的視音頻媒體節(jié)目,為超過百萬用戶提供多內(nèi)容、全業(yè)務(wù)、高質(zhì)量的節(jié)目服務(wù)。隨著視頻內(nèi)容的日益積累、內(nèi)容分發(fā)范圍不斷增大,對(duì)生產(chǎn)系統(tǒng)和存儲(chǔ)系統(tǒng)都提出更高的要求,所以建立一套系統(tǒng)完善、安全性高的素材存儲(chǔ)系統(tǒng)便是如今最重要的工作之一。
新項(xiàng)目的建設(shè),將為xx臺(tái)新媒體媒資庫存儲(chǔ)提供高性能的數(shù)據(jù)存儲(chǔ)平臺(tái)。滿足存儲(chǔ)空間的同時(shí),還要求存儲(chǔ)系統(tǒng)穩(wěn)定可靠、高性能、易擴(kuò)展、易維護(hù)等特性。針對(duì)xx臺(tái)新媒體媒資庫存儲(chǔ)的需求,細(xì)化分析如下:
1.根據(jù)當(dāng)前和近幾年數(shù)據(jù)容量的增長(zhǎng)預(yù)估,存儲(chǔ)系統(tǒng)需要提供近500TB的有效存儲(chǔ)空間。
2.存儲(chǔ)系統(tǒng)具有良好的擴(kuò)展性,以應(yīng)對(duì)媒資系統(tǒng)擴(kuò)容后更大存儲(chǔ)規(guī)模需求
3.業(yè)務(wù)系統(tǒng)要求存儲(chǔ)系統(tǒng)提供3GB/s的穩(wěn)定帶寬。
4.高可用存儲(chǔ),系統(tǒng)具備完善的自治能力,確保數(shù)據(jù)不丟失,存儲(chǔ)服務(wù)不停機(jī)。
5.多協(xié)議支持,便于各類服務(wù)器和工作站接入并獲取存儲(chǔ)資源。
6.配置簡(jiǎn)潔,維護(hù)便捷,方便使用和后期管理。
根據(jù)用戶的需求并結(jié)合用戶的實(shí)際應(yīng)用場(chǎng)景,在該項(xiàng)目中采用PL-XDFS分布式文件存儲(chǔ)系統(tǒng),構(gòu)建海量、高效、可擴(kuò)展的分布式存儲(chǔ)系統(tǒng)。
通過PL-XDFS分布式存儲(chǔ)系統(tǒng)豐富的協(xié)議支持、強(qiáng)大的橫向擴(kuò)展能力、超高的吞吐性能為媒資系統(tǒng)提供高性能、動(dòng)態(tài)高可擴(kuò)展的CIFS/FTP存儲(chǔ)服務(wù)。同時(shí)結(jié)合其強(qiáng)大的動(dòng)態(tài)擴(kuò)展能力,可隨著業(yè)務(wù)發(fā)展,快速實(shí)現(xiàn)性能或容量的動(dòng)態(tài)擴(kuò)展,大大簡(jiǎn)化系統(tǒng)規(guī)劃難度、降低前期投入。
此次方案中配置了5個(gè)PL-XDFS節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)配置24塊8TB硬盤,總裸容量達(dá)到了960TB,配合4+1的糾刪碼冗余策略,考慮到單盤容量較大,出現(xiàn)故障依賴網(wǎng)絡(luò)恢復(fù)的時(shí)間較長(zhǎng),對(duì)業(yè)務(wù)系統(tǒng)的負(fù)載影響較大,在每節(jié)點(diǎn)內(nèi)部配置RAID保護(hù),每24顆磁盤配置2組12顆盤的RAID5+HotSpare,因此最終容量利用率為960TB*20/24*0.8*0.91=582TB。每個(gè)節(jié)點(diǎn)提供600MB/s的帶寬輸出,總輸出帶寬可以達(dá)到3GB/s以上。容量和性能均可滿足業(yè)務(wù)需求。
每個(gè)PL-XDFS配置2*10Gbe+2*1Gb網(wǎng)卡,5個(gè)PL-XDFS節(jié)點(diǎn)之間采用萬兆網(wǎng)絡(luò)互連,流媒體和新媒體工作站采用萬兆網(wǎng)卡接入萬兆網(wǎng)絡(luò),其他業(yè)務(wù)服務(wù)器通過千兆網(wǎng)卡與每個(gè)PL-XDFS的千兆網(wǎng)口實(shí)現(xiàn)業(yè)務(wù)組網(wǎng)。
PL-XDFS同時(shí)支持POSIX/NFS/CIFS/FTP協(xié)議, 無需安裝任何客戶端,即可實(shí)現(xiàn)多客戶端跨平臺(tái)訪問,滿足了媒資平臺(tái)不同主機(jī)平臺(tái)共享訪問媒體資源的需求。
PL-XDFS除糾刪碼保護(hù)外,還支持副本保護(hù),未來對(duì)于部分要求更高可靠性的數(shù)據(jù),可采用副本方式進(jìn)行增強(qiáng)保護(hù)。
PL-XDFS的核心是XDFS分布式文件系統(tǒng),XDSF是寶德基于業(yè)界領(lǐng)先和廣泛使用的GlusterFS分布式文件系統(tǒng),結(jié)合技術(shù)團(tuán)隊(duì)多年的工程化及系統(tǒng)優(yōu)化經(jīng)驗(yàn),針對(duì)非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用環(huán)境推出的海量分布式存儲(chǔ)系統(tǒng)。XDFS可實(shí)現(xiàn)動(dòng)態(tài)的容量及性能擴(kuò)展、卓越的系統(tǒng)高可用性;借助虛擬化和并行化的卷組、文件系統(tǒng)資源管理,可構(gòu)建大規(guī)模、高性能、動(dòng)態(tài)可擴(kuò)展的共享存儲(chǔ)架構(gòu)。XDFS可實(shí)現(xiàn)192PB的海量存儲(chǔ)規(guī)模、 可線性擴(kuò)展的高性能。
1、分布式存儲(chǔ)集群,去中心化架構(gòu),無需獨(dú)立元數(shù)據(jù)服務(wù)器
2、基于DHT算法智能數(shù)據(jù)定位,有效提升媒資素材檢索效率
3、全以太網(wǎng)單網(wǎng)架構(gòu),無需專用的光纖通道設(shè)備(FC-SAN)
4、綜合采用RAID、糾刪碼數(shù)據(jù)保護(hù),有效實(shí)現(xiàn)了節(jié)點(diǎn)內(nèi)、節(jié)點(diǎn)間的復(fù)合數(shù)據(jù)
保護(hù),并合理控制了數(shù)據(jù)修復(fù)的系統(tǒng)資源占用和網(wǎng)絡(luò)占用
5、標(biāo)準(zhǔn)客戶端設(shè)計(jì),無需在業(yè)務(wù)主機(jī)安裝任何客戶端,讓業(yè)務(wù)主機(jī)專注應(yīng)用
6、可擴(kuò)展副本保護(hù),增加關(guān)鍵數(shù)據(jù)的可用性
7、高密度設(shè)備,采用4U/24bay設(shè)備,有效降低空間和能耗,合理控制成本
8、系統(tǒng)無單點(diǎn)故障,數(shù)據(jù)高可用,存儲(chǔ)服務(wù)不停機(jī)
9、系統(tǒng)支持?jǐn)?shù)據(jù)分層,未來可增加SSD或SAS,按數(shù)據(jù)熱點(diǎn)實(shí)現(xiàn)自動(dòng)分級(jí)存儲(chǔ)
PL-XDFS采用完全去中心化的的分布式文件存儲(chǔ)架構(gòu),無獨(dú)立元數(shù)據(jù)服務(wù)器設(shè)計(jì),消除元數(shù)據(jù)信息交互瓶頸;Scale-out動(dòng)態(tài)擴(kuò)展,快速在線增刪節(jié)點(diǎn),最高可實(shí)現(xiàn)1024個(gè)節(jié)點(diǎn)集群,可管理近100PB的海量數(shù)據(jù)。
PL-XDFS提供分布式的文件讀寫和共享服務(wù),本次配置的5節(jié)點(diǎn)集群可實(shí)現(xiàn)3GB的性能,可管理海量文件,未來可通過集群擴(kuò)展,實(shí)現(xiàn)100GB的帶寬;支持萬兆網(wǎng)卡及Infiniband網(wǎng)絡(luò),通過RDMA優(yōu)化并發(fā)讀寫性能。并可通過SSD實(shí)現(xiàn)數(shù)據(jù)分層或小文件性能優(yōu)化。
PL-XDFS提供副本和糾刪碼兩種數(shù)據(jù)/集群保護(hù)模式,節(jié)點(diǎn)內(nèi)部還可選RAID保護(hù),用戶可根據(jù)應(yīng)用類型、數(shù)據(jù)重要性、性能、成本平衡選擇配置模式,實(shí)現(xiàn)數(shù)據(jù)高可用保護(hù)和存儲(chǔ)服務(wù)高可用保護(hù)。XDFS可實(shí)現(xiàn)不停機(jī)的在線擴(kuò)展,大大縮減或消除計(jì)劃內(nèi)的停機(jī)時(shí)間。