以客戶為中心，提供定制化或一站式的全棧解決方案，賦能千行百業(yè)
xx網(wǎng)安支隊(duì)規(guī)劃在全區(qū)的網(wǎng)吧、大型連鎖門店、重點(diǎn)路段公共電話亭及公共汽車站等重點(diǎn)區(qū)域部署移動終端硬件特征采集設(shè)備，對區(qū)域內(nèi)的移動終端設(shè)備進(jìn)行監(jiān)控。實(shí)現(xiàn)數(shù)據(jù)采集、實(shí)時回傳、數(shù)據(jù)匯總（數(shù)據(jù)倉庫）、進(jìn)入報警及軌跡追蹤等功能，為公安機(jī)關(guān)在公共 WIFI 管控工作中提供有力的抓手。
隨著XX網(wǎng)安投入的采集設(shè)備的增多，數(shù)據(jù)接入量的增大，業(yè)務(wù)分析場景愈加復(fù)雜，這些都要求有更強(qiáng)大的數(shù)據(jù)倉庫支撐。原有的基于RDBMS 數(shù)據(jù)倉庫已經(jīng)接近性能瓶頸；所以上海XX網(wǎng)安迫切需要一種更先進(jìn)的技術(shù)，既能解決當(dāng)前遇到的問題，也能滿足未來業(yè)務(wù)發(fā)展 需求。RDBMS 遇到的問題主要體現(xiàn)在如下四個方面：
1、數(shù)據(jù) ETL 耗時越來越長，無法滿足目標(biāo)系統(tǒng)對數(shù)據(jù)的時效性要求，關(guān)鍵任務(wù)的 SLA不能得到保證。
2、RDBMS 性能優(yōu)化（index & partition）無法逾越 I/O 瓶頸，同時，數(shù)據(jù)倉庫不斷增加 index 和 partition 也增加了系統(tǒng)在加載時的資源消耗，同時增加了系統(tǒng)維護(hù)度。
3、由于性能原因，使隨機(jī)查詢能力受限，檢索場景僅支持7天數(shù)據(jù)，無法針對較長時 間軸進(jìn)行實(shí)時追蹤。
4、目前的系統(tǒng)架構(gòu)不支持線性擴(kuò)展，使數(shù)據(jù)的存儲得到制約，擴(kuò)容需要花費(fèi)高成本以 購買大型設(shè)備，即便如此，也無法控制數(shù)據(jù)增長帶來的性能處理壓力。
下圖是基于寶德大數(shù)據(jù)平臺的架構(gòu)設(shè)計(jì)及數(shù)據(jù)流轉(zhuǎn)：
| 尺寸 | 2U機(jī)架式服務(wù)器，86.1mm(高)* 447mm(寬)* 790mm(深)
|
| CPU | 配置兩顆6230R/26C/52T/主頻2.1GHz處理器
|
| 硬盤位 | 提供12個3.5寸硬盤槽位，配置2塊960G SSD系統(tǒng)盤、10塊4TB數(shù)據(jù)盤 |
| 網(wǎng)口 | 4個千兆電口，4個萬兆光口（含4個萬兆光模塊） |
| RAID | 2G緩存RAID陣列卡（支持RAID0 1 10 ）并配置超級電容 |
| PCIE插槽 | 配置至少4個PCIe插槽 |
| 電源 | 配置2個交流電源模塊，1+1 |
| 操作系統(tǒng) | Centos7.6 |
寶德大數(shù)據(jù)一體機(jī)（PR2715P2）是寶德公司最新推出的一款2U服務(wù)器產(chǎn)品，它采用Intel C620系列高性能芯片組，支持第二代Intel® Xeon® Processor Scalable可擴(kuò)展系列處理器，該機(jī)型最多支持內(nèi)存容量3 TB，默認(rèn)支持8塊熱插拔3.5寸硬盤，可選支持12盤/24盤版本，并可靈活擴(kuò)展全高全長的PCI-E設(shè)備。高集成度的設(shè)計(jì)在有限空間內(nèi)帶來強(qiáng)勁的性能表現(xiàn)足以支撐關(guān)鍵任務(wù)的運(yùn)行。PR2715P2提供先進(jìn)的管理功能和存儲技術(shù)，具有可靠的可擴(kuò)充性和高可用性。
主要流程是采集設(shè)備收集到源數(shù)據(jù)后，經(jīng)過光柵，一部份數(shù)據(jù)會傳輸?shù)?ftp 服務(wù)器，數(shù) 據(jù)調(diào)度服務(wù)器發(fā)現(xiàn) ftp 服務(wù)器有新數(shù)據(jù)到來，會對數(shù)據(jù)進(jìn)行清洗整合，然后匯總到 inceptor 數(shù)據(jù)倉庫以及 hyperbase 檢索庫中，另一個部分?jǐn)?shù)據(jù)直接通過分布式消息隊(duì)列，進(jìn)入到 hyperbase 檢索庫中，前臺應(yīng)用系統(tǒng)便可對數(shù)據(jù)進(jìn)行訪問和使用。
截止到目前為止，上海XX網(wǎng)安已經(jīng)完全替換了之前的RDBMS數(shù)據(jù)庫，且平穩(wěn)運(yùn)行1 年左右，累計(jì)存儲150T數(shù)據(jù)，周增長數(shù)據(jù)量在4t左右，前端應(yīng)用系統(tǒng)反饋良好，隨著近年來公安業(yè)務(wù)的不斷開展，和硬件設(shè)備的不斷補(bǔ)充，存儲量和處理量的不斷增加，TDH大數(shù)據(jù)平臺通過線性擴(kuò)展完全可以滿足要求。
單用戶分析快速查詢采用了寶德hyperbase組件進(jìn)行實(shí)現(xiàn)，通過寶德強(qiáng)大的sql支持以及jdbc接口，再配合寶德的全文搜索引擎search組件，能夠以優(yōu)越的低延時響應(yīng)速度 查詢準(zhǔn)確結(jié)果，保障業(yè)務(wù)的穩(wěn)定運(yùn)行。
寶德服務(wù)器
寶德自強(qiáng)
4008-870-872
點(diǎn)擊咨詢
