時(shí)間:2023-11-01來源:本站
AI潮涌,大模型日新月異,但與此同時(shí)百戰(zhàn)正酣的AI大模型面臨著算力不足的困境。于是,如何破解大模型算力之困、加速大模型落地到具體應(yīng)用場(chǎng)景、如何降低大模型的使用成本等成為業(yè)界關(guān)注的焦點(diǎn)。此時(shí),智能邊緣技術(shù)應(yīng)需而生,成為破解大模型算力之困的又一良方。
寶德智能邊緣產(chǎn)品煥新出發(fā),以低延遲、高效率和實(shí)時(shí)決策為突出優(yōu)勢(shì)的邊緣技術(shù)為基礎(chǔ),深度融合人工智能、機(jī)器學(xué)習(xí)等新技術(shù),將AI能力帶到更接近數(shù)據(jù)和終端用戶的地方,有效補(bǔ)充大模型的邊緣側(cè)AI算力。
基于邊緣計(jì)算+AI技術(shù)
智能邊緣助攻大模型部署和應(yīng)用
數(shù)字化時(shí)代,海量數(shù)據(jù)的產(chǎn)生和處理讓傳統(tǒng)云計(jì)算和數(shù)據(jù)中心計(jì)算的不足日益凸顯,邊緣計(jì)算成為有力補(bǔ)充,它采用分布式計(jì)算架構(gòu),將計(jì)算資源和數(shù)據(jù)存儲(chǔ)等放置在離數(shù)據(jù)源和終端用戶更近的位置,具有即時(shí)處理數(shù)據(jù)、顯著降低延遲,高效利用資源、有效降低成本,增強(qiáng)安全性和隱私保護(hù),以及釋放遠(yuǎn)程設(shè)備潛力的突出能力。
近年來,AIGC和大模型迅猛發(fā)展,其背后需要海量的AI算力支持。期間,如果大模型的訓(xùn)練和推理都在云端,完成后再返回結(jié)果給前端的邊緣側(cè),需要的通信時(shí)間就較長(zhǎng)。所以越來越多的客戶選擇在云端完成大模型訓(xùn)練,在邊緣側(cè)完成微調(diào)后再推理并給出結(jié)果。這就需要邊緣側(cè)設(shè)備具有集計(jì)算能力與智能技術(shù)于一體的綜合能力,智能邊緣正當(dāng)其時(shí)。
智能邊緣將邊緣計(jì)算與AI、機(jī)器學(xué)習(xí)算法、智能設(shè)備、邊緣數(shù)據(jù)中心和網(wǎng)絡(luò)等結(jié)合在一起,能夠幫助客戶將AI算法和模型部署到邊緣側(cè),在本地進(jìn)行實(shí)時(shí)的數(shù)據(jù)處理、分析和決策,減少對(duì)云端的依賴。尤其突出的是,智能邊緣可以提供更高效率、更低延遲、更優(yōu)的隱私保護(hù)和數(shù)據(jù)通信能力,實(shí)現(xiàn)智能感知、智能分析和智能決策,堪稱大模型部署和應(yīng)用的“神助攻”,已經(jīng)在智能制造、智慧交通、智能電網(wǎng)、智能安防、智慧社區(qū)、智慧城市等數(shù)據(jù)傳輸及處理量極大、對(duì)數(shù)據(jù)實(shí)時(shí)處理能力要求極高的領(lǐng)域擁有杰出的表現(xiàn)。
寶德智能邊緣產(chǎn)品
助力破解大模型算力之困
作為中國(guó)領(lǐng)先的計(jì)算產(chǎn)品方案提供商和中國(guó)AI 服務(wù)器市場(chǎng)的TOP3,寶德深刻洞察大模型用戶的算力需求,充分發(fā)揮自身在算力尤其是AI領(lǐng)域的技術(shù)積累和市場(chǎng)經(jīng)驗(yàn),打造完善的智能邊緣計(jì)算產(chǎn)品線,包括智能邊緣服務(wù)器、智能邊緣盒子和工控機(jī),滿足提供異構(gòu)計(jì)算的超強(qiáng)算力,適應(yīng)復(fù)雜嚴(yán)苛的應(yīng)用環(huán)境,并且可以支持靈活定制。
寶德雙路智能邊緣服務(wù)器PR2730P
寶德智能邊緣服務(wù)器PR2730P采用2U雙路高集成度設(shè)計(jì),有限空間內(nèi)蘊(yùn)含強(qiáng)勁的計(jì)算性能。它采用Intel C621高性能芯片組,支持英特爾®至強(qiáng)®可擴(kuò)展處理器,最大內(nèi)存容量2TB,支持6塊熱插拔2.5寸硬盤,可靈活擴(kuò)展半高的PCI-E3.0設(shè)備,支持半高單寬的AI 加速卡。PR2730P專門為部署網(wǎng)絡(luò)邊緣小規(guī)模數(shù)據(jù)中心量身定制,符合電信標(biāo)準(zhǔn)的設(shè)計(jì)—2U高度+45cm深度,可與電信設(shè)備混合部署;強(qiáng)勁的性能充分解決本地化終端處理的需求,并且可以滿足URLLC和mMTC等超低延時(shí)需求。而且,經(jīng)過技術(shù)處理和優(yōu)化的PR2730P在耐高溫、防塵、電磁干擾、抗震等方面表現(xiàn)卓越,可以適應(yīng)簡(jiǎn)陋、惡劣、嚴(yán)苛的邊緣應(yīng)用環(huán)境要求。
寶德單路智能邊緣服務(wù)器PR2610W
PR2610W是寶德匠心推出的一款單路邊緣智能服務(wù)器,它采用Intel W580高性能芯片組,支持至強(qiáng) W1200/1300系列和酷睿10/11代處理器 ,最多支持內(nèi)存容量128GB,標(biāo)配支持4個(gè)2.5+2*3.5寸非熱插拔SATA硬盤,擁有4個(gè)PCIe擴(kuò)展槽,并可靈活擴(kuò)展全高全長(zhǎng)的PCI-E設(shè)備,保證了強(qiáng)勁的邊緣算力。它采用便于電信設(shè)備混合部署的短機(jī)箱設(shè)計(jì),而且具有杰出的高擴(kuò)展性,最大可以支持2張GPU加速卡,并且可以外接攝像頭等設(shè)備。尤其值得推薦的是,它創(chuàng)新的工業(yè)服務(wù)器+超靜音設(shè)計(jì),非常適合商超終端、數(shù)字安防等人機(jī)共存工作環(huán)境。
寶德智能邊緣盒子IPC-1002M1
寶德智能邊緣盒子IPC-1002V1
當(dāng)大模型的應(yīng)用場(chǎng)景需要延展到高溫/酷寒/超濕/塵噪等更加嚴(yán)酷的邊緣工作環(huán)境中時(shí),功能強(qiáng)大、性能卓越可靠的寶德智能邊緣盒子IPC-1002M1和IPC-1002V1是算力優(yōu)選,它們基于最前沿的AI算法,擁有成熟的軟件生態(tài),能夠提供算力與價(jià)格的優(yōu)秀平衡點(diǎn)。其中,IPC-1002M1搭載Jetson Nano模塊,它集成了Maxwell架構(gòu)的GPU,可提供最大0.5 TOPS(FP16)算力,配備4 core ARM A57 CPU,具備4K*2K@30fps(HEVC)編碼能力和4K*2K@60fps(HEVC)解碼能力,支持最多8路1080P視頻解碼。IPC-1002V1搭載Xavier NX模塊,它集成了Volta架構(gòu)的GPU,可提供最大21 TOPS(INT8)算力,配備6-core NVIDIA Carmel ARM®v8.2 64-bit CPU,具備4K*2K@60fps(HEVC)編碼能力和4K*2K@60fps(HEVC)解碼能力,支持最多32路1080P視頻解碼。
而且,它們都支持定制擴(kuò)展多路PCIe插槽、業(yè)界領(lǐng)先的多路4K Sensor輸入和多路圖像處理。尤其是,這兩款產(chǎn)品具有防震動(dòng)、抗沖擊能力、電磁兼容性強(qiáng)、抗干擾能力強(qiáng)等優(yōu)勢(shì),能夠365*24H全天候穩(wěn)定運(yùn)行,特別適合對(duì)復(fù)雜嚴(yán)苛邊緣環(huán)境的圖像影像等數(shù)據(jù)進(jìn)行智能識(shí)別和即時(shí)分析處理。
寶德工控機(jī)NVR-941CT
NVR-941CT是寶德工控機(jī)的拳頭產(chǎn)品。它秉承工控機(jī)的高可靠性設(shè)計(jì)理念,機(jī)箱采用全鋼結(jié)構(gòu)設(shè)計(jì),對(duì)硬盤外加硬盤架和塑料減震圈減震抗震,實(shí)現(xiàn)卓越的抗沖擊、抗振動(dòng)性能。它采用優(yōu)良的散熱結(jié)構(gòu)設(shè)計(jì),對(duì)進(jìn)風(fēng)口進(jìn)行防塵海綿防護(hù),降低灰塵、散熱、靜電三大不穩(wěn)定因素的影響。此外,它采用高質(zhì)量高可靠硬盤和工控機(jī)專用電源,并對(duì)網(wǎng)口外加防雷防護(hù)。
在如此高可靠性的基礎(chǔ)上,NVR-941擁有更強(qiáng)功能和更優(yōu)的性能。首先,它支持獨(dú)立三顯(三個(gè)顯示器或監(jiān)視器同時(shí)輸出不同內(nèi)容),有獨(dú)立的雙通道音頻輸出,而且機(jī)箱設(shè)有10個(gè)硬盤位。其次,它采用Intel® Q470高速芯片組,支持LGA1200插槽處理器,4個(gè) DDR4 DIMM內(nèi)存插槽,最高支持到128GB。它有10個(gè)USB接口、7個(gè)后窗接口和豐富的I/O接口, 并且可以根據(jù)實(shí)際應(yīng)用需求靈活配置,是一款功能強(qiáng)大,適合長(zhǎng)時(shí)間不間斷穩(wěn)定運(yùn)行的產(chǎn)品,特別適于邊緣側(cè)的視覺檢測(cè)、光伏、醫(yī)療、智能制造、半導(dǎo)體測(cè)試等應(yīng)用場(chǎng)景。