時間:2024-01-18來源:本站
2024年的地方兩會已經(jīng)拉開大幕,“增強經(jīng)濟回升向好態(tài)勢”成多地政府工作報告的要點,人工智能作為數(shù)字經(jīng)濟高質(zhì)量發(fā)展的重要抓手,受到廣泛關(guān)注,AI以及大模型等成為代表提案的高頻詞。隨著數(shù)字技術(shù)和大模型等AI技術(shù)的加速發(fā)展,人工智能的落地應(yīng)用已經(jīng)步入深水區(qū),支撐計算和推理需求、滿足成本和節(jié)能要求的更具性價比的算力成為用戶的一致訴求,第五代英特爾® 至強® 可擴展處理器應(yīng)需而生!
為AI加速而生,第五代英特爾® 至強® 可擴展處理器完美運行200億參數(shù)大模型
2023年底全新發(fā)布的第五代英特爾® 至強® 可擴展處理器,核心數(shù)量增至最高64核心,配備了高達 320MB 的 L3 緩存和 128MB 的 L2 緩存,同比上代產(chǎn)品相同 TDP 下平均性能提升 21%,內(nèi)存帶寬提高多達 16%,三級緩存容量更是提升 2.7 倍。
它每個內(nèi)核都具備 AI 加速功能,無需添加獨立加速器,就可處理要求嚴苛的 AI 工作負載,與上代相比,其訓練性能提升多達 29%,推理能力提升高達 42%,尤其是在運行參數(shù)量 200 億及以下的大語言模型時,能夠做到時延不超過 100 毫秒,堪稱完美。
而且,憑借出色的軟硬件工具和生態(tài)系統(tǒng)、先進的機密計算技術(shù)等,它能夠提供可添加加速器和GPU的開放標準框架、優(yōu)化和開箱即用的預(yù)訓練AI模型等,便于客戶隨時進行AI部署。新至強的AI能力也得到了京東云雙十一、阿里云第八代企業(yè)級實例 g8i、火山引擎第三代彈性計算實例、華棲云等用戶的實證和好評。
基于第五代英特爾® 至強® 處理器,
寶德服務(wù)器打造更具性價比的AI算力
大模型和AIGC等AI技術(shù)風起潮涌,技術(shù)創(chuàng)新應(yīng)用與算力需求之間出現(xiàn)了某些不和諧,其中不乏某些工作負載過度浪費GPU資源。對此,寶德計算發(fā)揮自身板卡到整機系統(tǒng)的自主研發(fā)實力和AI市場經(jīng)驗,基于全新的至強處理器,加大在全新一代AI服務(wù)器的技術(shù)創(chuàng)新和產(chǎn)品打磨,探索更具性價比和競爭力的AI算力。
首先,寶德完成了數(shù)據(jù)中心級AI訓練服務(wù)器、中心和邊緣側(cè)推理的AI推理服務(wù)器以及面向邊緣極端環(huán)境的AI邊緣服務(wù)器、AI訓推一體機等全線產(chǎn)品的測試與升級,幫助客戶快速將全新AI算力轉(zhuǎn)化成應(yīng)用,比如寶德雙路服務(wù)器PR2715E,性能強勁、安全可靠、高效節(jié)能,是AI和大模型推理的優(yōu)秀算力平臺。
其次,寶德進一步升級和完善生成式AI解決方案(寶德AIGC)。該方案將采用新一代至強處理器平臺和Intel GPU,支持集群部署和單機部署多種形式,能充分發(fā)揮和讓客戶受益于新平臺強大的AI計算、推理性能和卓越的經(jīng)濟效益,可廣泛應(yīng)用于行業(yè)大模型、智能語音助手、網(wǎng)絡(luò)直播、線上教育和培訓以及多行業(yè)的客服與支持,并且支持按需定制。
而且,寶德注重加強產(chǎn)品能效的提升,多措并舉降低客戶的總體擁有成本。一方面,新一代寶德服務(wù)器在性能大幅提升的同時,能夠兼容上一代產(chǎn)品的軟件和平臺,大大縮減用戶新系統(tǒng)和新應(yīng)用部署所需的測試和驗證工作。另一方面,充分發(fā)揮新至強處理器內(nèi)置加速器低功耗高能效的優(yōu)勢,并且通過智能管理軟件、智能散熱系統(tǒng)、部件或整機液冷散熱等節(jié)能方案的靈活配置和按需定制,進一步降低整機能耗,為用戶提供技術(shù)先進、智能高效、綠色節(jié)能的AI算力方案!