時間：2023-07-31來源：本站
ChatGPT的火爆，讓大家看到AI大模型的威力。于是乎，國內(nèi)相關(guān)企業(yè)紛紛踏入AI大模型賽道，并呈現(xiàn)出“百模大戰(zhàn)”的火爆場面。
01
如何評估AI大模型需求？
當(dāng)前整個算力市場面臨著算力供給突飛猛進(jìn)和大模型算力需求相對不足的沖突。至頂智庫統(tǒng)計(jì)，截至2023年2月，我國目前已投入運(yùn)營和在建的人工智能計(jì)算中心達(dá)23個，分布在北京、上海、南京、杭州等多個城市。但是在AI算力加速布局的同時，企業(yè)如何評估自身的大模型需求以及構(gòu)建相適應(yīng)的算力基礎(chǔ)設(shè)施成為AI應(yīng)用發(fā)展的首要問題。
評估AI大模型需求是一個系統(tǒng)工程，不僅需要了解業(yè)務(wù)需求，還要了解模型的復(fù)雜性、海量數(shù)據(jù)的多樣性以及算力本身的性能和成本考量。
AI大模型訓(xùn)練需要服務(wù)器集群實(shí)現(xiàn)大規(guī)模計(jì)算，因此企業(yè)要判斷自身服務(wù)對象的數(shù)據(jù)量以及需要圍繞著面向訓(xùn)練場景，包括算力，網(wǎng)絡(luò)、存儲的整個算力需求進(jìn)行評估。鄔鴻認(rèn)為AI大模型需求隨著數(shù)據(jù)量的增長，對于算力的需求不是簡單的線性增加，而是指數(shù)型增加?！捌髽I(yè)的服務(wù)客戶群體是百萬，千萬，或者甚至上億級別，對AI算力需求是完全不一樣的變化，因?yàn)樗懔κ歉鶕?jù)AI大模型需求增長呈現(xiàn)指數(shù)性增加，而不是線性增加，所以首先企業(yè)要明確服務(wù)對象的體量，包括對會話請求的要求，通過這一點(diǎn)可以判斷未來行業(yè)大模型落地的大概算力需求?！?鄔鴻分享到。
另外，還要考慮大模型拓展帶來的長尾效應(yīng)?！叭绻M(jìn)一步深入到中小型應(yīng)用的大模型拓展，例如像電力、金融、電商、物流等行業(yè)大模型，其長尾效應(yīng)非常寬也非常長，勢必帶來AI算力的需求增長，雖然沒有互聯(lián)網(wǎng)動輒上萬片的算力卡需求，但是聚少成多，具備很強(qiáng)的長尾效應(yīng)?！?鄔鴻介紹到，一般企業(yè)對行業(yè)大模型的算力需求在100-1000張卡之內(nèi)，這可以滿足絕大部分行業(yè)大模型訓(xùn)練需求。
02
高效應(yīng)對AI大模型，算力是關(guān)鍵
當(dāng)前AI服務(wù)器已經(jīng)廣泛應(yīng)用在人工智能、深度學(xué)習(xí)、智慧教育、智能城市、醫(yī)療健康、大數(shù)據(jù)、高性能計(jì)算 (HPC)、虛擬現(xiàn)實(shí)等，以及媒體傳輸、云游戲、元宇宙等智能視覺云應(yīng)用等?；贏I服務(wù)器在大模型訓(xùn)練和推理方面的優(yōu)勢，未來整個服務(wù)器市場也發(fā)生了巨變。“今年來看，AI服務(wù)器增長速度遠(yuǎn)遠(yuǎn)高于通用服務(wù)器增長速度，從銷售額來看，我們預(yù)估可能到明年或者后年，通用服務(wù)器和AI服務(wù)器市場占比可能達(dá)到1:1?！编w鴻談到。
如今，除了傳統(tǒng)服務(wù)器，寶德計(jì)算攜手英特爾、英偉達(dá)以及昇騰AI等合作伙伴，持續(xù)推出了面向AI加速計(jì)算服務(wù)器系列產(chǎn)品，通過高性能、可擴(kuò)展性強(qiáng)、高能效和開箱即用等優(yōu)勢，滿足AI客戶尤其是大模型訓(xùn)練和推理提供超高性價比的算力支撐。
寶德計(jì)算AI服務(wù)器目前針對AI訓(xùn)練、AI推理以及邊緣推理推出全系列面向AI場景的算力基礎(chǔ)設(shè)施。
訓(xùn)練服務(wù)器偏向于以單機(jī)多卡滿足高性能的訓(xùn)練價值為主，主要面向互聯(lián)網(wǎng)、AI獨(dú)角獸以及ISV等用戶的傳統(tǒng)的深度學(xué)習(xí)訓(xùn)練場景。比如基于GPU的寶德AI加速計(jì)算服務(wù)器，支持新一代 NVIDIA NVLink 互聯(lián)技術(shù)的NVIDIA H800 GPU ，也可支持Intel® Gaudi®2 GPU，通過GPU承擔(dān)部分預(yù)算量繁重且耗時的代碼，實(shí)現(xiàn)應(yīng)用程序加速，加速企業(yè)實(shí)現(xiàn)更多計(jì)算任務(wù)、處理更大數(shù)據(jù)集、縮短應(yīng)用運(yùn)行時間，可為大模型訓(xùn)練提供強(qiáng)勁的算力支持。
同時，寶德自強(qiáng)AI訓(xùn)練服務(wù)器系列是基于鯤鵬處理器+昇騰910處理器打造的AI訓(xùn)練服務(wù)器，具有超強(qiáng)算力密度、高速網(wǎng)絡(luò)帶寬等特點(diǎn)。該系列服務(wù)器廣泛應(yīng)用于深度學(xué)習(xí)模型開發(fā)和訓(xùn)練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領(lǐng)域。
推理服務(wù)器主要通過高并發(fā)的推理卡，面向CSP業(yè)務(wù)的數(shù)據(jù)中心推理以及ISV面向的私有端-網(wǎng)安、安防、智慧城市等市場，應(yīng)用于廣告、用戶畫像和視頻等場景。
對于需要更多變化的邊緣推理應(yīng)用場景，寶德計(jì)算也有對應(yīng)的邊緣推理設(shè)備，里面集成了英特爾嵌入式CPU，以及NVIDIA Jetson模組，來滿足客戶對于邊緣側(cè)的推理需求。
03
AI大模型需求背后是整個AI生態(tài)的建設(shè)
面向大模型需求，除了AI算力，還需要關(guān)注整個AI生態(tài)。這方面，寶德堅(jiān)持與國內(nèi)外AI芯片產(chǎn)業(yè)鏈頭部廠商深度合作，緊跟先進(jìn)技術(shù)做適配與研發(fā)，與Intel戰(zhàn)略合作20多年，是NVIDIA和昇騰的OEM合作伙伴，積極擁抱開放的AI芯片產(chǎn)業(yè)。同時，寶德建立AI生態(tài)適配中心，聚焦推理場景，與更多國產(chǎn)AI加速卡合作和適配，滿足客戶多樣性的算力需求。
此外，因?yàn)锳I大模型還涉及到算力基礎(chǔ)設(shè)施，包括高性能網(wǎng)絡(luò)和高性能存儲。寶德建議在AI服務(wù)器集群發(fā)展方面，除了考慮AI算力方面的優(yōu)勢，也要提前規(guī)劃好面向未來的高性能網(wǎng)絡(luò)和高性能存儲平臺，為算力基礎(chǔ)設(shè)施擴(kuò)容打好基礎(chǔ)。
“存儲擴(kuò)容和網(wǎng)絡(luò)擴(kuò)建，相對來說都比較復(fù)雜，因此在做大模型的初步方案設(shè)計(jì)時一定要將底層的根基——底層的高性能存儲加上中間的高性能網(wǎng)絡(luò)整個平臺搭建好?！?鄔鴻最后分享說， “我們給客戶設(shè)計(jì)整個方案，盡量將底層的存儲和網(wǎng)絡(luò)設(shè)計(jì)得更有預(yù)見性，為未來的擴(kuò)容留下更多的接口?！?/span>
寶德服務(wù)器
寶德自強(qiáng)
4008-870-872
點(diǎn)擊咨詢
