導航菜單

ASC24超算競賽挑戰(zhàn)大模型推理 大學生直面考驗有哪些困難

導讀 ASC24目前已經(jīng)正式進入預賽階段,4月9日至13日通過預賽選拔的隊伍將會在上海大學展開總決賽的比賽。來自世界各地的300多支高校隊伍目前正在

ASC24目前已經(jīng)正式進入預賽階段,4月9日至13日通過預賽選拔的隊伍將會在上海大學展開總決賽的比賽。來自世界各地的300多支高校隊伍目前正在面對大語言模型推理優(yōu)化的考驗。各支參賽隊伍需要在LLaMA2-70B大模型的基礎(chǔ)上,考慮出更多的優(yōu)化方式構(gòu)建推理引擎,進行高吞吐推理,與大語言模型應用落地所帶來的考驗直面應對。

生成式人工智能目前呈現(xiàn)出白膜增秀的局面。由于大模型訓練開發(fā)速度的加快,以及各種應用系統(tǒng)逐步落地,業(yè)界對于大模型成本的優(yōu)化和性能的優(yōu)化更加的重視。目前大模型落地面臨的困難有兩方面,一方面是大模型的結(jié)構(gòu)決定了推理解碼階段計算優(yōu)化比較難,效率比較低。另一方面由于大模型規(guī)模達到幾百億參數(shù)很難進行單卡部署,這涉及到了多卡并行的問題,因此需要對通信方面的開銷進行考慮。

免責聲明:本文由用戶上傳,如有侵權(quán)請聯(lián)系刪除!

猜你喜歡:

最新文章: