導讀 ASC24目前已經(jīng)正式進入預賽階段，4月9日至13日通過預賽選拔的隊伍將會在上海大學展開總決賽的比賽。來自世界各地的300多支高校隊伍目前正在
ASC24目前已經(jīng)正式進入預賽階段，4月9日至13日通過預賽選拔的隊伍將會在上海大學展開總決賽的比賽。來自世界各地的300多支高校隊伍目前正在面對大語言模型推理優(yōu)化的考驗。各支參賽隊伍需要在LLaMA2-70B大模型的基礎(chǔ)上，考慮出更多的優(yōu)化方式構(gòu)建推理引擎，進行高吞吐推理，與大語言模型應用落地所帶來的考驗直面應對。
生成式人工智能目前呈現(xiàn)出白膜增秀的局面。由于大模型訓練開發(fā)速度的加快，以及各種應用系統(tǒng)逐步落地，業(yè)界對于大模型成本的優(yōu)化和性能的優(yōu)化更加的重視。目前大模型落地面臨的困難有兩方面，一方面是大模型的結(jié)構(gòu)決定了推理解碼階段計算優(yōu)化比較難，效率比較低。另一方面由于大模型規(guī)模達到幾百億參數(shù)很難進行單卡部署，這涉及到了多卡并行的問題，因此需要對通信方面的開銷進行考慮。