導(dǎo)讀 MiniMax1月16日宣布正式上線國內(nèi)首個(gè)MoE大語言模型abab6。該模型在MoE結(jié)構(gòu)下，經(jīng)過了半個(gè)月的內(nèi)部測試，以及一部分客戶的反饋，已經(jīng)擁有了
MiniMax1月16日宣布正式上線國內(nèi)首個(gè)MoE大語言模型abab6。該模型在MoE結(jié)構(gòu)下，經(jīng)過了半個(gè)月的內(nèi)部測試，以及一部分客戶的反饋，已經(jīng)擁有了對(duì)復(fù)雜任務(wù)進(jìn)行處理的能力，在單位時(shí)間，能夠?qū)⒂?xùn)練效率提升。與之前的abab5.5版本相比在，對(duì)模型輸出有更精細(xì)要求的場景和處理更復(fù)雜的事物時(shí)都做出了改進(jìn)。
MiniMax自2023年4月發(fā)布開放平臺(tái)以來，已經(jīng)為近千家客戶提供了服務(wù)，包括小紅書、小米、騰訊、閱文、金山辦公等多家互聯(lián)網(wǎng)公司。MiniMax表示與新進(jìn)模型GPT-4相比，abab5.5還有著一定的差距，差距主要表現(xiàn)在針對(duì)更復(fù)雜場景的處理時(shí)可能會(huì)發(fā)生錯(cuò)誤或者是違反用戶要求的輸出格式。MiniMax為了解決此問題，自6月份開始進(jìn)行MoE模型abab6在研發(fā)，所運(yùn)用的參數(shù)規(guī)模與之前相比更大，在復(fù)雜任務(wù)下有望取得更好的效果。