僅僅在五、六年前,人工智能還只存在于人們的想象。
短短幾年間AI快速擴張,AI算力和運算數(shù)據(jù)量每年都在以指數(shù)級增加,對算力的需求空前,但摩爾定律卻已接近極限。
在能耗墻和存儲墻的阻擋下,半導(dǎo)體愈來愈蹣跚的算力提升已經(jīng)追不上狂奔的AI。
存算一體架構(gòu)有機會讓AI面臨的問題迎刃而解。時代的浪潮下,一批探索存算一體的企業(yè)相繼成立。
在這個領(lǐng)域中,國內(nèi)外研究幾乎站在同一起跑線上。
其中億鑄科技是將新型存儲器ReRAM用于存算一體賽道的“先行者”。成立僅僅兩年,億鑄科技就已能夠設(shè)計出能效比超過主流計算卡十倍的基于ReRAM的存算一體AI大算力芯片。
在即將到來的存算一體爆發(fā)期,國產(chǎn)廠商們將要迎來的,是一場與國外巨頭們堂堂正正的對決。
【名為GPU的馬,拉不動AI的車】
自1956年約翰.麥卡錫在達(dá)特茅斯會議上提出人工智能的概念,AI已經(jīng)發(fā)展了70年。
70年間,AI曾經(jīng)爆發(fā)過三次浪潮。
在前兩次浪潮中,AI由于種種原因,最終未能普及。
直到第三次浪潮中,深度學(xué)習(xí)技術(shù)的興起,解決了AI普適性與可維護(hù)性的問題,這一賽道才真正迎來曙光,造就了現(xiàn)代意義上的基于深度學(xué)習(xí)的“人工智能”。
隨著深度學(xué)習(xí)的廣泛應(yīng)用,對算力的需求日益增加,這讓能夠提供大規(guī)模算力的GPU在AI領(lǐng)域變得越來越重要。
然而GPU畢竟不是專為人工智能而生,隨著人工智能發(fā)展走入深水區(qū),GPU的問題逐漸浮現(xiàn),尤其是AI發(fā)展中的“存儲墻”、“能耗墻”問題,GPU無法突破。
無論是CPU還是GPU,采用的都是存算分離的馮諾依曼架構(gòu)。
在馮諾依曼架構(gòu)下,80%-90%的功耗發(fā)生在數(shù)據(jù)傳輸上,99%的時間消耗在存儲器讀寫過程中,導(dǎo)致了“存儲墻”和“功耗墻”問題。
馮諾依曼架構(gòu)的芯片在工作時,計算單元要先從內(nèi)存中讀取數(shù)據(jù),計算完成后再存回內(nèi)存,才能最終輸出。
但在過去幾十年中,存儲器與處理器的發(fā)展嚴(yán)重失衡,自上世紀(jì)八十年代以來,存儲器讀取速率的提升遠(yuǎn)遠(yuǎn)跟不上處理器性能的增長。
這導(dǎo)致了計算畸形的漏斗結(jié)構(gòu):無論處理器所在的漏斗“入口”一端處理了多少數(shù)據(jù),也只能通過存儲器狹窄的“出口”輸出,嚴(yán)重影響了數(shù)據(jù)處理的效率。
曾在AI芯片公司W(wǎng)ave Computing工作過的熊大鵬博士對此深有感悟。
2014年左右,熊大鵬正在從事GPGPU領(lǐng)域的研究,在工作中他深感能耗墻與功耗墻的限制下,人工智能難以持續(xù)發(fā)展。
熊大鵬認(rèn)為,打破內(nèi)存與計算隔閡的存算一體架構(gòu)是人工智能未來的一個可能解。
不同于馮諾依曼架構(gòu),存儲單元與計算單元一體的結(jié)構(gòu)讓數(shù)據(jù)不必在兩者之間反復(fù)“搬運”,從而讓“能耗墻”與“功耗墻”問題迎刃而解。
談起對存算一體技術(shù)的初印象,熊大鵬說到:“2017年我第一次接觸到存算一體技術(shù),當(dāng)時就震驚于怎么會有這么好的東西能夠恰好解決AI芯片面臨的問題。”
在初識存算一體后,熊大鵬興趣盎然,立刻開始了著手從產(chǎn)業(yè)界到學(xué)界學(xué)習(xí)和調(diào)研,對存算一體建立了系統(tǒng)的認(rèn)識。
當(dāng)時,把存算一體運用到AI中還只是一種理論,熊大鵬還沒有找到將他在存算一體領(lǐng)域的雄心落實的機會。
熊大鵬得以實現(xiàn)抱負(fù)的契機是與ReRAM的偶遇,這也是他在2020年創(chuàng)立存算一體AI芯片公司億鑄科技的關(guān)鍵。
【存算一體的“天時”、“地利”與“人和”】
2018年,熊大鵬在工作中接觸到了ReRAM的領(lǐng)軍企業(yè)Crossbar。當(dāng)時正在苦苦尋找存算一體技術(shù)在AI芯片領(lǐng)域落地方案的他,剛一接觸ReRAM,就近乎直覺地認(rèn)為ReRAM有解決存算一體落地問題的能力。
存算一體的存儲介質(zhì)選擇一般有三種方案:Flash等傳統(tǒng)存儲介質(zhì);相對成熟的易失性存儲器SRAM;以及ReRAM等新型存儲器。
熊大鵬說,不同的存儲介質(zhì)有不同的特點,也有各自最適配的應(yīng)用領(lǐng)域,而在他看好的AI大算力芯片場景下,ReRAM則是最合適的選擇。
在他看來,NAND Flash讀寫延時較大,性能相對落后,并且工藝節(jié)點在40nm左右,難以隨先進(jìn)工藝?yán)^續(xù)迭代,無法滿足AI大算力芯片的計算需求。
SRAM存儲器在大算力場景下則存在單位密度受限、漏電流和工程落地難度和成本較高等問題。
而ReRAM雖然在應(yīng)用于模擬存算一體時也存在著精度和數(shù)模轉(zhuǎn)換等難題,但在熊大鵬看來,億鑄科技選擇的基于ReRAM的全數(shù)字化存算一體技術(shù),能較好解決精度和數(shù)模轉(zhuǎn)換等難題,無疑更適合應(yīng)用在AI大算力芯片的場景中。
ReRAM是一種新型非易失存儲器,其基本存儲單元被稱為憶阻器,是一種可編程電阻,其特點是在斷電之后電阻值依然能夠長期保持。
憶阻器可編程的性質(zhì)讓其非常適合在ReRAM存儲單元上加上計算功能,而斷電后保持?jǐn)?shù)據(jù)不丟失的特性也讓它能夠成為可靠的存儲器,這都讓ReRAM與存算一體架構(gòu)的要求不謀而合。
在與一家全球ReRAM新型存儲技術(shù)領(lǐng)軍企業(yè)中的老朋友們,還有斯坦福大學(xué)、德克薩斯大學(xué)奧斯汀分校、上海交通大學(xué)、復(fù)旦大學(xué)、中國科學(xué)技術(shù)大學(xué)等高校的知名科學(xué)家們經(jīng)過幾個月的討論后,熊大鵬對使用ReRAM存算一體技術(shù)解決AI大算力芯片問題有了初步想法,隨即開始組建團(tuán)隊。
用ReRAM和全數(shù)字化存算一體技術(shù)做AI芯片是一條全新的道路,前人留下的腳印甚少,過河沒有石頭可摸。
一開始熊大鵬也考慮過從技術(shù)更成熟的SRAM開始,再過渡到ReRAM。
最終是團(tuán)隊的支持給了熊大鵬信心。團(tuán)隊組建的過程中,熊大鵬找到了過去在Wave Computing共事過的Debu博士。
Debu博士是IEEE Fellow、曾就職于斯坦福大學(xué),當(dāng)時在Cadence擔(dān)任首席科學(xué)家兼AI部門CTO,也在研究基于SRAM的存算一體IP Core,并且已經(jīng)成家。如果接受熊大鵬的邀約,在家庭和事業(yè)兩方面都面臨著困難。
但Debu在了解到熊大鵬決定入局基于ReRAM的全數(shù)字化存算一體芯片后,頓覺這是一項面向未來的大事業(yè),解決了他在Cadence研究過的基于SRAM存算一體未能解決的技術(shù)瓶頸,克服種種困難最終還是決定加入到億鑄科技創(chuàng)業(yè)的行列中。
Debu不遠(yuǎn)千里來投,讓熊大鵬感受到了有識之士對這個賽道的信心,而許多之前曾與熊大鵬有過深入交流的包括工藝器件、電路設(shè)計、架構(gòu)方案和軟件生態(tài)等各方專家學(xué)者的加入,則給了熊大鵬技術(shù)攻關(guān)的底氣。
“不論是ReRAM還是MRAM都是比較前沿的領(lǐng)域,單憑企業(yè)自身很難成功,離不開新型存儲器領(lǐng)域領(lǐng)先的合作伙伴企業(yè)和一流研究團(tuán)隊的支持。”熊大鵬說。
有了這些的支持,熊大鵬終于下定決心,決定直接從ReRAM開始。
“我們的創(chuàng)業(yè)團(tuán)隊是‘三老’團(tuán)隊,”熊大鵬略帶調(diào)侃地說,“老同事,老同學(xué),老朋友。”
原本就對AI芯片十分熟悉的熊大鵬和對基于SRAM存算一體擁有開發(fā)經(jīng)驗的Debu讓億鑄科技開局已占地利,而眾多老友的加入讓億鑄科技又添人和。而在熊大鵬看來,存算一體的天時也正在當(dāng)下。
【決戰(zhàn)近在咫尺,中國芯這次正面“亮劍”】
對于國產(chǎn)存算一體芯片的企業(yè)們來說,前路依然漫漫,但代表著決戰(zhàn)的鼓聲已經(jīng)悄然迫近。
創(chuàng)業(yè)者的身份外,熊大鵬還是一名在芯片領(lǐng)域縱橫多年的投資人。
作為投資人,熊大鵬見證了許多新興技術(shù)的成長。過往的經(jīng)驗告訴他,屬于存算一體的時代距離現(xiàn)在并不遙遠(yuǎn)。
在熊大鵬看來,存算一體產(chǎn)業(yè)從已經(jīng)實現(xiàn)了從端側(cè)小算力到云端大算力的全場景覆蓋,整個產(chǎn)業(yè)鏈的配套正在成熟。
同時,潛在客戶對存算一體的認(rèn)知也越來越清晰,從“沒聽說”到“有了解”再到如今已經(jīng)對產(chǎn)品“有期待”。
在國家對能耗越來越嚴(yán)格的管控趨勢下,數(shù)據(jù)中心對高能效比的大算力產(chǎn)品的需求也在高漲。而存算一體芯片超高能效的特性正好可以滿足市場需求。
種種因素相疊加,熊大鵬做出判斷:“2024年到2025年,存算一體的產(chǎn)品會全面開花。”
距離存算一體的全面爆發(fā),還有三年時間。對于國產(chǎn)存算一體廠商來講,這正是屬于他們的“天時”。
億鑄科技僅正式運營兩月后,就獲得了由聯(lián)想之星、中科創(chuàng)星和匯芯投資聯(lián)合領(lǐng)投的過億元天使輪融資。在推動ReRAM落地的關(guān)鍵技術(shù)上,億鑄科技也已經(jīng)取得了突破。
如果用模擬或混合方式構(gòu)建芯片,憶阻器在受到工藝和環(huán)境的影響時,會出現(xiàn)精度漂移和數(shù)模/模數(shù)轉(zhuǎn)換能耗問題。這也是ReRAM落地存算一體的關(guān)鍵阻礙。
為了突破這一難關(guān),億鑄科技選擇攻關(guān)全數(shù)字化存算一體技術(shù)。
基于全數(shù)字化方式構(gòu)造芯片,無需模數(shù)和數(shù)模信號轉(zhuǎn)換器,不會受到信噪比的影響,精度可以達(dá)到32bit甚至更高,既不會產(chǎn)生精度損失,也不會面臨模擬計算帶來的諸如IR-DROP等問題。
基于全數(shù)字化方式,億鑄科技將開發(fā)業(yè)界首顆基于ReRAM的全數(shù)字化存算一體AI大算力芯片,采用chiplet技術(shù),單模組將突破1000TOPS算力,超出GPU 250TOPS算力的四倍多。
熊大鵬表示,億鑄科技的產(chǎn)品落地正在快速推進(jìn),第一代芯片將于2023年落地,并在同年投片第二代芯片。
雖然一切順利,但無論對億鑄科技還是對存算一體芯片來說,這都遠(yuǎn)遠(yuǎn)不是終點。
熊大鵬認(rèn)為,在技術(shù)上實現(xiàn)存算一體和在商業(yè)上取得成功是兩種概念。在他看來,存算一體芯片要想大規(guī)模被應(yīng)用,首先要建立起自己的生態(tài)。
熊大鵬告訴我們,在大算力應(yīng)用場景下,存算一體的競爭力在于構(gòu)建生態(tài)系統(tǒng)。
僅僅“參與”到現(xiàn)有的生態(tài)中,這遠(yuǎn)遠(yuǎn)不夠,只有跳出傳統(tǒng)架構(gòu)的局限,一開始就以存算一體作為思路構(gòu)建整體系統(tǒng)才能真正發(fā)揮存算一體的競爭力。
億鑄科技的目標(biāo)除了將存算一體架構(gòu)在AI大算力領(lǐng)域商用落地之外,還期望和其他存算一體賽道上的伙伴們共建生態(tài)。
而在美國對我國半導(dǎo)體領(lǐng)域持續(xù)打壓的背景下,存算一體芯片還承載著著沖破藩籬的使命。
前段時間,美國出臺了對我國的先進(jìn)制程和高性能計算設(shè)計工具EDA等的出口限制政策,這無疑將對我國AI研究的未來帶來更大挑戰(zhàn)。
熊大鵬認(rèn)為,在先進(jìn)工藝短期內(nèi)無法實現(xiàn)全國產(chǎn)化的大前提下,國內(nèi)半導(dǎo)體必須具備在性能表現(xiàn)相同的條件下發(fā)展與先進(jìn)制程解耦的技術(shù)。
存算一體就是一種突破先進(jìn)制程對性能限制的有效路徑:億鑄科技基于成熟的28nm CMOS工藝和國內(nèi)既有產(chǎn)業(yè)配套設(shè)計的存算一體AI大算力芯片,已經(jīng)可以實現(xiàn)7nm CMOS先進(jìn)制程AI芯片10倍以上能效比和性能。
并且,在存算一體賽道上,國產(chǎn)芯片廠商們并非單方面的追趕。
在熊大鵬看來,與傳統(tǒng)賽道相比,在存算一體芯片領(lǐng)域,國外“巨頭們”并沒有在這條新開辟的道路上領(lǐng)先太多。
“總的來說,國內(nèi)外在存算一體領(lǐng)域差距不大,而且在某些方面,我們做的更快更好。國內(nèi)做存算一體的基本都是初創(chuàng)公司,初創(chuàng)公司可以大干快上地投入,無懼國外巨頭們的競爭,而這些巨頭們卻未必有擁抱革命性技術(shù)來革自己命的決心,效率也不一定比我們高。”熊大鵬總結(jié)道。
對于這場即將降臨的決戰(zhàn)的最終結(jié)果,熊大鵬顯得信心十足:“到了存算一體全面開花的那天,我們一定能夠戰(zhàn)勝他們。”
文章來源:快科技