Writer這家初創(chuàng)公司專門為企業(yè)研發(fā)人工智能工具，該家公司的聯(lián)合創(chuàng)始人兼公司的首席技術(shù)官阿爾謝赫表示在最近3個月到4個月時間內(nèi)，一些傳統(tǒng)的人工智能芯片價格正在逐漸下滑，幫助公司在模型培訓(xùn)方面的成本降低了60%左右。另外英偉達公司還優(yōu)化了公司旗下軟件產(chǎn)品的性能，讓所有的開發(fā)者能夠以這些芯片進行更加高效的訓(xùn)練。
研發(fā)大語言模型的成本較高，已經(jīng)成為了整個科技行業(yè)的共識，其中不僅僅包括模型的研發(fā)費用，還包括模型的運營費用。就比如人工智能領(lǐng)域的初創(chuàng)企業(yè)Anthropic，這家公司在云端運行語言模型的成本在公司總收入的占比已經(jīng)達到了50%以上。近段時間內(nèi)隨著技術(shù)的不斷進步，降低了大語言模型的研發(fā)和運行成本，目前還并不清楚大語言模型是否因此可以變成擁有更高利潤的軟件業(yè)務(wù)，不過現(xiàn)在已經(jīng)幫助多家公司緩解了成本方面的問題。
Writer公司現(xiàn)在已經(jīng)開始使用英偉達公司的新款芯片來訓(xùn)練大語言模型，阿爾謝赫表示這些新芯片的價格比較高，不過在訓(xùn)練大語言模型的效率方面要比A100更快。除了芯片以外，開發(fā)者還有可能會通過技術(shù)改進和配置的更改來降低成本，就比如GPT-4其實并不是一個龐大的模型，而是由多個模型組成的，這種混合系統(tǒng)的效率更高。
現(xiàn)在開發(fā)者已經(jīng)發(fā)現(xiàn)了如何去控制硬件的使用方法，谷歌公司的研究人員預(yù)計，openai在訓(xùn)練GPT-3到時候GPU大約有80%的時間都在等待數(shù)據(jù)輸入，也就意味著openai并沒有完全使用GPU的性能。GPU經(jīng)銷商Together的首席科學(xué)家特里·道表示，使用FlashAttention-2的技術(shù)，就可以將等待輸入數(shù)據(jù)的時間縮短到30%左右，許多的開發(fā)者現(xiàn)在都已經(jīng)開始使用這項技術(shù)。