文章摘要：
1. Prompt2Model可以根據(jù)提示自動生成專用的NLP模型，并且在某些情況下性能超過GPT-3.5Turbo。
2. Prompt2Model使用OpenAI的GPT-3.5Turbo生成合成訓練數(shù)據(jù)，然后使用預訓練的Hugging Face模型進行微調(diào)。
3. Prompt2Model依賴于OpenAI的GPT-3.5 Turbo，這是商業(yè)應用的限制，開源語言模型的使用正在探索中。
9月5日消息：卡內(nèi)基梅隆大學和清華大學的研究人員開發(fā)了Prompt2Model系統(tǒng)，可以根據(jù)提示自動生成專門的NLP模型。
當然，Prompt2Model并不是GPT-4的替代品，而是專用NLP模型的自動化管道，這些模型可以很好地執(zhí)行特定任務，并且比大型模型小得多，因此可以在低端硬件上運行。 本地運行。
Prompt2Model系統(tǒng)首先將提示分解為結(jié)構(gòu)化語句，然后查找可能對當前任務有用的數(shù)據(jù)集。 然后使用 OpenAI 的 GPT-3.5 Turbo 生成該任務的合成訓練數(shù)據(jù)。 然后確定合適的預訓練模型進行微調(diào)。
研究人員在三個基準上評估了 Prompt2Model 的結(jié)果。 由此產(chǎn)生的 Flan-T5 模型在這兩項任務中都優(yōu)于 GPT-3.5Turbo。 但在第三次基準測試中，Prompt2Model 明顯落后于 OpenAI 模型。
Prompt2Model 目前主要僅限于純英語任務。 團隊表示，原因是GPT-3.5Turbo本身的語言支持有限。 Prompt2Model依賴OpenAI模型生成數(shù)據(jù)也限制了其商業(yè)應用。 OpenAI 禁止使用自己的模型來訓練可能與之競爭的模型。
然而，該團隊正在探索集成大規(guī)模開源語言模型，以減少對專有 API 的依賴。