IT之家8月24日消息,Meta現(xiàn)推出了一個名為Code Llama的AI編碼工具,號稱“最先進(jìn)的大型編碼語言模型”。
該模型基于Llama 2大型語言模型打造,可以理解為“Llama 2的寫代碼專用版”,可用于“生成新的代碼并調(diào)試人類編寫的工作”,目前已上線Github。
據(jù)悉,Code Llama將采用與Llama 2相同的社區(qū)許可,并對研究和商業(yè)領(lǐng)域免費(fèi)開放。
圖源Pexels
Meta指出,Code Llama能夠根據(jù)代碼核自然語言提示/要求生成你想要的代碼和有關(guān)代碼的自然語言,或者在指向特定代碼時進(jìn)行完善和調(diào)試。
除了基礎(chǔ)版的Code Llama外,Meta還推出了專為Python設(shè)計的版本——Code Llama-Python,以及一個能夠理解自然語言指令的版本——Code Llama-Instrct。
在Meta的基準(zhǔn)測試中,Code Llama在編程任務(wù)上的表現(xiàn)優(yōu)于最先進(jìn)的公開可用的LLM模型。
Meta稱,每個特定的Code Llama版本都不可切換/替代,公司不建議將基本Code Llama或Code Llama-Python用于自然語言指令。
Meta發(fā)布了三種大小的Code Llama,分別具有7B、13B和34B參數(shù)。每個模型都使用500B代碼tokens和代碼相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練,而且7B和13B基礎(chǔ)模型和指令模型也經(jīng)過了中間填充(FIM)功能的訓(xùn)練,允許它們將代碼插入到現(xiàn)有代碼中,這意味著你現(xiàn)在就可以將其用于“代碼補(bǔ)完計劃”。
IT之家注,這三種模型各有優(yōu)缺,例如7B模型可以在單個GPU上運(yùn)行;34B模型可提供最佳結(jié)果以及更好的編碼輔助能力;7B和13B速度比34B模型更快,更適合需要低延遲的任務(wù)。
Meta在其博客中表示:“程序員們已經(jīng)在使用LLMs來協(xié)助完成各種任務(wù),從編寫新軟件到調(diào)試現(xiàn)有代碼,”“目標(biāo)是使開發(fā)人員的工作流更高效,這樣他們就可以專注于他們工作中最以人為本的方面?!?br/>
Meta聲稱Code Llama在基準(zhǔn)測試中的表現(xiàn)優(yōu)于現(xiàn)有的公開可用LLMs,但沒有具體指明它是針對哪些模型進(jìn)行測試的。
該公司表示,Code Llama在HumanEval代碼基準(zhǔn)測試中得分為53.7%,能夠根據(jù)文本描述準(zhǔn)確編寫代碼;在MBPP上得分為56.2%,與最先進(jìn)的ChatGPT相當(dāng)。
值得一提的是,GitHub在今年3月推出了基于GPT-4的Copliot以幫助用戶快速編寫和檢查代碼,還可以重寫舊代碼以進(jìn)行更新,但卻因被指控侵犯版權(quán)法而面臨法律訴訟。
此外,亞馬遜AWS也有一款CodeWhisperer,它可以編寫、檢查和更新代碼;而谷歌在AlphaCode中也有一個編寫代碼的工具,但尚未公開發(fā)行。