IT之家8月24日消息,Meta現(xiàn)推出了一個名為Code Llama的AI編碼工具,號稱“最先進的大型編碼語言模型”。
該模型基于Llama 2大型語言模型打造,可以理解為“Llama 2的寫代碼專用版”,可用于“生成新的代碼并調(diào)試人類編寫的工作”,目前已上線Github。
據(jù)悉,Code Llama將采用與Llama 2相同的社區(qū)許可,并對研究和商業(yè)領域免費開放。
圖源Pexels
Meta指出,Code Llama能夠根據(jù)代碼核自然語言提示/要求生成你想要的代碼和有關代碼的自然語言,或者在指向特定代碼時進行完善和調(diào)試。
除了基礎版的Code Llama外,Meta還推出了專為Python設計的版本——Code Llama-Python,以及一個能夠理解自然語言指令的版本——Code Llama-Instrct。
在Meta的基準測試中,Code Llama在編程任務上的表現(xiàn)優(yōu)于最先進的公開可用的LLM模型。
Meta稱,每個特定的Code Llama版本都不可切換/替代,公司不建議將基本Code Llama或Code Llama-Python用于自然語言指令。
Meta發(fā)布了三種大小的Code Llama,分別具有7B、13B和34B參數(shù)。每個模型都使用500B代碼tokens和代碼相關數(shù)據(jù)進行訓練,而且7B和13B基礎模型和指令模型也經(jīng)過了中間填充(FIM)功能的訓練,允許它們將代碼插入到現(xiàn)有代碼中,這意味著你現(xiàn)在就可以將其用于“代碼補完計劃”。
IT之家注,這三種模型各有優(yōu)缺,例如7B模型可以在單個GPU上運行;34B模型可提供最佳結果以及更好的編碼輔助能力;7B和13B速度比34B模型更快,更適合需要低延遲的任務。
Meta在其博客中表示:“程序員們已經(jīng)在使用LLMs來協(xié)助完成各種任務,從編寫新軟件到調(diào)試現(xiàn)有代碼,”“目標是使開發(fā)人員的工作流更高效,這樣他們就可以專注于他們工作中最以人為本的方面?!?br/>
Meta聲稱Code Llama在基準測試中的表現(xiàn)優(yōu)于現(xiàn)有的公開可用LLMs,但沒有具體指明它是針對哪些模型進行測試的。
該公司表示,Code Llama在HumanEval代碼基準測試中得分為53.7%,能夠根據(jù)文本描述準確編寫代碼;在MBPP上得分為56.2%,與最先進的ChatGPT相當。
值得一提的是,GitHub在今年3月推出了基于GPT-4的Copliot以幫助用戶快速編寫和檢查代碼,還可以重寫舊代碼以進行更新,但卻因被指控侵犯版權法而面臨法律訴訟。
此外,亞馬遜AWS也有一款CodeWhisperer,它可以編寫、檢查和更新代碼;而谷歌在AlphaCode中也有一個編寫代碼的工具,但尚未公開發(fā)行。