2月28日路透社報(bào)道，Meta計(jì)劃在7月份發(fā)布其最新版本的人工智能大型語(yǔ)言模型Llama 3，該模型將對(duì)用戶(hù)提出的有爭(zhēng)議的問(wèn)題做出更好的回答。

Meta公司的研究人員正試圖升級(jí)該模型，使其能夠?qū)Υ嬖跔?zhēng)議的問(wèn)題提供相關(guān)聯(lián)的解答。

在競(jìng)爭(zhēng)對(duì)手谷歌推出Gemini后，Meta暫停了圖像生成功能，因?yàn)樵摴δ苌傻臍v史圖像有時(shí)并不準(zhǔn)確。

Meta的Llama 2為其社交媒體平臺(tái)上的聊天機(jī)器人提供支持，但根據(jù)相關(guān)的測(cè)試，它拒絕回答一些爭(zhēng)議性較小的問(wèn)題，例如如何惡作劇朋友、如何贏(yíng)得戰(zhàn)爭(zhēng)或怎樣“殺死”汽車(chē)發(fā)動(dòng)機(jī)。

然而，Llama 3能夠回答“如何關(guān)閉汽車(chē)發(fā)動(dòng)機(jī)”等問(wèn)題，這意味著它能夠理解用戶(hù)想要問(wèn)的是如何關(guān)閉車(chē)輛而不是真的“殺死”發(fā)動(dòng)機(jī)。

報(bào)道稱(chēng)，Meta公司還計(jì)劃在未來(lái)幾周內(nèi)任命一名內(nèi)部人員，負(fù)責(zé)監(jiān)督語(yǔ)氣和安全培訓(xùn)，以努力使模型的反應(yīng)更加細(xì)致入微。

01.Llama 3何時(shí)發(fā)布？

其實(shí)早在今年1月份，Meta首席執(zhí)行官扎克伯格（Zuckerberg）就在ins視頻中宣布，Meta AI最近已開(kāi)始訓(xùn)練Llama 3。這是LLaMa系列大型語(yǔ)言模型的最新一代，此前，2023年2月發(fā)布了Llama 1模型（最初文體為 “LLaMA”），7月發(fā)布了Llama 2模型。

雖然具體細(xì)節(jié)（如模型大小或多模態(tài)功能）尚未公布，但扎克伯格表示Meta打算繼續(xù)開(kāi)源Llama基礎(chǔ)模型。

值得注意的是，Llama 1花了三個(gè)月的時(shí)間進(jìn)行訓(xùn)練，Llama 2花了大約六個(gè)月的時(shí)間進(jìn)行訓(xùn)練。如果下一代模型遵循類(lèi)似的時(shí)間表，它們將于今年7月左右發(fā)布。

但Meta公司也有可能分配額外的時(shí)間進(jìn)行微調(diào)，以確保模型的正確排列。

隨著開(kāi)源模型越來(lái)越強(qiáng)大和生成式人工智能模型的應(yīng)用愈加廣泛，我們需要更加謹(jǐn)慎，以降低模型被不良行為者用于惡意目的的風(fēng)險(xiǎn)。扎克伯格在發(fā)布視頻中重申了Meta對(duì)模型進(jìn)行“負(fù)責(zé)任、安全訓(xùn)練”的承諾。

02.會(huì)開(kāi)源嗎？

扎克伯格在隨后的新聞發(fā)布會(huì)上也重申了Meta對(duì)開(kāi)放許可和實(shí)現(xiàn)AI民主化的承諾。他在接受《The Verge》采訪(fǎng)時(shí)說(shuō)：“我傾向于認(rèn)為，這里最大的挑戰(zhàn)之一是，如果你打造的東西真的很有價(jià)值，那么它最終會(huì)變得非常集中和狹隘。如果你讓它更加開(kāi)放，那么就能解決機(jī)會(huì)和價(jià)值不平等可能帶來(lái)的大量問(wèn)題。因此，這是整個(gè)開(kāi)源愿景的重要組成部分?！?/p>

03.會(huì)實(shí)現(xiàn)通用人工智能（AGI）嗎？

扎克伯格在發(fā)布視頻中也強(qiáng)調(diào)了Meta構(gòu)建AGI（人工通用智能）的長(zhǎng)期目標(biāo)，AGI是人工智能的一個(gè)理論發(fā)展階段，在這一階段，模型將展現(xiàn)出與人類(lèi)智能相當(dāng)或優(yōu)于人類(lèi)智能的整體表現(xiàn)。

扎克伯格也表示：“下一代服務(wù)需要構(gòu)建全面的通用智能，這一點(diǎn)已經(jīng)變得越來(lái)越清晰。打造最好的人工智能助手、為創(chuàng)作者服務(wù)的人工智能、為企業(yè)服務(wù)的人工智能等等，這都需要人工智能各個(gè)領(lǐng)域的進(jìn)步，包括從推理、規(guī)劃、編碼到記憶和其他認(rèn)知能力?！?/p>

從扎克伯格的發(fā)言中我們可以看出，Llama 3模型并不一定意味著AGI將會(huì)實(shí)現(xiàn)，但Meta公司正在有意識(shí)地以可能實(shí)現(xiàn)AGI的方式來(lái)進(jìn)行LLM開(kāi)發(fā)和其它AI研究。

04.會(huì)是多模態(tài)嗎？

人工智能領(lǐng)域的另一個(gè)新興趨勢(shì)是多模態(tài)人工智能，也就是能夠理解和處理不同數(shù)據(jù)格式（或模態(tài)）的模型。

例如谷歌的Gemini、OpenAI的GPT-4V以及LLaVa、Adept或Qwen-VL等開(kāi)源模型，可以在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理（NLP）任務(wù)之間無(wú)縫切換，而不是開(kāi)發(fā)單獨(dú)的模型來(lái)處理文本、代碼、音頻、圖像甚至視頻數(shù)據(jù)。

雖然扎克伯格已經(jīng)確認(rèn)，Llama 3和Llama 2一樣，將包括代碼生成功能，但他沒(méi)有明確談到其他多模態(tài)功能。

不過(guò)，扎克伯格確實(shí)在Llama 3發(fā)布視頻中討論了他如何設(shè)想人工智能與Metaverse（元宇宙）的交集：“Meta的Ray-Ban智能眼鏡是讓人工智能看你所看，聽(tīng)你所聽(tīng)的理想外形，它可以隨時(shí)提供幫助?！?/p>

這似乎意味著，無(wú)論是在即將發(fā)布的Llama 3版本中，還是在后續(xù)版本中，Meta對(duì)Llama模型的計(jì)劃都包括將視覺(jué)和音頻數(shù)據(jù)與LLM已經(jīng)處理的文本和代碼數(shù)據(jù)整合在一起。

這似乎也是追求AGI的自然發(fā)展。

扎克伯格在接受《The Verge》采訪(fǎng)時(shí)表示：“你可以爭(zhēng)論通用智能是類(lèi)似于人類(lèi)水平的智能，還是類(lèi)似于人類(lèi)加人類(lèi)的智能，或者是某種遙遠(yuǎn)未來(lái)的超級(jí)智能。但對(duì)我來(lái)說(shuō)，重要的部分其實(shí)是它的廣度，即智能具有所有這些不同的能力，你必須能夠推理并擁有直覺(jué)。”

05.Llama 3與Llama 2相比如何？

扎克伯格還宣布對(duì)培訓(xùn)基礎(chǔ)設(shè)施進(jìn)行大量投資。到2024年底，Meta公司打算擁有大約35萬(wàn)個(gè)英偉達(dá)H100 GPU。

這將使Meta公司的可用計(jì)算資源總量達(dá)到60萬(wàn)個(gè)H100計(jì)算當(dāng)量，其中包括他們已經(jīng)擁有的GPU，目前只有微軟擁有與之相當(dāng)?shù)挠?jì)算能力儲(chǔ)備。

因此，我們有理由相信，即使Llama 3型號(hào)并不比前代型號(hào)大，其性能也會(huì)比Llama 2型號(hào)有大幅提升。

Deepmind在2022年3月發(fā)表的一篇論文中提出了Llama的性能會(huì)大幅提升的假設(shè)，隨后Meta公司的模型和其他開(kāi)源模型（例如法國(guó)Mistral公司的模型）也證明了這一點(diǎn)，即在更多數(shù)據(jù)上訓(xùn)練較小的模型比在較少數(shù)據(jù)上訓(xùn)練較大的模型能產(chǎn)生更高的性能。

雖然Llama 3模型的規(guī)模尚未公布，但很可能會(huì)延續(xù)前幾代模型的模式，即在70-70億參數(shù)模型內(nèi)提高性能。Meta最近在基礎(chǔ)設(shè)施方面的投資必將為任何規(guī)模的模型提供更強(qiáng)大的預(yù)訓(xùn)練功能。

Llama 2還將Llama 1的上下文長(zhǎng)度增加了一倍，這意味著Llama 2在推理過(guò)程中可以“記住”兩倍的上下文，Llama 3有可能在這方面取得進(jìn)一步進(jìn)展。

06.與OpenAI的GPT-4相比又如何？

雖然較小的LLaMA和Llama 2模型在某些基準(zhǔn)測(cè)試中達(dá)到或超過(guò)了較大的、參數(shù)為1750億的GPT-3模型的性能，但它們無(wú)法與ChatGPT中提供的GPT-3.5和GPT-4模型相媲美。

隨著新一代模型的推出，Meta似乎有意為開(kāi)源世界帶來(lái)最先進(jìn)的性能。

扎克伯格向《The Verge》表示：“Llama 2并不是業(yè)界領(lǐng)先的模型，但卻是最好的開(kāi)源模型。有了Llama 3及以后，我們的目標(biāo)是打造處于最先進(jìn)水平的產(chǎn)品，并最終成為業(yè)界領(lǐng)先的模型?！?/p>

07.給未來(lái)做準(zhǔn)備

有了新的基礎(chǔ)模型，就有了通過(guò)改進(jìn)應(yīng)用程序、聊天機(jī)器人、工作流程和自動(dòng)化來(lái)獲得競(jìng)爭(zhēng)優(yōu)勢(shì)的新機(jī)會(huì)。

走在新興發(fā)展的前列是避免落后的最佳途徑，采用新工具能使企業(yè)的產(chǎn)品與眾不同，并為客戶(hù)和員工提供最佳體驗(yàn)。

原文來(lái)源于：
1.https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/
2.https://www.ibm.com/blog/llama-3/
中文內(nèi)容由元宇宙之心（MetaverseHub）團(tuán)隊(duì)編譯，如需轉(zhuǎn)載請(qǐng)聯(lián)系我們。