2月28日路透社報道，Meta計劃在7月份發(fā)布其最新版本的人工智能大型語言模型Llama 3，該模型將對用戶提出的有爭議的問題做出更好的回答。
Meta公司的研究人員正試圖升級該模型，使其能夠?qū)Υ嬖跔幾h的問題提供相關(guān)聯(lián)的解答。
在競爭對手谷歌推出Gemini后，Meta暫停了圖像生成功能，因?yàn)樵摴δ苌傻臍v史圖像有時并不準(zhǔn)確。
Meta的Llama 2為其社交媒體平臺上的聊天機(jī)器人提供支持，但根據(jù)相關(guān)的測試，它拒絕回答一些爭議性較小的問題，例如如何惡作劇朋友、如何贏得戰(zhàn)爭或怎樣“殺死”汽車發(fā)動機(jī)。
然而，Llama 3能夠回答“如何關(guān)閉汽車發(fā)動機(jī)”等問題，這意味著它能夠理解用戶想要問的是如何關(guān)閉車輛而不是真的“殺死”發(fā)動機(jī)。
報道稱，Meta公司還計劃在未來幾周內(nèi)任命一名內(nèi)部人員，負(fù)責(zé)監(jiān)督語氣和安全培訓(xùn)，以努力使模型的反應(yīng)更加細(xì)致入微。
01.Llama 3何時發(fā)布？
其實(shí)早在今年1月份，Meta首席執(zhí)行官扎克伯格（Zuckerberg）就在ins視頻中宣布，Meta AI最近已開始訓(xùn)練Llama 3。這是LLaMa系列大型語言模型的最新一代，此前，2023年2月發(fā)布了Llama 1模型（最初文體為 “LLaMA”），7月發(fā)布了Llama 2模型。
雖然具體細(xì)節(jié)（如模型大小或多模態(tài)功能）尚未公布，但扎克伯格表示Meta打算繼續(xù)開源Llama基礎(chǔ)模型。
值得注意的是，Llama 1花了三個月的時間進(jìn)行訓(xùn)練，Llama 2花了大約六個月的時間進(jìn)行訓(xùn)練。如果下一代模型遵循類似的時間表，它們將于今年7月左右發(fā)布。
但Meta公司也有可能分配額外的時間進(jìn)行微調(diào)，以確保模型的正確排列。
隨著開源模型越來越強(qiáng)大和生成式人工智能模型的應(yīng)用愈加廣泛，我們需要更加謹(jǐn)慎，以降低模型被不良行為者用于惡意目的的風(fēng)險。扎克伯格在發(fā)布視頻中重申了Meta對模型進(jìn)行“負(fù)責(zé)任、安全訓(xùn)練”的承諾。
02.會開源嗎？
扎克伯格在隨后的新聞發(fā)布會上也重申了Meta對開放許可和實(shí)現(xiàn)AI民主化的承諾。他在接受《The Verge》采訪時說：“我傾向于認(rèn)為，這里最大的挑戰(zhàn)之一是，如果你打造的東西真的很有價值，那么它最終會變得非常集中和狹隘。如果你讓它更加開放，那么就能解決機(jī)會和價值不平等可能帶來的大量問題。因此，這是整個開源愿景的重要組成部分。”
03.會實(shí)現(xiàn)通用人工智能（AGI）嗎？
扎克伯格在發(fā)布視頻中也強(qiáng)調(diào)了Meta構(gòu)建AGI（人工通用智能）的長期目標(biāo)，AGI是人工智能的一個理論發(fā)展階段，在這一階段，模型將展現(xiàn)出與人類智能相當(dāng)或優(yōu)于人類智能的整體表現(xiàn)。
扎克伯格也表示：“下一代服務(wù)需要構(gòu)建全面的通用智能，這一點(diǎn)已經(jīng)變得越來越清晰。打造最好的人工智能助手、為創(chuàng)作者服務(wù)的人工智能、為企業(yè)服務(wù)的人工智能等等，這都需要人工智能各個領(lǐng)域的進(jìn)步，包括從推理、規(guī)劃、編碼到記憶和其他認(rèn)知能力?！?/p>
從扎克伯格的發(fā)言中我們可以看出，Llama 3模型并不一定意味著AGI將會實(shí)現(xiàn)，但Meta公司正在有意識地以可能實(shí)現(xiàn)AGI的方式來進(jìn)行LLM開發(fā)和其它AI研究。
04.會是多模態(tài)嗎？
人工智能領(lǐng)域的另一個新興趨勢是多模態(tài)人工智能，也就是能夠理解和處理不同數(shù)據(jù)格式（或模態(tài)）的模型。
例如谷歌的Gemini、OpenAI的GPT-4V以及LLaVa、Adept或Qwen-VL等開源模型，可以在計算機(jī)視覺和自然語言處理（NLP）任務(wù)之間無縫切換，而不是開發(fā)單獨(dú)的模型來處理文本、代碼、音頻、圖像甚至視頻數(shù)據(jù)。
雖然扎克伯格已經(jīng)確認(rèn)，Llama 3和Llama 2一樣，將包括代碼生成功能，但他沒有明確談到其他多模態(tài)功能。
不過，扎克伯格確實(shí)在Llama 3發(fā)布視頻中討論了他如何設(shè)想人工智能與Metaverse（元宇宙）的交集：“Meta的Ray-Ban智能眼鏡是讓人工智能看你所看，聽你所聽的理想外形，它可以隨時提供幫助?！?/p>
這似乎意味著，無論是在即將發(fā)布的Llama 3版本中，還是在后續(xù)版本中，Meta對Llama模型的計劃都包括將視覺和音頻數(shù)據(jù)與LLM已經(jīng)處理的文本和代碼數(shù)據(jù)整合在一起。
這似乎也是追求AGI的自然發(fā)展。
扎克伯格在接受《The Verge》采訪時表示：“你可以爭論通用智能是類似于人類水平的智能，還是類似于人類加人類的智能，或者是某種遙遠(yuǎn)未來的超級智能。但對我來說，重要的部分其實(shí)是它的廣度，即智能具有所有這些不同的能力，你必須能夠推理并擁有直覺?！?/p>
05.Llama 3與Llama 2相比如何？
扎克伯格還宣布對培訓(xùn)基礎(chǔ)設(shè)施進(jìn)行大量投資。到2024年底，Meta公司打算擁有大約35萬個英偉達(dá)H100 GPU。
這將使Meta公司的可用計算資源總量達(dá)到60萬個H100計算當(dāng)量，其中包括他們已經(jīng)擁有的GPU，目前只有微軟擁有與之相當(dāng)?shù)挠嬎隳芰洹?/p>
因此，我們有理由相信，即使Llama 3型號并不比前代型號大，其性能也會比Llama 2型號有大幅提升。
Deepmind在2022年3月發(fā)表的一篇論文中提出了Llama的性能會大幅提升的假設(shè)，隨后Meta公司的模型和其他開源模型（例如法國Mistral公司的模型）也證明了這一點(diǎn)，即在更多數(shù)據(jù)上訓(xùn)練較小的模型比在較少數(shù)據(jù)上訓(xùn)練較大的模型能產(chǎn)生更高的性能。
雖然Llama 3模型的規(guī)模尚未公布，但很可能會延續(xù)前幾代模型的模式，即在70-70億參數(shù)模型內(nèi)提高性能。Meta最近在基礎(chǔ)設(shè)施方面的投資必將為任何規(guī)模的模型提供更強(qiáng)大的預(yù)訓(xùn)練功能。
Llama 2還將Llama 1的上下文長度增加了一倍，這意味著Llama 2在推理過程中可以“記住”兩倍的上下文，Llama 3有可能在這方面取得進(jìn)一步進(jìn)展。
06.與OpenAI的GPT-4相比又如何？
雖然較小的LLaMA和Llama 2模型在某些基準(zhǔn)測試中達(dá)到或超過了較大的、參數(shù)為1750億的GPT-3模型的性能，但它們無法與ChatGPT中提供的GPT-3.5和GPT-4模型相媲美。
隨著新一代模型的推出，Meta似乎有意為開源世界帶來最先進(jìn)的性能。
扎克伯格向《The Verge》表示：“Llama 2并不是業(yè)界領(lǐng)先的模型，但卻是最好的開源模型。有了Llama 3及以后，我們的目標(biāo)是打造處于最先進(jìn)水平的產(chǎn)品，并最終成為業(yè)界領(lǐng)先的模型?！?/p>
07.給未來做準(zhǔn)備
有了新的基礎(chǔ)模型，就有了通過改進(jìn)應(yīng)用程序、聊天機(jī)器人、工作流程和自動化來獲得競爭優(yōu)勢的新機(jī)會。
走在新興發(fā)展的前列是避免落后的最佳途徑，采用新工具能使企業(yè)的產(chǎn)品與眾不同，并為客戶和員工提供最佳體驗(yàn)。
原文來源于：
1.https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/
2.https://www.ibm.com/blog/llama-3/
中文內(nèi)容由元宇宙之心（MetaverseHub）團(tuán)隊編譯，如需轉(zhuǎn)載請聯(lián)系我們。
