【#區(qū)塊鏈# #官宣！Meta正在訓(xùn)練Llama 3，將繼續(xù)開源#】

原文來源：AIGC開放社區(qū)

圖片來源：由無界 AI生成

1月19日，全球社交、科技巨頭Meta的聯(lián)合創(chuàng)始人兼首席執(zhí)行官-Zuck（扎克伯格）在is宣布，正在訓(xùn)練Llama 3并且以負(fù)責(zé)任地方式繼續(xù)開源。

Zuck表示，預(yù)計到2024年底，Meta將擁有350,000塊H100，如果算上其他算力資源將達(dá)到近600,000塊H100。

所以，Meta有足夠的AI算力資源來支持其生成式AI和FAIR（旗下AI部門）的技術(shù)研究。未來，會公布更多的產(chǎn)品消息。

去年8月，就有過傳言Meta正在訓(xùn)練Llama 3?，F(xiàn)在，官方正式確認(rèn)，這對于企業(yè)、個人開發(fā)者來說都是一個好消息，可以繼續(xù)以開源的方式使用與GPT-4、Gemini Ultra相媲美的大模型。

類ChatGPT開源模型鼻祖——Llama

早在去年2月，ChatGPT火爆出圈時，全球多個國家、地區(qū)皆在嘗試開發(fā)類似的產(chǎn)品。雖然已經(jīng)有一些開源產(chǎn)品，但在功能、能耗等方面與其相差甚遠(yuǎn)。

同月，Meta重磅開源了類ChatGPT開源模型LLaMA。隨后，國內(nèi)外不少科研機(jī)構(gòu)、個人開發(fā)者在LLaMA基礎(chǔ)之上，開發(fā)了眾多知名開源項(xiàng)目。但LLaMA有一個致命缺點(diǎn)，無法商業(yè)化只能用于研究。

LLaMA與ChatGPT同樣是基于Transformers架構(gòu)演變而來，共有70億、130億、330億和650億參數(shù)四種類型，接受了20種不同語言文本的訓(xùn)練。

數(shù)據(jù)訓(xùn)練方面，LLaMA使用公開可用的數(shù)據(jù)集進(jìn)行訓(xùn)練，其中包括開放數(shù)據(jù)平臺Common Crawl、英文文檔數(shù)據(jù)集C4、代碼平臺GitHub、維基百科、論文平臺ArXiv等，總體標(biāo)記數(shù)據(jù)總量大約在1.4萬億個Tokens左右。

Meta認(rèn)為，在更多標(biāo)記（單詞）上訓(xùn)練的較小模型，更容易針對特定的潛在產(chǎn)品用例進(jìn)行再訓(xùn)練和微調(diào)，同時性能也更加聚焦。

2023年7月，Meta在LLaMA基礎(chǔ)之上訓(xùn)練、開源了LLaMA 2，擁有70億、130億、340億和700億四種參數(shù)，并且這一代終于允許商業(yè)化。

Llama 2 預(yù)訓(xùn)練模型接受了2萬億個標(biāo)記的訓(xùn)練，上下文長度是Llama 1的兩倍。其微調(diào)模型已經(jīng)接受了超過100 萬個人類注釋的訓(xùn)練，整體性能非常強(qiáng)悍。

目前，Llama 2也是整個生成式AI開源界應(yīng)用最多的大模型之一。

開源生成式AI聯(lián)盟主力軍——Meta

看到生成式AI的龐大場景化落地，Meta已經(jīng)將其列為重要發(fā)展賽道。

為了對抗OpenAI、谷歌為代表的閉源陣營，去年12月，Meta聯(lián)合甲骨文、英特爾、AMD、IBM、索尼、戴爾等57家科技、學(xué)術(shù)研究等知名機(jī)構(gòu)組成了“AI聯(lián)盟”。

這個聯(lián)盟有6大目標(biāo)，其中重要一項(xiàng)便是要搭建開源大模型生態(tài)，包括從研究、評估、硬件、安全、公眾參與等一整套流程。

事實(shí)上，Meta作為這個聯(lián)盟的主要發(fā)起者和“盟主”，在2023年，除了LLaMA，還開源了一系列重要模型。

開源文本生成音樂模型Audiocraft：這是一個混合模型，由MusicGen、AudioGen和EnCodec組合而成。用戶僅用文本就能生成鳥叫、汽車?yán)嚷?、腳步等背景音頻，或更復(fù)雜的音樂，適用于游戲開發(fā)、社交、視頻配音等業(yè)務(wù)場景。

最大公開多模態(tài)視頻數(shù)據(jù)集—Ego-Exo4D：該數(shù)據(jù)集收集了來自13個城市839名參與者的視頻,總時長超過1400小時,包含舞蹈、足球、籃球、攀巖、音樂、烹飪、自行車維修等8大類，131個復(fù)雜場景動作。這使得AI模型更好地理解人類的行為，有助于開發(fā)出更強(qiáng)大的多模態(tài)大模型。

開源視覺模型DINOv2：采用了一種新的高性能計算機(jī)視覺模型的方法，無需微調(diào)具備自我監(jiān)督學(xué)習(xí)(SSL)，可以從任何圖像集合中學(xué)習(xí)。還可以學(xué)習(xí)當(dāng)前標(biāo)準(zhǔn)方法無法學(xué)習(xí)的特征，例如，深度估計。

可以預(yù)見，2024年，Meta將繼續(xù)揚(yáng)帆起航，開源更多的重磅產(chǎn)品造福全球開發(fā)者和企業(yè)。