文章來(lái)源：字母榜
作者：趙晉杰
Sora的橫空出世，對(duì)張一鳴來(lái)說(shuō)，亦喜亦憂。
被OpenAI的ChatGPT震撼過(guò)一輪的AI大模型行業(yè)，又一次被這家公司推出的首個(gè)視頻生成模型Sora震撼了一把。
不同于Runway、Pika等僅能生成不足10秒，且鏡頭視角單一、內(nèi)容高度失真的視頻，Sora的視頻生成長(zhǎng)度不僅突破到了60秒，且能實(shí)現(xiàn)單視頻的多角度鏡頭切換，還能最大限度還原現(xiàn)實(shí)世界的真實(shí)場(chǎng)景。
在ChatGPT上被驗(yàn)證過(guò)的模型性能縮放法則（scaling laws），被OpenAI CEO阿爾特曼移植到視頻領(lǐng)域后，被證明其“大力出奇跡”的策略仍然有效，即增加模型的大小將繼續(xù)提高性能。ChatGPT所為人稱贊的“智能涌現(xiàn)”特征，再一次出現(xiàn)在Sora身上。
OpenAI CEO阿爾特曼
面對(duì)來(lái)自Sora的“降維打擊”，AI視頻領(lǐng)域的創(chuàng)業(yè)者中，有的如Runway CEO克里斯托瓦爾·巴倫蘇埃拉一樣，做好了“Game On”的準(zhǔn)備，有的如Pika創(chuàng)始人郭文景一樣，開(kāi)始籌備對(duì)標(biāo)Sora的新產(chǎn)品，也有人如Stability AI CEO埃馬德·莫斯塔克一樣，不由感慨“阿爾特曼真是一個(gè)魔術(shù)師”，并將Sora視為AI視頻界的GPT-3時(shí)刻。
但對(duì)字節(jié)跳動(dòng)來(lái)說(shuō)，這未必是個(gè)好消息，因?yàn)?Sora所處的視頻生成賽道，正是眼下字節(jié)跳動(dòng)旗下剪映所瞄準(zhǔn)的AI創(chuàng)新方向。2月份從抖音轉(zhuǎn)崗剪映后，據(jù)界面新聞報(bào)道，抖音前CEO張楠即將推出一個(gè)AI生圖和視頻的產(chǎn)品。
正打算在AI生成視頻領(lǐng)域大干一番的張楠，還沒(méi)等到產(chǎn)品落地的那一刻，其內(nèi)部再創(chuàng)業(yè)的計(jì)劃，便率先遭遇了Sora的當(dāng)頭一擊。
OpenAI是張楠決心押注AI再創(chuàng)業(yè)的催化劑。2022年OpenAI旗下文生圖模型DALL-E 2的發(fā)布，讓張楠首次直觀感受到AI圖像生成，給傳統(tǒng)內(nèi)容創(chuàng)作方式所帶來(lái)的顛覆式變革威力，這既是字節(jié)跳動(dòng)全球CEO梁汝波口中“會(huì)產(chǎn)生新的創(chuàng)作平臺(tái)”的機(jī)會(huì)，也是促成張楠轉(zhuǎn)崗剪映的原因之一。
生成式AI，還是打開(kāi)字節(jié)跳動(dòng)增長(zhǎng)天花板的一次必要嘗試。2023年公開(kāi)信中，張一鳴提到，字節(jié)跳動(dòng)無(wú)法錯(cuò)過(guò)AGI（通用人工智能），并指出AGI是抖音、TikTok在全球發(fā)現(xiàn)新的增長(zhǎng)機(jī)遇不可或缺的伙伴，“它可以解決字節(jié)跳動(dòng)的第二曲線增長(zhǎng)困境?！?/p>
2019年剪映的出現(xiàn)，幫助抖音內(nèi)容生態(tài)從偏向PGC（專業(yè)機(jī)構(gòu)生產(chǎn)內(nèi)容）轉(zhuǎn)向UGC（用戶生產(chǎn)內(nèi)容），大大降低用戶創(chuàng)作門檻。如今，隨著平臺(tái)內(nèi)容生態(tài)轉(zhuǎn)向PUGC融合態(tài)，其對(duì)用戶創(chuàng)作視頻的成本和整體質(zhì)量，又提出了新的要求。AI生成視頻產(chǎn)品的出現(xiàn)，則對(duì)盡可能拉低每一個(gè)普通人創(chuàng)作視頻的門檻，提供了一種現(xiàn)實(shí)可能性，抖音乃至TikTok，都有望借此在內(nèi)容創(chuàng)作者數(shù)量上迎來(lái)新的爆發(fā)。
值得一提的是，AI視頻生成更是一個(gè)頗具前景的創(chuàng)業(yè)賽道。截至2023年底，該賽道已經(jīng)涌現(xiàn)出一批獨(dú)角獸公司：Midjourney估值100億美元，Stability AI估值40億美元，Runway估值15億美元。年初爆火出圈的新貴Pika，成立時(shí)間不足一年，其估值已經(jīng)達(dá)到2.5億美元。
但在Sora的突然襲擊之下，留給張一鳴和張楠孵化下一個(gè)AI視頻生成獨(dú)角獸的時(shí)間，越發(fā)緊張了。
一
Sora亮相之前，字節(jié)內(nèi)部也在研發(fā)AI生成視頻產(chǎn)品。
1月份，字節(jié)跳動(dòng)研究人員在arXiv上發(fā)表了一篇論文，其中介紹了字節(jié)正在開(kāi)發(fā)的一款文本生成視頻的模型，被命名為?MagicVideo-V2，其通過(guò)集成多個(gè)模塊，包括文本到圖像模型、視頻運(yùn)動(dòng)生成器、參考圖像嵌入模塊和插值模塊，實(shí)現(xiàn)從文字到視頻的自動(dòng)化生成。
MagicVideo-V2想要解決的問(wèn)題，是Runway、Pika等在生成視頻中所表現(xiàn)出來(lái)的保真度不高、運(yùn)動(dòng)不自然、分辨率不高、風(fēng)格不多樣等。
字節(jié)旗下產(chǎn)品剪映原有的“圖文成片”功能模塊，在進(jìn)行文生視頻轉(zhuǎn)換過(guò)程中，同樣面臨上述難題的拷問(wèn)。
在等待MagicVideo-V2完善研發(fā)，從demo走向量產(chǎn)上線之際，張楠在過(guò)去一個(gè)月多的用戶訪談中，收集到了更多來(lái)自一線創(chuàng)作者對(duì)AI生成視頻產(chǎn)品的不滿和期待，其中之一就包括部分創(chuàng)作者“為了更好表達(dá)自己的想法，幾乎無(wú)法用一個(gè)產(chǎn)品完成所有的創(chuàng)作，要橫跨幾個(gè)產(chǎn)品之間，用復(fù)雜的編輯和交互流程，才能完成他們的表達(dá)?！?/p>
去年8月，UP主數(shù)字生命卡茲克制作的一條爆款視頻《流浪地球3預(yù)告片》，便先后運(yùn)用了MidJourney和Runway等多款產(chǎn)品，且經(jīng)歷了長(zhǎng)達(dá)5天的后期剪輯拼接。
造成UP主數(shù)字生命卡茲克創(chuàng)作困難的主要原因，便出在AI軟件不夠智能和便捷上。Sora出現(xiàn)之前，業(yè)內(nèi)文生視頻的默認(rèn)方式是，只能輸出單一、且往往是靜止視角的短視頻片段，畫面背景還多呈現(xiàn)賽博朋克風(fēng)。
Sora出現(xiàn)之后，文生視頻領(lǐng)域的舊識(shí)被打破，不管多么復(fù)雜的視角、場(chǎng)景切換，都只用通過(guò)單一提示詞便可生成，在兼顧便捷性的同時(shí)，最大限度保證了生成內(nèi)容與真實(shí)物理世界的相關(guān)性。
Sora提示詞示例 圖源：官網(wǎng)截圖
字節(jié)和張楠規(guī)劃中AI視頻所應(yīng)具備的更高保真度生成效果、更清晰生成畫面、更順暢自然的邏輯理解能力等，率先被Sora一一實(shí)現(xiàn)。
需要注意的是，尚未對(duì)外開(kāi)放測(cè)試的Sora，眼下還存在諸多不完善之處，按其官方說(shuō)法，“仍然處于世界模型研究應(yīng)用的初期階段?！?/p>
Meta首席科學(xué)家楊立昆便直接質(zhì)疑Sora：“僅憑能夠根據(jù)提示生成逼真的視頻，并不能說(shuō)明系統(tǒng)真正理解了物理世界?！?/p>
OpenAI在官網(wǎng)介紹中也提醒道，Sora可能難以準(zhǔn)確模擬復(fù)雜場(chǎng)景的物理原理，并且可能無(wú)法理解因果關(guān)系，還可能混淆提示的空間細(xì)節(jié)，例如混淆左右，并且可能難以精確描述隨著時(shí)間推移發(fā)生的事件，例如遵循特定的相機(jī)軌跡。這些缺陷可能導(dǎo)致Sora生成一些不合邏輯的視頻，如一個(gè)人在跑步機(jī)上跑錯(cuò)方向。
這些尚未解決的Bug，是OpenAI決定暫未全面開(kāi)放Sora的原因之一。如今，OpenAI正選取部分用戶展開(kāi)內(nèi)測(cè)，以評(píng)估關(guān)鍵領(lǐng)域的潛在危害或風(fēng)險(xiǎn)，以期獲得寶貴反饋，進(jìn)而推動(dòng)模型進(jìn)步。
二
ChatGPT發(fā)布后，外界開(kāi)始意識(shí)到AGI時(shí)代有了實(shí)現(xiàn)的可能性，Sora等視頻生成模型，無(wú)疑是推動(dòng)AGI到來(lái)的重要加速器。
OpenAI直接在官網(wǎng)上寫道：“Sora為能夠理解和模擬真實(shí)世界的模型提供了基礎(chǔ)，我們相信這一能力將是實(shí)現(xiàn)AGI的重要里程碑?！?/p>
想要借助視頻生成模型，推動(dòng)AGI帶來(lái)的不止OpenAI一家公司。去年12月，Runway提出要開(kāi)發(fā)通用世界模型（General World Model），用旗下的視頻生成Gen-2來(lái)模擬整個(gè)世界，“我們相信，人工智能的下一個(gè)重大進(jìn)步將來(lái)自理解視覺(jué)世界及其動(dòng)態(tài)的系統(tǒng)，這就是為什么我們要圍繞通用世界模型開(kāi)始一項(xiàng)新的長(zhǎng)期研究工作?！?/p>
理解現(xiàn)實(shí)世界的物理法則，成為通往AGI的必經(jīng)之路。360創(chuàng)始人周鴻祎在點(diǎn)評(píng)Sora時(shí)直言，一旦AI接上攝像頭，把現(xiàn)存所有視頻都看一遍，其對(duì)世界的理解能力將遠(yuǎn)遠(yuǎn)超過(guò)文字學(xué)習(xí)?！斑@就離AGI真的不遠(yuǎn)了，不是10年20年的問(wèn)題，可能一兩年很快就可以實(shí)現(xiàn)?！?/p>
正是在AGI相關(guān)概念刺激之下，AI生圖和視頻領(lǐng)域的垂類大模型公司，估值迎來(lái)飆升，出現(xiàn)了Midjourney、Stability AI、Runway等一批明星獨(dú)角獸創(chuàng)業(yè)公司。
具體到字節(jié)跳動(dòng)的業(yè)務(wù)層面，圖片/視頻生成還能幫助提效字節(jié)的商業(yè)化需求，如幫助字節(jié)廣告客戶低成本、便捷地制作視頻。有字節(jié)人士告訴晚點(diǎn)PostLate，字節(jié)廣告客戶投放總成本里有10%-20%為視頻制作成本，從去年開(kāi)始，字節(jié)已在開(kāi)發(fā)一些相關(guān)產(chǎn)品幫廣告客戶壓縮這部分投入。
盡管在推出類似文生視頻產(chǎn)品方面落后一步，但對(duì)張楠來(lái)說(shuō)，反過(guò)來(lái)也迎來(lái)了一個(gè)摸著Sora過(guò)河的機(jī)會(huì)。
ChatGPT亮相之前，算法方面的短板，一度是行業(yè)研發(fā)對(duì)話大模型的主要障礙之一。人工智能專家丁磊博士解釋道，部分大模型創(chuàng)業(yè)公司“還不是那么會(huì)訓(xùn)練大模型……如果訓(xùn)練方法錯(cuò)的話，你有再多的GPU也沒(méi)用。”
在追趕Sora過(guò)程中，Pika創(chuàng)始人郭文景提到，目前生成式視頻發(fā)展的一個(gè)重要限制是算法的成熟度，“語(yǔ)言對(duì)話模型大家已經(jīng)知道大概的方法，算法相對(duì)比較成熟了。但視頻之前還沒(méi)有很好的算法。”
Sora的發(fā)布，無(wú)疑再次給行業(yè)提供了一個(gè)行之有效的解題思路，也給郭文景和張楠這樣的同領(lǐng)域創(chuàng)業(yè)者，提供了一條成熟的算法借鑒路線。
三
隨著Sora正式亮相，在上一波語(yǔ)言對(duì)話模型上落后的字節(jié)，在視頻領(lǐng)域再次陷入被動(dòng)追趕窘態(tài)。
2022年11月ChatGPT發(fā)布之后，百度、阿里等國(guó)內(nèi)大廠相繼在去年三四月份推出自研大模型文心一言和通義千問(wèn)，但直到8月份，字節(jié)才對(duì)外亮相了云雀大模型。
動(dòng)作遲緩的后果之一是，當(dāng)文心一言月活已經(jīng)破億后，字節(jié)同類產(chǎn)品“豆包”的月活，還不足千萬(wàn)。
在1月底的新一期All Hands（員工面對(duì)面）上，梁汝波著重以AI進(jìn)展緩慢說(shuō)明公司正在變得遲鈍的現(xiàn)況，稱 “公司層面的半年度技術(shù)回顧，直到2023年才開(kāi)始考慮GPT，而業(yè)內(nèi)做得比較好的大模型創(chuàng)業(yè)公司，都是在2018年至2021年創(chuàng)立的?！?/p>
字節(jié)關(guān)注大模型并不算晚。據(jù)晚點(diǎn)LatePost報(bào)道，2020年6月OpenAI發(fā)布GPT-3后，字節(jié)曾訓(xùn)練了一個(gè)數(shù)十億參數(shù)的生成式語(yǔ)言大模型，由于參數(shù)規(guī)模有限，該模型生成能力一般，字節(jié)當(dāng)時(shí)看不到它的商業(yè)化可能性，“ROI（投資回報(bào)率） 算不過(guò)來(lái)”，這次探索便淺嘗輒止。
如今選派張楠這樣一員大將用AI改造剪映，被外界視為是字節(jié)內(nèi)部希望提速AI發(fā)展的一個(gè)信號(hào)。
張楠
但在完成內(nèi)部調(diào)兵遣將之后，留給張楠的挑戰(zhàn)不只是追趕時(shí)間上的緊迫，還有外部芯片斷供所帶來(lái)的算力荒難題。
去年10月份，英偉達(dá)旗下A100、A800、H100、H800和L40S等五種GPU芯片禁令正式生效。對(duì)于一眾國(guó)內(nèi)大模型廠商而言，英偉達(dá)芯片的斷供，在客觀上成為其追趕ChatGPT乃至GPT-4的最大阻力。
在縮放法則（scaling laws）指導(dǎo)下，阿爾特曼提出了芯片需求每三四個(gè)月就要翻一番的大模型時(shí)代“摩爾定律”。這無(wú)疑再次拉高著張楠追趕Sora的門檻。
“對(duì)于國(guó)內(nèi)廠商而言，這種大力出奇跡的模式跑通之后，硅谷會(huì)進(jìn)入更為狂熱的算力軍備競(jìng)賽。字節(jié)們的算力短板會(huì)進(jìn)一步放大?！闭猩套C券研究員劉枋說(shuō)道。
參考資料：
《剪映全員信》張楠
《揭秘字節(jié)AI版圖：調(diào)集多位高管參戰(zhàn)，數(shù)款重磅產(chǎn)品內(nèi)測(cè)》Tech星球
《大廠大模型：久違的一把手工程》晚點(diǎn)LatePost
《“今天，所有VC的會(huì)上都在談Sora”》投中網(wǎng)
《Sora發(fā)布后，Pika創(chuàng)始人獨(dú)家回應(yīng)鈦媒體：很振奮，我們將直接沖》鈦媒體
