昆侖萬維推出全球首款A(yù)I短劇平臺SkyReels,短劇進(jìn)入“無人區(qū)”
和你說一個新鮮事——以后你所刷到的短劇,從臺前到幕后,可能都沒有“人”影了。在傳統(tǒng)模式里,一部短劇的生產(chǎn)鏈條,從劇本研發(fā)、制作到發(fā)行,每一個環(huán)節(jié)里都站滿了“人”,而現(xiàn)在因為AI的出現(xiàn),可能只需要一個會在屏幕面前擺動鼠標(biāo)的導(dǎo)演,就能完成所有的流程。(傳統(tǒng)模式下的短劇生產(chǎn)流程)8月19日,昆侖萬維發(fā)布全球首個集成視頻大模型與3D大模型的AI短劇平臺SkyReels。SkyReels平臺集劇本生成、角色定制、分鏡、劇情、對白/BGM及影片合成于一體,讓創(chuàng)作者“一鍵成劇”,輕松制作高質(zhì)量AI視頻。昆侖萬維AI短劇平臺SkyReels的推出,標(biāo)志著全球AI短劇創(chuàng)作實現(xiàn)了一次重大的技術(shù)飛躍。也就是說,不需要請演員、找場地,借用AI的力量,打開SkyReels,操作一下鍵盤,就能制做出一部短劇了。AI做短劇,開始跨入“無人區(qū)”。昆侖萬維布局AI短劇的野心:做顛覆原有生產(chǎn)模式的新物種出海做短劇,并不是一件新鮮事。2022年,中文在線的短劇產(chǎn)品ReelShort上線,一年后便登上美國iOS娛樂榜免費(fèi)第1名,不久后,ShortTV、DramaBox等后起之秀也持續(xù)輸出爆款短劇。它們的題材以霸總、愛情、狼人為主,ReelShort爆款短劇《The Double Life of My Billionaire Husband》就包含了“英雄救美”、“財產(chǎn)爭奪”等環(huán)節(jié)。(ReelShort爆款短劇《The Double Life of My Billionaire Husband》劇情解析)這類短劇通常都是本土原創(chuàng),即出海團(tuán)隊需要結(jié)合本土文化和用戶興趣,創(chuàng)作出符合當(dāng)?shù)赜脩魧徝榔肺兜膭”?,它們能夠精?zhǔn)地捕捉令當(dāng)?shù)厝恕吧项^”的劇情爽點(diǎn)。
這些短劇的核心問題在于,需要足夠了解并鉆研本土文化、制作周期較長,并且需要耗費(fèi)一定的成本在尋找本土演員上。
其實,初始的出海短劇模式十分簡單粗暴,它們通常直接將中國本土的爽劇進(jìn)行字幕翻譯后,便在當(dāng)?shù)夭コ?,為了減少違和感,一些出海團(tuán)隊會利用AI對短劇的演員口型進(jìn)行優(yōu)化,看上去像是“頂著一張中國面孔的演員在用英文講臺詞”,但一些觀眾依舊覺得生硬,就像我們在中國看歐美影視劇時,見到藍(lán)眼碧發(fā)的歐美人用著奇怪的口吻講中文一樣,很難讓觀眾有真正的代入感。于是,一些出海團(tuán)隊會使用AI對短劇中的演員進(jìn)行“換臉”,這樣就更能讓當(dāng)?shù)厝私邮堋?梢?,過去的出海團(tuán)隊為了做出一部受歡迎的短劇,會想出各種“招”,燒了不少腦部CPU。那么,在大模型時代,有沒有一款短劇產(chǎn)品,能夠打破文化差異、不受語言限制,將所有環(huán)節(jié)都用AI來解決?正好在ReelShort出海的同一年,昆侖萬維看準(zhǔn)
AIGC
的系統(tǒng)性機(jī)會,通過對移動互聯(lián)網(wǎng)時代的成功模式進(jìn)行復(fù)盤,發(fā)現(xiàn)密碼就在于“免費(fèi)+To C”模式,而觀察至今依舊還活得很好的“巨頭”公司,會發(fā)現(xiàn)不少都將某個垂類做到了極致。昆侖萬維董事長兼CEO方漢據(jù)此判斷,可以遵循這一套邏輯出擊AIGC市場。昆侖萬維想到了“AI
UGC
”策略,先從C端的高頻場景出手,比如探索網(wǎng)文、短劇、動畫、音樂等細(xì)分賽道的獨(dú)角獸畫像。其中,短劇也成為了昆侖萬維高層的重要選項,他們希望能將做出一款顛覆原有短劇生產(chǎn)模式的新物種。AI短劇平臺SkyReels也在這樣的邏輯之下誕生,它是由AI驅(qū)動的一站式短劇視頻創(chuàng)作平臺,從劇本生成、角色生成、分鏡頭融合到最后的短劇生成,從頭到尾都由AI生成??傮w而言,SkyReels就像導(dǎo)演的AI Agent一樣,可以將一個簡單的創(chuàng)意變成一部短劇。從頭到尾都是Agent以
Sora
為代表的AI視頻生成模型出現(xiàn)后,國內(nèi)外也有很多玩家陸續(xù)推出視頻生成大模型,比如Pixverse、
快手可靈
、智影清源,同時也出現(xiàn)了一批使用這些大模型制作影視作品的新興導(dǎo)演。雖然使用這些模型能獲得不錯的視頻生成效果,但想做一部成熟的影片,對使用者本身的專業(yè)能力依舊有一定要求,他們需要具備較高的編劇能力和藝術(shù)審美能力。比如,使用者需要事先做好構(gòu)圖、想像出想要的鏡頭畫面,再使用包含專業(yè)術(shù)語的prompt在
Midjourney
等產(chǎn)品上調(diào)試出滿意的圖片,隨后導(dǎo)入進(jìn)視頻生成產(chǎn)品中做鏡頭調(diào)整,最后導(dǎo)出作品。雖然這些工具也大大縮短了影視作品的制作鏈條,但它們面向的更多是
PUGC
群體,而SkyReels的使用門檻更低,整個操作流程簡單智能,輸入一個創(chuàng)意,接下來的可以都交給AI,
相比而言,SkyReels作為全球首款A(yù)I短劇平臺,是一款受眾群體更大的UGC產(chǎn)品。
(SkyReels產(chǎn)品演示)SkyReels是全球首個混合3D引擎和生成式AI的視頻創(chuàng)作平臺,使用流程也十分簡單,選擇創(chuàng)作短片之后,輸入創(chuàng)意,可以選擇想要的視頻風(fēng)格,比如動漫風(fēng)格、現(xiàn)實主義、吉卜力風(fēng)格等,就能一鍵生成劇本。系統(tǒng)會根據(jù)劇本故事需要,自動生成角色,隨后用戶便可以查看自動生成的分鏡劇本,再將其一鍵轉(zhuǎn)化為視頻,并能夠自動將內(nèi)容轉(zhuǎn)換為
1080P 60幀
的高清視頻;
單次可生成視頻長度達(dá)180秒
,相比Sora單次可生成60秒視頻、可靈單次可生成10秒視頻,有顯著突破。(傳統(tǒng)的短劇生成模式 VS SkyReels生成)整體來看,一個短劇的完整生產(chǎn)鏈,涵蓋劇本生成、角色定制、分鏡生成、劇集拍攝和后期生成,而SkyReels用三個自研大模型就能提升這條生產(chǎn)鏈的效率。
在內(nèi)容研發(fā)流程中,傳統(tǒng)的短劇生產(chǎn)方式,
是從現(xiàn)成的網(wǎng)絡(luò)小說中選取部分章節(jié),再根據(jù)短劇的特點(diǎn)做改編,需要編劇能夠結(jié)合受眾的興趣,巧妙設(shè)置劇情的轉(zhuǎn)折點(diǎn),這樣才能提升用戶對下一個章節(jié)付費(fèi)的意愿。SkyReels在這個環(huán)節(jié)利用自研劇本大模型
SkyScript
,替代了傳統(tǒng)短劇人工式的內(nèi)容研發(fā)。昆侖萬維首先構(gòu)建了億級的高質(zhì)量短劇結(jié)構(gòu)化數(shù)據(jù)集SkyScript-100M,該數(shù)據(jù)集針對海量精彩短劇的劇情節(jié)奏、爽點(diǎn)、情緒變化進(jìn)行了高質(zhì)量標(biāo)注;此外,算法團(tuán)隊設(shè)計了漸進(jìn)式生成的劇本生成框架,實現(xiàn)了模型能夠輸出高度結(jié)構(gòu)化的精彩劇本,不論是新手還是資深編劇,都可以通過這套模型創(chuàng)作出吸引人的短劇劇本。(SkyScript劇本大模型技術(shù)原理圖)擁有一個動人的故事之后,下一步是將這些故事轉(zhuǎn)化成分鏡頭劇本,在傳統(tǒng)的生產(chǎn)模式中,這個環(huán)節(jié)需要邀請演員、線下設(shè)置場景,導(dǎo)演需要和演員溝通要領(lǐng),再進(jìn)行拍攝,涉及到人力和布景成本。但這些都可以通過AI大模型替代,SkyReels在這個環(huán)節(jié)使用的是昆侖萬維
自研分鏡大模型StoryboardGen,
該模型對影視動畫數(shù)據(jù)進(jìn)行逆向處理,從而得到高質(zhì)量的工業(yè)級分鏡數(shù)據(jù)集,并且設(shè)計了分鏡多智能體框架,高質(zhì)量實現(xiàn)場景、鏡頭、角色和動作的生成。在圖像生成效果上,昆侖萬維使用自研首創(chuàng)的DiT-Moe模型,提升圖像質(zhì)量。就如在正式拍攝的過程中一樣,需要將分鏡頭有機(jī)融合在一起,才能得到一個完整的故事體系。
SkyReels使用WorldEngine,它是業(yè)界首個將AI 3D引擎與視頻大模型深度融合的創(chuàng)新平臺,實現(xiàn)了3D 生成、視頻生成、3D與視頻混合創(chuàng)作
。WorldEngine創(chuàng)新平臺包含多個子環(huán)節(jié),每個環(huán)節(jié)又分別使用了不同的模型。
在3D生成模塊中,
使用的是自研的Sky3DGen大模型,它能夠生成多樣化的3D元素和場景,從自然景觀到未來都市,從靜態(tài)物體到動態(tài)角色,并且提供了實時的3D場景交互能力,使得用戶可以即時看到調(diào)整和編輯的效果,加快創(chuàng)作流程。在WorldEngine的加持下,用戶可以構(gòu)建3D虛擬影棚,實現(xiàn)虛擬拍攝體驗。
在3D與視頻混合創(chuàng)作模塊,昆侖萬維以圖層融合技術(shù)為核心,打造3D與視頻混合創(chuàng)作模式。視頻中的任意元素都可以自由選擇使用3DAI引擎生成或者視頻大模型生成。此外,針對混合中遇到的光照和風(fēng)格差異細(xì)節(jié),昆侖萬維單獨(dú)訓(xùn)練了融合生成模型,使得圖層融合后的視頻呈現(xiàn)較好的一致性。
由于引擎的使用,與傳統(tǒng)的視頻生成相比,WorldEngine實現(xiàn)了成本下降,同時,生成速度也提升了數(shù)個量級。雖然一個短視頻到這里基本完成生成了,但常常刷劇的群體也會感受到,好的臺詞功底和BGM對劇情的展示,有著事半功倍的效果。在臺詞上,SkyReels的AI文本理解技術(shù),經(jīng)過上萬本小說的深度學(xué)習(xí),能夠自動化地從文本中識別角色對話、情感表達(dá),并預(yù)測出合理的句間停頓。在旁白方面SkyReels通過情感化語音合成技術(shù),幫助旁白用抑揚(yáng)頓挫的韻律,讓角色對話充滿豐富充沛的情感。昆侖萬維透露,SkyReels的智能體不僅能理解文字,更能智能分析劇本中的場景氛圍,“基于先進(jìn)的多模態(tài)檢索和背景音樂(BGM)生成能力,我們能夠為視頻智能配上合理的背景音樂,讓每一幀畫面都與音樂完美融合。”昆侖萬維AI短劇平臺SkyReels這一革命性的工具,有望帶來AI短劇用戶生成內(nèi)容(UGC)與專業(yè)用戶生成內(nèi)容(PUGC)的爆發(fā)式增長,為短劇內(nèi)容生態(tài)注入前所未有的活力,推動短劇內(nèi)容創(chuàng)作與消費(fèi)市場的進(jìn)一步快速增長。一個由AI技術(shù)驅(qū)動的短劇創(chuàng)作與消費(fèi)的時代,正在到來。昆侖萬維AI UGC的全球布局國海證券研報提到,AI有望提高短劇產(chǎn)能,降低成本。短劇出海市場空間保守預(yù)測約為360億美元。SkyReels是昆侖萬維出海布局策略中的一個縮影,背后是他們All in AIGC的戰(zhàn)略思考。2020年,昆侖萬維創(chuàng)始人周亞輝就看到了AIGC的潛力,他們預(yù)判AI體系之下將會迎來新的內(nèi)容的黃金時代。昆侖萬維董事長兼CEO方漢回顧移動互聯(lián)網(wǎng)時代的機(jī)遇,總結(jié)爆紅內(nèi)容產(chǎn)品的規(guī)律,發(fā)現(xiàn)大多數(shù)都是“免費(fèi)+To C”的模式,因為群體基數(shù)足夠大,只要產(chǎn)品能夠戳中用戶的需求點(diǎn),就能獲得指數(shù)級的用戶增長,打造“AI UGC”平臺成為昆侖萬維的核心策略,即給1%的內(nèi)容創(chuàng)作者提供服務(wù)、讓99%的用戶消費(fèi)內(nèi)容。那么,AIGC時代爆紅的產(chǎn)品畫像是怎樣的?方漢認(rèn)為,適配AI的端側(cè)新硬件、新手機(jī)誕生的時候,或許就是AIGC獲得顛覆性成果的時候,但這個過程還需要3~5年,而當(dāng)下的核心任務(wù)是找準(zhǔn)機(jī)會點(diǎn),做好預(yù)判并占據(jù)AIGC的風(fēng)口。按照移動互聯(lián)網(wǎng)時代的規(guī)律,每個國家都可能有自己的超級App,也可能一個超級App同時在多個國家劃分地盤。方漢經(jīng)過一番思考后,認(rèn)為應(yīng)該先占據(jù)用戶性價比和接受程度高的國家,比如歐美、日韓和中國,再逐步擴(kuò)散到中東、東南亞、南美等地區(qū)。圈定國家之后,昆侖萬維的管理層開始思考能夠誕生超級App的垂類,他們不斷問自己“怎么樣才能變成巨頭?”上一個時代至今還活著的內(nèi)容巨頭,基本都深耕某一個垂直娛樂品類,比如網(wǎng)文、短劇、動畫,同樣的邏輯在AIGC上也會重演。目前,昆侖萬維已經(jīng)針對“AI UGC”策略在國內(nèi)進(jìn)行系統(tǒng)布局,在大模型、AI搜索、AI音樂等板塊均已構(gòu)建產(chǎn)品矩陣。其中,昆侖萬維的大模型已歷經(jīng)多次迭代:2月份推出新版
MoE
大語言模型“天工2.0”與新版“天工AI智能助手”APP;4月份“天工3.0”基座大模型與“天工SkyMusic”音樂大模型正式開啟公測;6月份昆侖萬維開源開源隸屬于“天工3.0”的 2 千億稀疏大模型 Skywork-MoE,在
OpenAI
宣稱封鎖來自非支持國家和地區(qū)的API流量時,天工開放平臺面向OpenAl API用戶推出“一鍵搬家計劃”,并提供1.5億Tokens的API調(diào)用資源,其中就包括天工2.0及天工3.0大模型。在迭代大模型的同時,AI搜索也進(jìn)入方漢的重點(diǎn)關(guān)注范疇,昆侖萬維早于OpenAI的SearchGPT一年時間布局AI搜索,并在今年對搜索產(chǎn)品進(jìn)行升級,支持搜索文本、圖片、視頻等板塊,用戶可將結(jié)果以思維導(dǎo)圖、表格、大綱等形式呈現(xiàn),并能保存大綱及思維導(dǎo)圖直接生成PPT。除了產(chǎn)品層面,昆侖萬維耶聯(lián)合國際高校,開源數(shù)字智能體研發(fā)工具包AgentStudio,為研究人員和開發(fā)者提供覆蓋智能體完整開發(fā)流程的綜合性平臺。不論國內(nèi)還是海外,每一個語言體系都需要有自己的一套產(chǎn)品,昆侖萬維相信,AIGC平臺在全球的紅利期即將到來。
昆侖萬維推出全球首款A(yù)I短劇平臺SkyReels,短劇進(jìn)入“無人區(qū)”!
5月27日,昆侖萬維集團(tuán)在公眾號宣布,其產(chǎn)品天工AI的日活躍用戶數(shù)突破100萬,展現(xiàn)出用戶對該平臺的高度熱情
2024-05-27 15:47:02昆侖萬維:天工AI日活用戶超過100萬近期,國產(chǎn)第一款3A游戲《黑神話:悟空》的上線,激起了一股“西游熱”和人人爭當(dāng)“悟空”的激情。
2024-09-03 21:59:01張?zhí)鞇叟亩虅?/span>昆侖萬維回應(yīng)OpenAI對中國API停服 對公司影響不大
2024-06-26 17:34:52昆侖萬維回應(yīng)OpenAI對中國API停服豎屏短劇作為一種新興的文化傳播形式,正在全球范圍內(nèi)迅速崛起,成為中華文化輸出的新窗口。
2024-06-04 15:47:53周星馳王晶請注意4月17日,昆侖萬維發(fā)布重要消息:其自主研發(fā)的“天工3.0”基座大模型及“天工SkyMusic”音樂大模型已面向公眾開放公測
2024-04-17 15:00:08昆侖萬維宣布天工3.0大模型開啟公測近期,“王媽”這一角色因在手機(jī)社交平臺上頻繁為職場人士發(fā)聲而受到廣泛關(guān)注
2024-06-04 09:29:21王媽被指無資質(zhì)短劇已完成備案