电竞下注-中国电竞赛事及体育赛事平台

中華網(wǎng) china.com

新聞

昆侖萬維推出全球首款AI短劇平臺SkyReels,短劇進入“無人區(qū)”

關鍵詞:
2024-08-19 13:36:29  人民號

昆侖萬維推出全球首款AI短劇平臺SkyReels,短劇進入“無人區(qū)”

和你說一個新鮮事——以后你所刷到的短劇,從臺前到幕后,可能都沒有“人”影了。在傳統(tǒng)模式里,一部短劇的生產鏈條,從劇本研發(fā)、制作到發(fā)行,每一個環(huán)節(jié)里都站滿了“人”,而現(xiàn)在因為AI的出現(xiàn),可能只需要一個會在屏幕面前擺動鼠標的導演,就能完成所有的流程。(傳統(tǒng)模式下的短劇生產流程)8月19日,昆侖萬維發(fā)布全球首個集成視頻大模型與3D大模型的AI短劇平臺SkyReels。SkyReels平臺集劇本生成、角色定制、分鏡、劇情、對白/BGM及影片合成于一體,讓創(chuàng)作者“一鍵成劇”,輕松制作高質量AI視頻。昆侖萬維AI短劇平臺SkyReels的推出,標志著全球AI短劇創(chuàng)作實現(xiàn)了一次重大的技術飛躍。也就是說,不需要請演員、找場地,借用AI的力量,打開SkyReels,操作一下鍵盤,就能制做出一部短劇了。AI做短劇,開始跨入“無人區(qū)”。昆侖萬維布局AI短劇的野心:做顛覆原有生產模式的新物種出海做短劇,并不是一件新鮮事。2022年,中文在線的短劇產品ReelShort上線,一年后便登上美國iOS娛樂榜免費第1名,不久后,ShortTV、DramaBox等后起之秀也持續(xù)輸出爆款短劇。它們的題材以霸總、愛情、狼人為主,ReelShort爆款短劇《The Double Life of My Billionaire Husband》就包含了“英雄救美”、“財產爭奪”等環(huán)節(jié)。(ReelShort爆款短劇《The Double Life of My Billionaire Husband》劇情解析)這類短劇通常都是本土原創(chuàng),即出海團隊需要結合本土文化和用戶興趣,創(chuàng)作出符合當?shù)赜脩魧徝榔肺兜膭”?,它們能夠精準地捕捉令當?shù)厝恕吧项^”的劇情爽點。

這些短劇的核心問題在于,需要足夠了解并鉆研本土文化、制作周期較長,并且需要耗費一定的成本在尋找本土演員上。

其實,初始的出海短劇模式十分簡單粗暴,它們通常直接將中國本土的爽劇進行字幕翻譯后,便在當?shù)夭コ觯瑸榱藴p少違和感,一些出海團隊會利用AI對短劇的演員口型進行優(yōu)化,看上去像是“頂著一張中國面孔的演員在用英文講臺詞”,但一些觀眾依舊覺得生硬,就像我們在中國看歐美影視劇時,見到藍眼碧發(fā)的歐美人用著奇怪的口吻講中文一樣,很難讓觀眾有真正的代入感。于是,一些出海團隊會使用AI對短劇中的演員進行“換臉”,這樣就更能讓當?shù)厝私邮堋?梢?,過去的出海團隊為了做出一部受歡迎的短劇,會想出各種“招”,燒了不少腦部CPU。那么,在大模型時代,有沒有一款短劇產品,能夠打破文化差異、不受語言限制,將所有環(huán)節(jié)都用AI來解決?正好在ReelShort出海的同一年,昆侖萬維看準

AIGC

的系統(tǒng)性機會,通過對移動互聯(lián)網(wǎng)時代的成功模式進行復盤,發(fā)現(xiàn)密碼就在于“免費+To C”模式,而觀察至今依舊還活得很好的“巨頭”公司,會發(fā)現(xiàn)不少都將某個垂類做到了極致。昆侖萬維董事長兼CEO方漢據(jù)此判斷,可以遵循這一套邏輯出擊AIGC市場。昆侖萬維想到了“AI

UGC

”策略,先從C端的高頻場景出手,比如探索網(wǎng)文、短劇、動畫、音樂等細分賽道的獨角獸畫像。其中,短劇也成為了昆侖萬維高層的重要選項,他們希望能將做出一款顛覆原有短劇生產模式的新物種。AI短劇平臺SkyReels也在這樣的邏輯之下誕生,它是由AI驅動的一站式短劇視頻創(chuàng)作平臺,從劇本生成、角色生成、分鏡頭融合到最后的短劇生成,從頭到尾都由AI生成??傮w而言,SkyReels就像導演的AI Agent一樣,可以將一個簡單的創(chuàng)意變成一部短劇。從頭到尾都是Agent以

Sora

為代表的AI視頻生成模型出現(xiàn)后,國內外也有很多玩家陸續(xù)推出視頻生成大模型,比如Pixverse、

快手可靈

、智影清源,同時也出現(xiàn)了一批使用這些大模型制作影視作品的新興導演。雖然使用這些模型能獲得不錯的視頻生成效果,但想做一部成熟的影片,對使用者本身的專業(yè)能力依舊有一定要求,他們需要具備較高的編劇能力和藝術審美能力。比如,使用者需要事先做好構圖、想像出想要的鏡頭畫面,再使用包含專業(yè)術語的prompt在

Midjourney

等產品上調試出滿意的圖片,隨后導入進視頻生成產品中做鏡頭調整,最后導出作品。雖然這些工具也大大縮短了影視作品的制作鏈條,但它們面向的更多是

PUGC

群體,而SkyReels的使用門檻更低,整個操作流程簡單智能,輸入一個創(chuàng)意,接下來的可以都交給AI,

相比而言,SkyReels作為全球首款AI短劇平臺,是一款受眾群體更大的UGC產品。

(SkyReels產品演示)SkyReels是全球首個混合3D引擎和生成式AI的視頻創(chuàng)作平臺,使用流程也十分簡單,選擇創(chuàng)作短片之后,輸入創(chuàng)意,可以選擇想要的視頻風格,比如動漫風格、現(xiàn)實主義、吉卜力風格等,就能一鍵生成劇本。系統(tǒng)會根據(jù)劇本故事需要,自動生成角色,隨后用戶便可以查看自動生成的分鏡劇本,再將其一鍵轉化為視頻,并能夠自動將內容轉換為

1080P 60幀

的高清視頻;

單次可生成視頻長度達180秒

,相比Sora單次可生成60秒視頻、可靈單次可生成10秒視頻,有顯著突破。(傳統(tǒng)的短劇生成模式 VS SkyReels生成)整體來看,一個短劇的完整生產鏈,涵蓋劇本生成、角色定制、分鏡生成、劇集拍攝和后期生成,而SkyReels用三個自研大模型就能提升這條生產鏈的效率。

在內容研發(fā)流程中,傳統(tǒng)的短劇生產方式,

是從現(xiàn)成的網(wǎng)絡小說中選取部分章節(jié),再根據(jù)短劇的特點做改編,需要編劇能夠結合受眾的興趣,巧妙設置劇情的轉折點,這樣才能提升用戶對下一個章節(jié)付費的意愿。SkyReels在這個環(huán)節(jié)利用自研劇本大模型

SkyScript

,替代了傳統(tǒng)短劇人工式的內容研發(fā)。昆侖萬維首先構建了億級的高質量短劇結構化數(shù)據(jù)集SkyScript-100M,該數(shù)據(jù)集針對海量精彩短劇的劇情節(jié)奏、爽點、情緒變化進行了高質量標注;此外,算法團隊設計了漸進式生成的劇本生成框架,實現(xiàn)了模型能夠輸出高度結構化的精彩劇本,不論是新手還是資深編劇,都可以通過這套模型創(chuàng)作出吸引人的短劇劇本。(SkyScript劇本大模型技術原理圖)擁有一個動人的故事之后,下一步是將這些故事轉化成分鏡頭劇本,在傳統(tǒng)的生產模式中,這個環(huán)節(jié)需要邀請演員、線下設置場景,導演需要和演員溝通要領,再進行拍攝,涉及到人力和布景成本。但這些都可以通過AI大模型替代,SkyReels在這個環(huán)節(jié)使用的是昆侖萬維

自研分鏡大模型StoryboardGen,

該模型對影視動畫數(shù)據(jù)進行逆向處理,從而得到高質量的工業(yè)級分鏡數(shù)據(jù)集,并且設計了分鏡多智能體框架,高質量實現(xiàn)場景、鏡頭、角色和動作的生成。在圖像生成效果上,昆侖萬維使用自研首創(chuàng)的DiT-Moe模型,提升圖像質量。就如在正式拍攝的過程中一樣,需要將分鏡頭有機融合在一起,才能得到一個完整的故事體系。

SkyReels使用WorldEngine,它是業(yè)界首個將AI 3D引擎與視頻大模型深度融合的創(chuàng)新平臺,實現(xiàn)了3D 生成、視頻生成、3D與視頻混合創(chuàng)作

。WorldEngine創(chuàng)新平臺包含多個子環(huán)節(jié),每個環(huán)節(jié)又分別使用了不同的模型。

在3D生成模塊中,

使用的是自研的Sky3DGen大模型,它能夠生成多樣化的3D元素和場景,從自然景觀到未來都市,從靜態(tài)物體到動態(tài)角色,并且提供了實時的3D場景交互能力,使得用戶可以即時看到調整和編輯的效果,加快創(chuàng)作流程。在WorldEngine的加持下,用戶可以構建3D虛擬影棚,實現(xiàn)虛擬拍攝體驗。

在3D與視頻混合創(chuàng)作模塊,昆侖萬維以圖層融合技術為核心,打造3D與視頻混合創(chuàng)作模式。視頻中的任意元素都可以自由選擇使用3DAI引擎生成或者視頻大模型生成。此外,針對混合中遇到的光照和風格差異細節(jié),昆侖萬維單獨訓練了融合生成模型,使得圖層融合后的視頻呈現(xiàn)較好的一致性。

由于引擎的使用,與傳統(tǒng)的視頻生成相比,WorldEngine實現(xiàn)了成本下降,同時,生成速度也提升了數(shù)個量級。雖然一個短視頻到這里基本完成生成了,但常常刷劇的群體也會感受到,好的臺詞功底和BGM對劇情的展示,有著事半功倍的效果。在臺詞上,SkyReels的AI文本理解技術,經(jīng)過上萬本小說的深度學習,能夠自動化地從文本中識別角色對話、情感表達,并預測出合理的句間停頓。在旁白方面SkyReels通過情感化語音合成技術,幫助旁白用抑揚頓挫的韻律,讓角色對話充滿豐富充沛的情感。昆侖萬維透露,SkyReels的智能體不僅能理解文字,更能智能分析劇本中的場景氛圍,“基于先進的多模態(tài)檢索和背景音樂(BGM)生成能力,我們能夠為視頻智能配上合理的背景音樂,讓每一幀畫面都與音樂完美融合?!崩鋈f維AI短劇平臺SkyReels這一革命性的工具,有望帶來AI短劇用戶生成內容(UGC)與專業(yè)用戶生成內容(PUGC)的爆發(fā)式增長,為短劇內容生態(tài)注入前所未有的活力,推動短劇內容創(chuàng)作與消費市場的進一步快速增長。一個由AI技術驅動的短劇創(chuàng)作與消費的時代,正在到來。昆侖萬維AI UGC的全球布局國海證券研報提到,AI有望提高短劇產能,降低成本。短劇出海市場空間保守預測約為360億美元。SkyReels是昆侖萬維出海布局策略中的一個縮影,背后是他們All in AIGC的戰(zhàn)略思考。2020年,昆侖萬維創(chuàng)始人周亞輝就看到了AIGC的潛力,他們預判AI體系之下將會迎來新的內容的黃金時代。昆侖萬維董事長兼CEO方漢回顧移動互聯(lián)網(wǎng)時代的機遇,總結爆紅內容產品的規(guī)律,發(fā)現(xiàn)大多數(shù)都是“免費+To C”的模式,因為群體基數(shù)足夠大,只要產品能夠戳中用戶的需求點,就能獲得指數(shù)級的用戶增長,打造“AI UGC”平臺成為昆侖萬維的核心策略,即給1%的內容創(chuàng)作者提供服務、讓99%的用戶消費內容。那么,AIGC時代爆紅的產品畫像是怎樣的?方漢認為,適配AI的端側新硬件、新手機誕生的時候,或許就是AIGC獲得顛覆性成果的時候,但這個過程還需要3~5年,而當下的核心任務是找準機會點,做好預判并占據(jù)AIGC的風口。按照移動互聯(lián)網(wǎng)時代的規(guī)律,每個國家都可能有自己的超級App,也可能一個超級App同時在多個國家劃分地盤。方漢經(jīng)過一番思考后,認為應該先占據(jù)用戶性價比和接受程度高的國家,比如歐美、日韓和中國,再逐步擴散到中東、東南亞、南美等地區(qū)。圈定國家之后,昆侖萬維的管理層開始思考能夠誕生超級App的垂類,他們不斷問自己“怎么樣才能變成巨頭?”上一個時代至今還活著的內容巨頭,基本都深耕某一個垂直娛樂品類,比如網(wǎng)文、短劇、動畫,同樣的邏輯在AIGC上也會重演。目前,昆侖萬維已經(jīng)針對“AI UGC”策略在國內進行系統(tǒng)布局,在大模型、AI搜索、AI音樂等板塊均已構建產品矩陣。其中,昆侖萬維的大模型已歷經(jīng)多次迭代:2月份推出新版

MoE

大語言模型“天工2.0”與新版“天工AI智能助手”APP;4月份“天工3.0”基座大模型與“天工SkyMusic”音樂大模型正式開啟公測;6月份昆侖萬維開源開源隸屬于“天工3.0”的 2 千億稀疏大模型 Skywork-MoE,在

OpenAI

宣稱封鎖來自非支持國家和地區(qū)的API流量時,天工開放平臺面向OpenAl API用戶推出“一鍵搬家計劃”,并提供1.5億Tokens的API調用資源,其中就包括天工2.0及天工3.0大模型。在迭代大模型的同時,AI搜索也進入方漢的重點關注范疇,昆侖萬維早于OpenAI的SearchGPT一年時間布局AI搜索,并在今年對搜索產品進行升級,支持搜索文本、圖片、視頻等板塊,用戶可將結果以思維導圖、表格、大綱等形式呈現(xiàn),并能保存大綱及思維導圖直接生成PPT。除了產品層面,昆侖萬維耶聯(lián)合國際高校,開源數(shù)字智能體研發(fā)工具包AgentStudio,為研究人員和開發(fā)者提供覆蓋智能體完整開發(fā)流程的綜合性平臺。不論國內還是海外,每一個語言體系都需要有自己的一套產品,昆侖萬維相信,AIGC平臺在全球的紅利期即將到來。

昆侖萬維推出全球首款AI短劇平臺SkyReels,短劇進入“無人區(qū)”!

(責任編輯:盧其龍 CN070)
關閉

女特警一槍打滅蠟燭火苗 98年神槍手展示驚人技藝

女特警一槍打滅蠟燭火苗2024-09-11 14:14:00

美媒:裝備欠缺人數(shù)不足,烏克蘭軍隊正面臨士氣低落和臨陣脫逃的困境

美媒:裝備欠缺人數(shù)不足,烏克蘭軍隊正面臨士氣低落和臨陣脫逃的困境2024-09-09 10:35:08

伊拉克防長:以美國為首聯(lián)軍將在兩年內撤出,“美方提議三年被否”

伊拉克防長:以美國為首聯(lián)軍將在兩年內撤出,“美方提議三年被否”2024-09-10 09:41:25

蘋果16Pro新跑分出爐 A18 Pro芯片性能飛躍

蘋果16Pro新跑分出爐2024-09-11 14:04:51

華為Mate70將帶來多維度升級:AI影像革新值得期待

華為mate70將帶來多維度升級2024-09-11 14:05:11

外媒:美國眾議院共和黨人發(fā)布報告,嚴厲批評拜登政府在阿富汗撤軍中失敗表現(xiàn)

外媒:美國眾議院共和黨人發(fā)布報告,嚴厲批評拜登政府在阿富汗撤軍中失敗表現(xiàn)2024-09-09 10:34:40

軍事預算缺口大,前線人員裝備少,澤連斯基將赴美見拜登爭取援助

軍事預算缺口大,前線人員裝備少,澤連斯基將赴美見拜登爭取援助2024-09-10 09:55:19

個人記大功,賽場上的王曼昱收獲新榮譽,迄今收獲11個世界冠軍

個人記大功,賽場上的王曼昱收獲新榮譽,迄今收獲11個世界冠軍2024-09-11 14:11:32

伊朗200枚彈道導彈抵達俄羅斯?伊朗否認

伊朗200枚彈道導彈抵達俄羅斯?伊朗否認2024-09-10 09:31:54

廢除老牌護衛(wèi)艦隊,日本海上自衛(wèi)隊大整編用意何為?

廢除老牌護衛(wèi)艦隊,日本海上自衛(wèi)隊大整編用意何為?2024-09-09 10:40:54

人民日報:國足主帥一將無能累死三軍 有人應該擔責

人民日報:國足主帥一將無能累死三軍2024-09-11 14:08:04

國足主帥陷入信任危機 兩連敗后路在何方?

國足主帥陷入信任危機2024-09-11 14:03:43

俱樂部稱張繼科正常授課 辟謠跑路傳聞

俱樂部稱張繼科正常授課2024-09-11 14:11:11

外媒:約旦河西岸與約旦交界的一陸路口岸發(fā)生槍擊,3名以色列人死亡,內塔尼亞胡發(fā)聲

外媒:約旦河西岸與約旦交界的一陸路口岸發(fā)生槍擊,3名以色列人死亡,內塔尼亞胡發(fā)聲2024-09-09 10:38:01

臺灣一“震懾武器”翻車:“今年年底能出去,都已經(jīng)是奇跡了”

臺灣一“震懾武器”翻車:“今年年底能出去,都已經(jīng)是奇跡了”2024-09-10 09:28:33

8場比賽輸了一半!“五星巴西”真的要為進軍世界杯而戰(zhàn)了

8場比賽輸了一半!“五星巴西”真的要為進軍世界杯而戰(zhàn)了2024-09-11 14:09:31

23歲女孩帶著殘疾媽媽上大學 宿舍變溫暖小家,共筑求學夢

23歲女孩帶著殘疾媽媽上大學2024-09-11 14:10:45

美航母艦長談紅海戰(zhàn)斗:很艱難 但士氣是最重要的

美航母艦長談紅海戰(zhàn)斗:很艱難 但士氣是最重要的2024-09-10 09:32:25

供烏武器收益大部分留在美國 軍工復合體最大限度獲利!

供烏武器收益大部分留在美國 軍工復合體最大限度獲利!2024-09-09 10:03:56

現(xiàn)在,特朗普自曝非常不開心

現(xiàn)在,特朗普自曝非常不開心2024-09-10 09:26:09

接力傳遞里斯本丸沉沒真相 漁民舍命救人 英魂終得安息

接力傳遞里斯本丸沉沒真相2024-09-11 14:08:39

葛曉倩回應與袁巴元分手協(xié)議 時間線存疑點

葛曉倩回應與袁巴元分手協(xié)議2024-09-11 14:08:10

女特警一槍打滅蠟燭火苗 98年神槍手展示驚人技藝

女特警一槍打滅蠟燭火苗2024-09-11 14:14:00

老話說“八月怕初十” 究竟怕什么? 古諺揭秘氣候預警

老話說“八月怕初十” 究竟怕什么?2024-09-11 14:09:06

美軍艦維修到底有多難?美國海軍全球“求人”幫修船

美軍艦維修到底有多難?美國海軍全球“求人”幫修船2024-09-09 10:01:29

美共和黨就阿富汗撤軍猛批拜登政府,稱后者應為“災難性結局”負責

美共和黨就阿富汗撤軍猛批拜登政府,稱后者應為“災難性結局”負責2024-09-10 09:59:34

外媒:以色列稱加沙南部被襲現(xiàn)場有哈馬斯成員,哈馬斯迅速否認

外媒:以色列稱加沙南部被襲現(xiàn)場有哈馬斯成員,哈馬斯迅速否認2024-09-10 10:10:26

外賣員車上猝死 1個月前因車禍骨折

外賣員車上猝死 1個月前因車禍骨折2024-09-11 14:00:50

新臺風“貝碧嘉”生成 強度逐漸增強,趨向我國東海

新臺風“貝碧嘉”生成2024-09-11 14:02:58

約旦邊境發(fā)生槍殺以色列平民事件,3人當場死亡!內塔尼亞胡發(fā)聲

約旦邊境發(fā)生槍殺以色列平民事件,3人當場死亡!內塔尼亞胡發(fā)聲2024-09-10 09:58:18

相關新聞