电竞下注-中国电竞赛事及体育赛事平台

中華網(wǎng) china.com

昆侖萬維推出全球首款A(yù)I短劇平臺SkyReels,短劇進(jìn)入“無人區(qū)”

關(guān)鍵詞:
2024-08-19 13:36:29  人民號

昆侖萬維推出全球首款A(yù)I短劇平臺SkyReels,短劇進(jìn)入“無人區(qū)”

和你說一個新鮮事——以后你所刷到的短劇,從臺前到幕后,可能都沒有“人”影了。在傳統(tǒng)模式里,一部短劇的生產(chǎn)鏈條,從劇本研發(fā)、制作到發(fā)行,每一個環(huán)節(jié)里都站滿了“人”,而現(xiàn)在因為AI的出現(xiàn),可能只需要一個會在屏幕面前擺動鼠標(biāo)的導(dǎo)演,就能完成所有的流程。(傳統(tǒng)模式下的短劇生產(chǎn)流程)8月19日,昆侖萬維發(fā)布全球首個集成視頻大模型與3D大模型的AI短劇平臺SkyReels。SkyReels平臺集劇本生成、角色定制、分鏡、劇情、對白/BGM及影片合成于一體,讓創(chuàng)作者“一鍵成劇”,輕松制作高質(zhì)量AI視頻。昆侖萬維AI短劇平臺SkyReels的推出,標(biāo)志著全球AI短劇創(chuàng)作實現(xiàn)了一次重大的技術(shù)飛躍。也就是說,不需要請演員、找場地,借用AI的力量,打開SkyReels,操作一下鍵盤,就能制做出一部短劇了。AI做短劇,開始跨入“無人區(qū)”。昆侖萬維布局AI短劇的野心:做顛覆原有生產(chǎn)模式的新物種出海做短劇,并不是一件新鮮事。2022年,中文在線的短劇產(chǎn)品ReelShort上線,一年后便登上美國iOS娛樂榜免費(fèi)第1名,不久后,ShortTV、DramaBox等后起之秀也持續(xù)輸出爆款短劇。它們的題材以霸總、愛情、狼人為主,ReelShort爆款短劇《The Double Life of My Billionaire Husband》就包含了“英雄救美”、“財產(chǎn)爭奪”等環(huán)節(jié)。(ReelShort爆款短劇《The Double Life of My Billionaire Husband》劇情解析)這類短劇通常都是本土原創(chuàng),即出海團(tuán)隊需要結(jié)合本土文化和用戶興趣,創(chuàng)作出符合當(dāng)?shù)赜脩魧徝榔肺兜膭”?,它們能夠精?zhǔn)地捕捉令當(dāng)?shù)厝恕吧项^”的劇情爽點(diǎn)。

這些短劇的核心問題在于,需要足夠了解并鉆研本土文化、制作周期較長,并且需要耗費(fèi)一定的成本在尋找本土演員上。

其實,初始的出海短劇模式十分簡單粗暴,它們通常直接將中國本土的爽劇進(jìn)行字幕翻譯后,便在當(dāng)?shù)夭コ?,為了減少違和感,一些出海團(tuán)隊會利用AI對短劇的演員口型進(jìn)行優(yōu)化,看上去像是“頂著一張中國面孔的演員在用英文講臺詞”,但一些觀眾依舊覺得生硬,就像我們在中國看歐美影視劇時,見到藍(lán)眼碧發(fā)的歐美人用著奇怪的口吻講中文一樣,很難讓觀眾有真正的代入感。于是,一些出海團(tuán)隊會使用AI對短劇中的演員進(jìn)行“換臉”,這樣就更能讓當(dāng)?shù)厝私邮堋?梢?,過去的出海團(tuán)隊為了做出一部受歡迎的短劇,會想出各種“招”,燒了不少腦部CPU。那么,在大模型時代,有沒有一款短劇產(chǎn)品,能夠打破文化差異、不受語言限制,將所有環(huán)節(jié)都用AI來解決?正好在ReelShort出海的同一年,昆侖萬維看準(zhǔn)

AIGC

的系統(tǒng)性機(jī)會,通過對移動互聯(lián)網(wǎng)時代的成功模式進(jìn)行復(fù)盤,發(fā)現(xiàn)密碼就在于“免費(fèi)+To C”模式,而觀察至今依舊還活得很好的“巨頭”公司,會發(fā)現(xiàn)不少都將某個垂類做到了極致。昆侖萬維董事長兼CEO方漢據(jù)此判斷,可以遵循這一套邏輯出擊AIGC市場。昆侖萬維想到了“AI

UGC

”策略,先從C端的高頻場景出手,比如探索網(wǎng)文、短劇、動畫、音樂等細(xì)分賽道的獨(dú)角獸畫像。其中,短劇也成為了昆侖萬維高層的重要選項,他們希望能將做出一款顛覆原有短劇生產(chǎn)模式的新物種。AI短劇平臺SkyReels也在這樣的邏輯之下誕生,它是由AI驅(qū)動的一站式短劇視頻創(chuàng)作平臺,從劇本生成、角色生成、分鏡頭融合到最后的短劇生成,從頭到尾都由AI生成??傮w而言,SkyReels就像導(dǎo)演的AI Agent一樣,可以將一個簡單的創(chuàng)意變成一部短劇。從頭到尾都是Agent以

Sora

為代表的AI視頻生成模型出現(xiàn)后,國內(nèi)外也有很多玩家陸續(xù)推出視頻生成大模型,比如Pixverse、

快手可靈

、智影清源,同時也出現(xiàn)了一批使用這些大模型制作影視作品的新興導(dǎo)演。雖然使用這些模型能獲得不錯的視頻生成效果,但想做一部成熟的影片,對使用者本身的專業(yè)能力依舊有一定要求,他們需要具備較高的編劇能力和藝術(shù)審美能力。比如,使用者需要事先做好構(gòu)圖、想像出想要的鏡頭畫面,再使用包含專業(yè)術(shù)語的prompt在

Midjourney

等產(chǎn)品上調(diào)試出滿意的圖片,隨后導(dǎo)入進(jìn)視頻生成產(chǎn)品中做鏡頭調(diào)整,最后導(dǎo)出作品。雖然這些工具也大大縮短了影視作品的制作鏈條,但它們面向的更多是

PUGC

群體,而SkyReels的使用門檻更低,整個操作流程簡單智能,輸入一個創(chuàng)意,接下來的可以都交給AI,

相比而言,SkyReels作為全球首款A(yù)I短劇平臺,是一款受眾群體更大的UGC產(chǎn)品。

(SkyReels產(chǎn)品演示)SkyReels是全球首個混合3D引擎和生成式AI的視頻創(chuàng)作平臺,使用流程也十分簡單,選擇創(chuàng)作短片之后,輸入創(chuàng)意,可以選擇想要的視頻風(fēng)格,比如動漫風(fēng)格、現(xiàn)實主義、吉卜力風(fēng)格等,就能一鍵生成劇本。系統(tǒng)會根據(jù)劇本故事需要,自動生成角色,隨后用戶便可以查看自動生成的分鏡劇本,再將其一鍵轉(zhuǎn)化為視頻,并能夠自動將內(nèi)容轉(zhuǎn)換為

1080P 60幀

的高清視頻;

單次可生成視頻長度達(dá)180秒

,相比Sora單次可生成60秒視頻、可靈單次可生成10秒視頻,有顯著突破。(傳統(tǒng)的短劇生成模式 VS SkyReels生成)整體來看,一個短劇的完整生產(chǎn)鏈,涵蓋劇本生成、角色定制、分鏡生成、劇集拍攝和后期生成,而SkyReels用三個自研大模型就能提升這條生產(chǎn)鏈的效率。

在內(nèi)容研發(fā)流程中,傳統(tǒng)的短劇生產(chǎn)方式,

是從現(xiàn)成的網(wǎng)絡(luò)小說中選取部分章節(jié),再根據(jù)短劇的特點(diǎn)做改編,需要編劇能夠結(jié)合受眾的興趣,巧妙設(shè)置劇情的轉(zhuǎn)折點(diǎn),這樣才能提升用戶對下一個章節(jié)付費(fèi)的意愿。SkyReels在這個環(huán)節(jié)利用自研劇本大模型

SkyScript

,替代了傳統(tǒng)短劇人工式的內(nèi)容研發(fā)。昆侖萬維首先構(gòu)建了億級的高質(zhì)量短劇結(jié)構(gòu)化數(shù)據(jù)集SkyScript-100M,該數(shù)據(jù)集針對海量精彩短劇的劇情節(jié)奏、爽點(diǎn)、情緒變化進(jìn)行了高質(zhì)量標(biāo)注;此外,算法團(tuán)隊設(shè)計了漸進(jìn)式生成的劇本生成框架,實現(xiàn)了模型能夠輸出高度結(jié)構(gòu)化的精彩劇本,不論是新手還是資深編劇,都可以通過這套模型創(chuàng)作出吸引人的短劇劇本。(SkyScript劇本大模型技術(shù)原理圖)擁有一個動人的故事之后,下一步是將這些故事轉(zhuǎn)化成分鏡頭劇本,在傳統(tǒng)的生產(chǎn)模式中,這個環(huán)節(jié)需要邀請演員、線下設(shè)置場景,導(dǎo)演需要和演員溝通要領(lǐng),再進(jìn)行拍攝,涉及到人力和布景成本。但這些都可以通過AI大模型替代,SkyReels在這個環(huán)節(jié)使用的是昆侖萬維

自研分鏡大模型StoryboardGen,

該模型對影視動畫數(shù)據(jù)進(jìn)行逆向處理,從而得到高質(zhì)量的工業(yè)級分鏡數(shù)據(jù)集,并且設(shè)計了分鏡多智能體框架,高質(zhì)量實現(xiàn)場景、鏡頭、角色和動作的生成。在圖像生成效果上,昆侖萬維使用自研首創(chuàng)的DiT-Moe模型,提升圖像質(zhì)量。就如在正式拍攝的過程中一樣,需要將分鏡頭有機(jī)融合在一起,才能得到一個完整的故事體系。

SkyReels使用WorldEngine,它是業(yè)界首個將AI 3D引擎與視頻大模型深度融合的創(chuàng)新平臺,實現(xiàn)了3D 生成、視頻生成、3D與視頻混合創(chuàng)作

。WorldEngine創(chuàng)新平臺包含多個子環(huán)節(jié),每個環(huán)節(jié)又分別使用了不同的模型。

在3D生成模塊中,

使用的是自研的Sky3DGen大模型,它能夠生成多樣化的3D元素和場景,從自然景觀到未來都市,從靜態(tài)物體到動態(tài)角色,并且提供了實時的3D場景交互能力,使得用戶可以即時看到調(diào)整和編輯的效果,加快創(chuàng)作流程。在WorldEngine的加持下,用戶可以構(gòu)建3D虛擬影棚,實現(xiàn)虛擬拍攝體驗。

在3D與視頻混合創(chuàng)作模塊,昆侖萬維以圖層融合技術(shù)為核心,打造3D與視頻混合創(chuàng)作模式。視頻中的任意元素都可以自由選擇使用3DAI引擎生成或者視頻大模型生成。此外,針對混合中遇到的光照和風(fēng)格差異細(xì)節(jié),昆侖萬維單獨(dú)訓(xùn)練了融合生成模型,使得圖層融合后的視頻呈現(xiàn)較好的一致性。

由于引擎的使用,與傳統(tǒng)的視頻生成相比,WorldEngine實現(xiàn)了成本下降,同時,生成速度也提升了數(shù)個量級。雖然一個短視頻到這里基本完成生成了,但常常刷劇的群體也會感受到,好的臺詞功底和BGM對劇情的展示,有著事半功倍的效果。在臺詞上,SkyReels的AI文本理解技術(shù),經(jīng)過上萬本小說的深度學(xué)習(xí),能夠自動化地從文本中識別角色對話、情感表達(dá),并預(yù)測出合理的句間停頓。在旁白方面SkyReels通過情感化語音合成技術(shù),幫助旁白用抑揚(yáng)頓挫的韻律,讓角色對話充滿豐富充沛的情感。昆侖萬維透露,SkyReels的智能體不僅能理解文字,更能智能分析劇本中的場景氛圍,“基于先進(jìn)的多模態(tài)檢索和背景音樂(BGM)生成能力,我們能夠為視頻智能配上合理的背景音樂,讓每一幀畫面都與音樂完美融合。”昆侖萬維AI短劇平臺SkyReels這一革命性的工具,有望帶來AI短劇用戶生成內(nèi)容(UGC)與專業(yè)用戶生成內(nèi)容(PUGC)的爆發(fā)式增長,為短劇內(nèi)容生態(tài)注入前所未有的活力,推動短劇內(nèi)容創(chuàng)作與消費(fèi)市場的進(jìn)一步快速增長。一個由AI技術(shù)驅(qū)動的短劇創(chuàng)作與消費(fèi)的時代,正在到來。昆侖萬維AI UGC的全球布局國海證券研報提到,AI有望提高短劇產(chǎn)能,降低成本。短劇出海市場空間保守預(yù)測約為360億美元。SkyReels是昆侖萬維出海布局策略中的一個縮影,背后是他們All in AIGC的戰(zhàn)略思考。2020年,昆侖萬維創(chuàng)始人周亞輝就看到了AIGC的潛力,他們預(yù)判AI體系之下將會迎來新的內(nèi)容的黃金時代。昆侖萬維董事長兼CEO方漢回顧移動互聯(lián)網(wǎng)時代的機(jī)遇,總結(jié)爆紅內(nèi)容產(chǎn)品的規(guī)律,發(fā)現(xiàn)大多數(shù)都是“免費(fèi)+To C”的模式,因為群體基數(shù)足夠大,只要產(chǎn)品能夠戳中用戶的需求點(diǎn),就能獲得指數(shù)級的用戶增長,打造“AI UGC”平臺成為昆侖萬維的核心策略,即給1%的內(nèi)容創(chuàng)作者提供服務(wù)、讓99%的用戶消費(fèi)內(nèi)容。那么,AIGC時代爆紅的產(chǎn)品畫像是怎樣的?方漢認(rèn)為,適配AI的端側(cè)新硬件、新手機(jī)誕生的時候,或許就是AIGC獲得顛覆性成果的時候,但這個過程還需要3~5年,而當(dāng)下的核心任務(wù)是找準(zhǔn)機(jī)會點(diǎn),做好預(yù)判并占據(jù)AIGC的風(fēng)口。按照移動互聯(lián)網(wǎng)時代的規(guī)律,每個國家都可能有自己的超級App,也可能一個超級App同時在多個國家劃分地盤。方漢經(jīng)過一番思考后,認(rèn)為應(yīng)該先占據(jù)用戶性價比和接受程度高的國家,比如歐美、日韓和中國,再逐步擴(kuò)散到中東、東南亞、南美等地區(qū)。圈定國家之后,昆侖萬維的管理層開始思考能夠誕生超級App的垂類,他們不斷問自己“怎么樣才能變成巨頭?”上一個時代至今還活著的內(nèi)容巨頭,基本都深耕某一個垂直娛樂品類,比如網(wǎng)文、短劇、動畫,同樣的邏輯在AIGC上也會重演。目前,昆侖萬維已經(jīng)針對“AI UGC”策略在國內(nèi)進(jìn)行系統(tǒng)布局,在大模型、AI搜索、AI音樂等板塊均已構(gòu)建產(chǎn)品矩陣。其中,昆侖萬維的大模型已歷經(jīng)多次迭代:2月份推出新版

MoE

大語言模型“天工2.0”與新版“天工AI智能助手”APP;4月份“天工3.0”基座大模型與“天工SkyMusic”音樂大模型正式開啟公測;6月份昆侖萬維開源開源隸屬于“天工3.0”的 2 千億稀疏大模型 Skywork-MoE,在

OpenAI

宣稱封鎖來自非支持國家和地區(qū)的API流量時,天工開放平臺面向OpenAl API用戶推出“一鍵搬家計劃”,并提供1.5億Tokens的API調(diào)用資源,其中就包括天工2.0及天工3.0大模型。在迭代大模型的同時,AI搜索也進(jìn)入方漢的重點(diǎn)關(guān)注范疇,昆侖萬維早于OpenAI的SearchGPT一年時間布局AI搜索,并在今年對搜索產(chǎn)品進(jìn)行升級,支持搜索文本、圖片、視頻等板塊,用戶可將結(jié)果以思維導(dǎo)圖、表格、大綱等形式呈現(xiàn),并能保存大綱及思維導(dǎo)圖直接生成PPT。除了產(chǎn)品層面,昆侖萬維耶聯(lián)合國際高校,開源數(shù)字智能體研發(fā)工具包AgentStudio,為研究人員和開發(fā)者提供覆蓋智能體完整開發(fā)流程的綜合性平臺。不論國內(nèi)還是海外,每一個語言體系都需要有自己的一套產(chǎn)品,昆侖萬維相信,AIGC平臺在全球的紅利期即將到來。

昆侖萬維推出全球首款A(yù)I短劇平臺SkyReels,短劇進(jìn)入“無人區(qū)”!

(責(zé)任編輯:盧其龍 CN070)
關(guān)閉

女特警一槍打滅蠟燭火苗 98年神槍手展示驚人技藝

女特警一槍打滅蠟燭火苗2024-09-11 14:14:00

美媒:裝備欠缺人數(shù)不足,烏克蘭軍隊正面臨士氣低落和臨陣脫逃的困境

美媒:裝備欠缺人數(shù)不足,烏克蘭軍隊正面臨士氣低落和臨陣脫逃的困境2024-09-09 10:35:08

伊拉克防長:以美國為首聯(lián)軍將在兩年內(nèi)撤出,“美方提議三年被否”

伊拉克防長:以美國為首聯(lián)軍將在兩年內(nèi)撤出,“美方提議三年被否”2024-09-10 09:41:25

蘋果16Pro新跑分出爐 A18 Pro芯片性能飛躍

蘋果16Pro新跑分出爐2024-09-11 14:04:51

華為Mate70將帶來多維度升級:AI影像革新值得期待

華為mate70將帶來多維度升級2024-09-11 14:05:11

外媒:美國眾議院共和黨人發(fā)布報告,嚴(yán)厲批評拜登政府在阿富汗撤軍中失敗表現(xiàn)

外媒:美國眾議院共和黨人發(fā)布報告,嚴(yán)厲批評拜登政府在阿富汗撤軍中失敗表現(xiàn)2024-09-09 10:34:40

軍事預(yù)算缺口大,前線人員裝備少,澤連斯基將赴美見拜登爭取援助

軍事預(yù)算缺口大,前線人員裝備少,澤連斯基將赴美見拜登爭取援助2024-09-10 09:55:19

個人記大功,賽場上的王曼昱收獲新榮譽(yù),迄今收獲11個世界冠軍

個人記大功,賽場上的王曼昱收獲新榮譽(yù),迄今收獲11個世界冠軍2024-09-11 14:11:32

伊朗200枚彈道導(dǎo)彈抵達(dá)俄羅斯?伊朗否認(rèn)

伊朗200枚彈道導(dǎo)彈抵達(dá)俄羅斯?伊朗否認(rèn)2024-09-10 09:31:54

廢除老牌護(hù)衛(wèi)艦隊,日本海上自衛(wèi)隊大整編用意何為?

廢除老牌護(hù)衛(wèi)艦隊,日本海上自衛(wèi)隊大整編用意何為?2024-09-09 10:40:54

人民日報:國足主帥一將無能累死三軍 有人應(yīng)該擔(dān)責(zé)

人民日報:國足主帥一將無能累死三軍2024-09-11 14:08:04

國足主帥陷入信任危機(jī) 兩連敗后路在何方?

國足主帥陷入信任危機(jī)2024-09-11 14:03:43

俱樂部稱張繼科正常授課 辟謠跑路傳聞

俱樂部稱張繼科正常授課2024-09-11 14:11:11

外媒:約旦河西岸與約旦交界的一陸路口岸發(fā)生槍擊,3名以色列人死亡,內(nèi)塔尼亞胡發(fā)聲

外媒:約旦河西岸與約旦交界的一陸路口岸發(fā)生槍擊,3名以色列人死亡,內(nèi)塔尼亞胡發(fā)聲2024-09-09 10:38:01

臺灣一“震懾武器”翻車:“今年年底能出去,都已經(jīng)是奇跡了”

臺灣一“震懾武器”翻車:“今年年底能出去,都已經(jīng)是奇跡了”2024-09-10 09:28:33

8場比賽輸了一半!“五星巴西”真的要為進(jìn)軍世界杯而戰(zhàn)了

8場比賽輸了一半!“五星巴西”真的要為進(jìn)軍世界杯而戰(zhàn)了2024-09-11 14:09:31

23歲女孩帶著殘疾媽媽上大學(xué) 宿舍變溫暖小家,共筑求學(xué)夢

23歲女孩帶著殘疾媽媽上大學(xué)2024-09-11 14:10:45

美航母艦長談紅海戰(zhàn)斗:很艱難 但士氣是最重要的

美航母艦長談紅海戰(zhàn)斗:很艱難 但士氣是最重要的2024-09-10 09:32:25

供烏武器收益大部分留在美國 軍工復(fù)合體最大限度獲利!

供烏武器收益大部分留在美國 軍工復(fù)合體最大限度獲利!2024-09-09 10:03:56

現(xiàn)在,特朗普自曝非常不開心

現(xiàn)在,特朗普自曝非常不開心2024-09-10 09:26:09

深化兩軍戰(zhàn)略協(xié)作水平,中俄9月舉行聯(lián)合海空演習(xí)

深化兩軍戰(zhàn)略協(xié)作水平,中俄9月舉行聯(lián)合??昭萘?xí)2024-09-10 09:51:59

接力傳遞里斯本丸沉沒真相 漁民舍命救人 英魂終得安息

接力傳遞里斯本丸沉沒真相2024-09-11 14:08:39

葛曉倩回應(yīng)與袁巴元分手協(xié)議 時間線存疑點(diǎn)

葛曉倩回應(yīng)與袁巴元分手協(xié)議2024-09-11 14:08:10

女特警一槍打滅蠟燭火苗 98年神槍手展示驚人技藝

女特警一槍打滅蠟燭火苗2024-09-11 14:14:00

老話說“八月怕初十” 究竟怕什么? 古諺揭秘氣候預(yù)警

老話說“八月怕初十” 究竟怕什么?2024-09-11 14:09:06

美軍艦維修到底有多難?美國海軍全球“求人”幫修船

美軍艦維修到底有多難?美國海軍全球“求人”幫修船2024-09-09 10:01:29

美共和黨就阿富汗撤軍猛批拜登政府,稱后者應(yīng)為“災(zāi)難性結(jié)局”負(fù)責(zé)

美共和黨就阿富汗撤軍猛批拜登政府,稱后者應(yīng)為“災(zāi)難性結(jié)局”負(fù)責(zé)2024-09-10 09:59:34

外媒:以色列稱加沙南部被襲現(xiàn)場有哈馬斯成員,哈馬斯迅速否認(rèn)

外媒:以色列稱加沙南部被襲現(xiàn)場有哈馬斯成員,哈馬斯迅速否認(rèn)2024-09-10 10:10:26

外賣員車上猝死 1個月前因車禍骨折

外賣員車上猝死 1個月前因車禍骨折2024-09-11 14:00:50

約旦邊境發(fā)生槍殺以色列平民事件,3人當(dāng)場死亡!內(nèi)塔尼亞胡發(fā)聲

約旦邊境發(fā)生槍殺以色列平民事件,3人當(dāng)場死亡!內(nèi)塔尼亞胡發(fā)聲2024-09-10 09:58:18

相關(guān)新聞