【環球網科技報道 記者 李文瑤】“⻁鯨⽂娛與通義萬相協同研發的 AI 影視⼤模型系列,已覆蓋‘前期創意—中期拍攝—後期製作’全流程,助⼒主創團隊推出更優質內容。”9 ⽉ 25 ⽇,在杭州舉辦的雲棲⼤會 AIGC 創新發展論壇上,⻁鯨⽂娛集團 AI影視⼯業化算法負責⼈鏡⼀發表《影視產業中的⼤模型應⽤探索》演講,⾸次對外介紹⽬前⻁鯨⽂娛在 AI影視⼤模型中的技術進展。
據瞭解, ⻁鯨⽂娛的這套 AI 影視⼤模型,包括運鏡模型 CameraWeaver、⽆穿戴 AI ⾯部動捕技術、AI 表情增強等技術上的突破,能夠幫助影視主創團隊在創意階段快速落地分鏡構想、拍攝期間⾼效⽣成 3D 場景、動漫後期製作⾃動模擬優化微表情。
在影視⾏業的內容創意階段,主創團隊通常需要⽤語⾔描述結合⼿繪的⽅式將預想中的場景畫⾯呈現出來,往往耗費較多時間。“儘管⽬前市⾯上已有多個⽂⽣圖模型能夠相對精細地⽣成圖⽚,但在主創更關注的景別、構圖視⻆等⽅⾯仍⽆法達到要求。”鏡⼀說,針對這⼀難題,⻁鯨⽂娛研發的“影視級⽂⽣圖”⼤模型,區別於市⾯通⽤模型追求“視覺發散”,在影視級要求的精準控制上做了針對性調試,精準解決了主創“創意畫⾯難落地”的⾏業痛點。
“我們希望模型能夠精準執⾏主創團隊的⽂字指令,所以對模型在景別、構圖、視⻆、空間關係等維度設置了嚴苛的標準,從⽽精準還原創作意圖,形成幫助主創的可視化參考,⼤幅提升前期溝通與分鏡效率。“鏡⼀表示。
鏡⼀介紹,在中期拍攝階段,⻁鯨⽂娛研發了圖⽣ 3D 場景技術模型,可⽀持快速⽣成多機位分鏡參考圖。主創若想查看其他視⻆的分鏡效果,⽆需重新繪製 2D 分鏡或搭建 3D 場景,模型能基於單張圖⽚重構3D 空間,同步⽣成多視⻆畫⾯,還⽀持任意⻆度推拉搖移運鏡,幫助主創快速確認空間佈局。
相較傳統⽅法需數週搭建的 UE 虛擬場景,該技術模型 2 分鐘內即可⽣成⾼精度 3D 空間場景,實現數百倍效率躍升,且空間透視零誤差,滿⾜影視⼯業嚴苛標準,⽬前已應⽤於內部項⽬的分鏡與虛擬拍攝預演協同。鏡⼀透露,此前在內部測試時,該模型在 WorldScore 的分數已經成爲榜單第⼀。
在後期層⾯,⻁鯨⽂娛針對動漫還推出了⽆穿戴⾯捕+AI 精雕創新⽅案,彌補了⾯部設備⽆法捕捉微表情的缺陷。該方案通過⾃研表情⽣成模型,能夠精準還原補全演員微表情與⼝型細節。 “我們把過去可能需要動畫師花費⼏周⼿ K(動畫師⼿動調整關鍵幀)的⼯作,升級爲通過表情⽣成模型⾃動⽣成微表情,⽽且質量達到了影視級標準。”鏡⼀介紹,有了該模型之後,⼿ K 修幀效率⼤幅提⾼,並且該技術已在今年上半年成功應⽤於項⽬中,成爲提升微表情精度與製作效率的關鍵⼯具。
“AI 不是替代創作者,⽽是解放創作者。”鏡⼀表示,“⻁鯨⽂娛的⽬標,是讓創作者從繁瑣技術中抽⾝,專注故事本⾝——正如計算器沒有替代會計,AI 也不會替代導演,⽽是將成爲創作者的好幫⼿,共同爲觀衆打造更優質的內容。”