“人機交互”新技術令文創體驗“真實可感” 塑造“莊周夢蝶”般的科技情景

“文博元宇宙”之三

在海珠區工業大道鳳凰創意園的一家體驗館中,衆多的數字化展陳設備打造出一個變幻莫測的視聽空間。

你可以穿梭在古代的街巷之中,也可以用指尖牽動一座壯觀的城市;可以動動手,在面前的電子屏上畫出瑰麗的線條,也可以給自己安排一個“分身”,到“遠方”放一簇煙火。各種沉浸式的場景裏,人機互動的玩法非常多樣,在數字技術的助力下,人與觀看對象之間的“距離”似乎已經在淡化,傳說中的“隔空取物”“足下生花”正在變成“現實”。

文:廣州日報全媒體記者 卜松竹

結合科技創意和藝術視覺

“走進”宋代街市體驗傳統民俗

在不久前的2022世界元宇宙生態博覽會上,廣州智在雲天推出的結合了科技創意和藝術視覺的人機交互項目令許多觀衆大感興奮。

“宇宙說”體感手勢空間交互遊戲選取TouchDesigner新媒體技術,實時生成流動粒子宇宙、天地萬物抽象畫面,創造出全新的宇宙觀語言。同時,採用LeapMotion立體手勢識別,利用計算機傳感器與編程虛擬實現體感手勢空間交互,當體驗者參與互動,粒子流根據體驗者的手勢動作而產生不同實時反應,體驗者可從中感受到中國人浪漫、逍遙和超前的宇宙觀,開啓元宇宙解析的全新維度。

在記者先期體驗“宇宙說”項目時,智在雲天總經理周慧敏表示,“宇宙說”,是對世界之源頭的提問,也體現出對元宇宙未來的嘗試與探索。這套體感手勢空間交互遊戲呈現出來的創新玩法,不僅在技術上有所突破,更希望將觀衆帶入一種較深層次的思考和體驗當中。而記者在體驗中也確實能夠感到,充滿想象力、變化萬端的“畫面”。當巨鯨自數字星雲中而來,當“宇宙塵霧”噴薄湧動時,在背景音聲的配合下,加上體驗者自身通過手勢等進行操作而在四周屏幕上造成的“遊走”,帶來一種強烈的參與感。

還有一種玩法,它是基於Unity開發的大屏互動系統,採用實時渲染方式打造了一幅精美的汴京上元節畫卷,並利用國際領先的動作捕捉技術,高精準捕獲人體運動數據,塑造真實完美的“數字化身”,通過AI換臉黑科技瞬間穿越古今,進入畫卷體驗宋朝代表性的民俗活動,如書生猜燈謎、內等子相撲、伎藝人雜耍、貨郎挑擔、小娘子踢毽子等,並且融入數字煙花、河燈、孔明燈等多種主題互動元素,身臨其境感受傳統文化的魅力。

記者發現,各種玩法都可以在手機端方便地實現,手機上“燃放”一個煙花,屏幕上就綻放出一道多彩的絢爛;手機上來張自拍,很快在屏幕上生成一個全新的“我”——看着“宋代人”戴着眼鏡滿街跑,《夢華錄》裏那個整天忙着找“靉靆”的杜長風彷彿穿越而來。智在雲天副總經理、數字中心負責人黃澤禹說,在此項目的落地場景中,“展廳裏很多人站一起在手機上唰唰唰地點,滿屏煙花,非常壯觀!”

“數字化身”嵌入虛擬世界

“暢遊”古代傳奇小說

中國古代的傳奇小說中,有很多有關“穿越”和“夢境”的故事,比如著名的《桃花源記》《南柯太守傳》《崔煒傳》,又如《列子》中記載,“晝寢而夢,遊於華胥氏之國……”它們體現出來的,其實是人們對於夢境的心理期待。而各種各樣的“人機交互”玩法,實際上也是給越來越方興未艾的數字化沉浸式場景增添了體驗更強烈、效果更直觀、更具“參與感”的操作可能,從而擴展了人們的經驗邊界。

正如清華大學張錚、吳福仲撰寫的關於“擬身鏈接”的文章中所指出的那樣,數字技術的進步,使“個體以元件化嵌入的方式參與到虛擬世界中,實現了身體、身份與經驗的擴展”,並從更多的角度對自我進行認知。它們“中介着個體對於虛擬世界的參與,又傳導着虛擬世界對個體的影響”。

通過人機交互的場景我們也能夠看到,數字化技術似乎正在逐步模糊“虛擬”與“現實”的邊界,“科幻作品中所描繪的意識上傳、腦機鏈接、賽博人等想象,已然變成了可預見的現實趨勢”。而作爲人的“自我呈現”,在數字世界中的載體“數字化身”,如在體感交互遊戲中屏內屏外的聯通和“真實可感的身體反饋”,造成了真實身體的另一種“存在方式”。這種在一定程度上可以類比爲“穿越”或“夢境”的體驗,是不是會在不久的將來把我們帶入那種如“莊周夢蝶”般的科技情境當中?那些似乎是真實的、切身的參與,對人的心理和生理又將會造成怎樣的影響?

文創前沿

“人機交互”應用於文博

更精細的體驗值得期待

然而,人機交互所帶來的,並非只是“夢境”。多樣化的技術路徑和實現層次,讓它們具有廣泛的應用空間,也增強了人們“遠程體驗”的便利度,比如現在應用得已經較爲普遍的數字試裝。

而廣州地鐵博物館、泉州海外交通史博物館的“互動牆”則是另外一種形式的“互動”。它將儲存的海量信息以靜態模式的信息展示轉變爲動態效果,以炫酷照片流形式展現給參觀者,能夠多人多點交互,現場互動拍照投屏,並一鍵轉發朋友圈,促進了產品的傳播推廣。

“雷達互動牆”結合了光影動畫特效和雷達感應技術,觸碰牆面時會奇蹟般出現跳躍的動畫影像,兼具多人同時互動的穩定性,觀衆可通過觸摸牆面,進行知識問答、學習,使各種專業枯燥的知識變得有趣起來。閩侯縣博物館、江門科技館、廣州動物園科普長廊等採用的“互動地幕”是通過投影或LED地磚屏打造的有趣的互動地面,利用捕捉設備對人們的動作進行捕捉,然後分析動作,將分析出來的數據和互動系統結合,當參觀者從地面走過時,地面影像會發生奇趣的變化。

“異型LED大屏交互裝置”可搭配天幕、地幕、異形屏、弧幕等進行多維度沉浸演繹,同時可設置AR查詢屏等設備聯動,供觀者進行互動。

一些研究者也認爲,“互動”帶來的切身體驗感,也許可以有效模擬一些現實中有一定風險性的活動,從而以“換位思考”的方式,強化人們對相關事情的認知。比如,給男士模擬女性懷孕生產的體驗,或許有助於讓男性更好地理解女性在這一過程中因生理變化造成的身心壓力,以及更好地理解對孩子成長所應擔負的責任。又如,將人們帶入其他行業、地域、語言人羣的模擬環境中,或許能更好地使人們體會到各行各業的閃光之處和迫切需求。

總體而言,多數人目前能接觸到的人機互動技術還遠不能做到“真僞難辨”“意識互換”的程度,但它在文博領域中所蘊藏的潛力,確實令人遐想。在未來,我們是否能借助更加精細的體感交互,“真實”感受考古工作者從地下發掘出古老文物時的興奮,感受到“洞穴探險者”深入地下河遠端的緊張?或者“穿越”到遠古的人類部落中,目睹幾百萬年前人類的日常生活。



Scroll to Top