“人机交互”新技术令文创体验“真实可感” 塑造“庄周梦蝶”般的科技情景

2022-10-18 10:04 由广州日报发表于 #娱乐

“文博元宇宙”之三

在海珠区工业大道凤凰创意园的一家体验馆中，众多的数字化展陈设备打造出一个变幻莫测的视听空间。

你可以穿梭在古代的街巷之中，也可以用指尖牵动一座壮观的城市；可以动动手，在面前的电子屏上画出瑰丽的线条，也可以给自己安排一个“分身”，到“远方”放一簇烟火。各种沉浸式的场景里，人机互动的玩法非常多样，在数字技术的助力下，人与观看对象之间的“距离”似乎已经在淡化，传说中的“隔空取物”“足下生花”正在变成“现实”。

文：广州日报全媒体记者卜松竹

结合科技创意和艺术视觉

“走进”宋代街市体验传统民俗

在不久前的2022世界元宇宙生态博览会上，广州智在云天推出的结合了科技创意和艺术视觉的人机交互项目令许多观众大感兴奋。

“宇宙说”体感手势空间交互游戏选取TouchDesigner新媒体技术，实时生成流动粒子宇宙、天地万物抽象画面，创造出全新的宇宙观语言。同时，采用LeapMotion立体手势识别，利用计算机传感器与编程虚拟实现体感手势空间交互，当体验者参与互动，粒子流根据体验者的手势动作而产生不同实时反应，体验者可从中感受到中国人浪漫、逍遥和超前的宇宙观，开启元宇宙解析的全新维度。

在记者先期体验“宇宙说”项目时，智在云天总经理周慧敏表示，“宇宙说”，是对世界之源头的提问，也体现出对元宇宙未来的尝试与探索。这套体感手势空间交互游戏呈现出来的创新玩法，不仅在技术上有所突破，更希望将观众带入一种较深层次的思考和体验当中。而记者在体验中也确实能够感到，充满想象力、变化万端的“画面”。当巨鲸自数字星云中而来，当“宇宙尘雾”喷薄涌动时，在背景音声的配合下，加上体验者自身通过手势等进行操作而在四周屏幕上造成的“游走”，带来一种强烈的参与感。

还有一种玩法，它是基于Unity开发的大屏互动系统，采用实时渲染方式打造了一幅精美的汴京上元节画卷，并利用国际领先的动作捕捉技术，高精准捕获人体运动数据，塑造真实完美的“数字化身”，通过AI换脸黑科技瞬间穿越古今，进入画卷体验宋朝代表性的民俗活动，如书生猜灯谜、内等子相扑、伎艺人杂耍、货郎挑担、小娘子踢毽子等，并且融入数字烟花、河灯、孔明灯等多种主题互动元素，身临其境感受传统文化的魅力。

记者发现，各种玩法都可以在手机端方便地实现，手机上“燃放”一个烟花，屏幕上就绽放出一道多彩的绚烂；手机上来张自拍，很快在屏幕上生成一个全新的“我”——看着“宋代人”戴着眼镜满街跑，《梦华录》里那个整天忙着找“叆叇”的杜长风仿佛穿越而来。智在云天副总经理、数字中心负责人黄泽禹说，在此项目的落地场景中，“展厅里很多人站一起在手机上唰唰唰地点，满屏烟花，非常壮观！”

“数字化身”嵌入虚拟世界

“畅游”古代传奇小说

中国古代的传奇小说中，有很多有关“穿越”和“梦境”的故事，比如著名的《桃花源记》《南柯太守传》《崔炜传》，又如《列子》中记载，“昼寝而梦，游于华胥氏之国……”它们体现出来的，其实是人们对于梦境的心理期待。而各种各样的“人机交互”玩法，实际上也是给越来越方兴未艾的数字化沉浸式场景增添了体验更强烈、效果更直观、更具“参与感”的操作可能，从而扩展了人们的经验边界。

正如清华大学张铮、吴福仲撰写的关于“拟身链接”的文章中所指出的那样，数字技术的进步，使“个体以元件化嵌入的方式参与到虚拟世界中，实现了身体、身份与经验的扩展”，并从更多的角度对自我进行认知。它们“中介着个体对于虚拟世界的参与，又传导着虚拟世界对个体的影响”。

通过人机交互的场景我们也能够看到，数字化技术似乎正在逐步模糊“虚拟”与“现实”的边界，“科幻作品中所描绘的意识上传、脑机链接、赛博人等想象，已然变成了可预见的现实趋势”。而作为人的“自我呈现”，在数字世界中的载体“数字化身”，如在体感交互游戏中屏内屏外的联通和“真实可感的身体反馈”，造成了真实身体的另一种“存在方式”。这种在一定程度上可以类比为“穿越”或“梦境”的体验，是不是会在不久的将来把我们带入那种如“庄周梦蝶”般的科技情境当中？那些似乎是真实的、切身的参与，对人的心理和生理又将会造成怎样的影响？

文创前沿

“人机交互”应用于文博

更精细的体验值得期待

然而，人机交互所带来的，并非只是“梦境”。多样化的技术路径和实现层次，让它们具有广泛的应用空间，也增强了人们“远程体验”的便利度，比如现在应用得已经较为普遍的数字试装。

而广州地铁博物馆、泉州海外交通史博物馆的“互动墙”则是另外一种形式的“互动”。它将储存的海量信息以静态模式的信息展示转变为动态效果，以炫酷照片流形式展现给参观者，能够多人多点交互，现场互动拍照投屏，并一键转发朋友圈，促进了产品的传播推广。

“雷达互动墙”结合了光影动画特效和雷达感应技术，触碰墙面时会奇迹般出现跳跃的动画影像，兼具多人同时互动的稳定性，观众可通过触摸墙面，进行知识问答、学习，使各种专业枯燥的知识变得有趣起来。闽侯县博物馆、江门科技馆、广州动物园科普长廊等采用的“互动地幕”是通过投影或LED地砖屏打造的有趣的互动地面，利用捕捉设备对人们的动作进行捕捉，然后分析动作，将分析出来的数据和互动系统结合，当参观者从地面走过时，地面影像会发生奇趣的变化。

“异型LED大屏交互装置”可搭配天幕、地幕、异形屏、弧幕等进行多维度沉浸演绎，同时可设置AR查询屏等设备联动，供观者进行互动。

一些研究者也认为，“互动”带来的切身体验感，也许可以有效模拟一些现实中有一定风险性的活动，从而以“换位思考”的方式，强化人们对相关事情的认知。比如，给男士模拟女性怀孕生产的体验，或许有助于让男性更好地理解女性在这一过程中因生理变化造成的身心压力，以及更好地理解对孩子成长所应担负的责任。又如，将人们带入其他行业、地域、语言人群的模拟环境中，或许能更好地使人们体会到各行各业的闪光之处和迫切需求。

总体而言，多数人目前能接触到的人机互动技术还远不能做到“真伪难辨”“意识互换”的程度，但它在文博领域中所蕴藏的潜力，确实令人遐想。在未来，我们是否能借助更加精细的体感交互，“真实”感受考古工作者从地下发掘出古老文物时的兴奋，感受到“洞穴探险者”深入地下河远端的紧张？或者“穿越”到远古的人类部落中，目睹几百万年前人类的日常生活。