科技对跨学科数字展演的舞台实践与想 | 专访《人工智能美杜莎》创作团队

在“光点2021国际新媒体艺术节”上，《AI Medusa（人工智能美杜莎）》作为开幕秀，首次亮相。

古希腊神话里的美杜莎，凡看见她的眼睛者皆会被石化。来到人工智能时代，美杜莎化身成为科技与人类关系的隐喻，她隐身于数据海洋之中，穿梭到舞台现场，她的眼光正如无处不在监控人类生活的人工智能，她通过窥探之眼模仿现代人类的生活，当人类和她对视的瞬间，沉溺于数据海洋中的人类该如何继续保持清醒？

作为一场沉浸式互动演出，《AI Medusa（人工智能美杜莎）》包含了从线下舞台演绎到线上加密数字艺术等多元新媒体艺术模式，尝试将高级定制服装、现代舞蹈表演，以及声光电多维度的交互影音嵌入到“实境空间”之中。

而作品的背后，是在业内收获诸多好评的TEA Community（TEA新媒体社区），该平台专为跨媒介艺术爱好者提供突破技术瓶颈的技能教育，并为大众普及交互新媒体艺术的美学认知。

我们很荣幸邀请到了“2021少城之声·独立原生音乐季”影像表演类最佳作品《AI Medusa（人工智能美杜莎）》的作者代表、TEA新媒体社区成员——苏郁晴、陈若琨、张骏，通过分享作品的创作点滴，探讨艺术与数字技术的关系。

注：以下采访，BCAF采访者简称“B”，苏郁晴简称“苏”、 陈若琨简称“陈”、张骏简称“张”。

#01
迎向人工智能美杜莎的目光

B：《AI Medusa（人工智能美杜莎）》从主题到技术，包含了非常多方面的内容，是怎样的契机，让你们创造了这个作品？

苏：生成《AI Medusa（人工智能美杜莎）》主题的决策过程对我们来说，其实比想象中的要简单。

作品的起因是希望通过挖掘一个有意思的切入点，让音乐与视觉相互帮衬。除了舞台和表演者之外，我们选定了一个容易被理解和传播的故事，以古希腊故事中的美杜莎作为基础铺垫，通过舞者的表演叙事融合神秘且科幻的色彩，穿梭在实体空间、数字屏幕、移动端装置的空间当中，画面不断破次元的融合、分裂，在8分钟的舞台上和现场观众建立了临时关系。

我们持续不断地关注科技是如何影响着日常生活，并在作品中不断强化这个概念，一个是关于日常引发我们思考的话题和现象，一个是关于新媒体技术和数字美学的延伸探索，两条路都在作品中同步进行。

B：《AI Medusa（人工智能美杜莎）》希望探讨的主题是什么？

苏：灵感酝酿的过程，是一场难忘的精神旅行。随着采集各种相关资料，不断完善概念的过程是很令人享受的。科技应用得越广，大家受艺术作品刺激的机会就会越多，但要如何运用科技，透过展演形式与内容去传递能量，才是我们在作品中希望强调的重点。这也是《AI Medusa（人工智能美杜莎）》希望探讨的主题：人工智能与人类的关系。

在当下的时代，人工智能无处不在地利用摄像头监控人类行为。包括监听语音、采集数据等来预测发展，并阅读所有电子邮件信息，去模仿人类的生活。《AI Medusa（人工智能美杜莎）》将情感寄托于黑盒子背后无形的数据海洋空间，探讨人类和科技的关系。人工智能持续发展下去，直到有一天通过意识传输，反过来将人类控制，成为一个有情感的生命体。

创作背后，是对于这个世代的社会环境的关注，以及对当代数字空间的再诠释，我们从中更提炼了舞台表演艺术在面对创新科技转译时应具备的人文价值。所以我们希望，作品能促成跨媒介的协作，在发展过程中尽可能让所有参与的协作伙伴们以及观众们都有属于自己的表达空间，进行观点的讨论和分享，共同探讨人工智能于复杂现实生活中所扮演的多重角色。

#02
交互体验，让观众变成作品的角色

B：在这个作品中运用了哪些技术？您认为在作品中，技术在表现这个主题和作品艺术性上起到了什么作用？

张：《AI Medusa（人工智能美杜莎）》是一个综合性很高的作品。基于对主题艺术的表现，我们运用到的技术包括从线下的舞台演绎到线上的加密数字艺术，包含了“新媒体”艺术领域的方方面面。

在我们的艺术概念中，“她”（人工智能美杜莎）是一个穿梭于现实和虚拟之间的角色。首先，我们的演出环节中，“人工智能美杜莎”的形象将会在开幕秀中出现。我们为舞台设计了两个成像面，分别是舞台原有的LED屏幕和搭建在舞台前沿的纱幕投影，并且在舞台前沿搭建了一处延伸舞台，安装了定制化矩阵灯，来和舞蹈演员进行精密的实时灯光演绎配合。



在开幕演出中，舞者在两层视觉承载面之间穿梭，代表着美杜莎的状态和观者之间的关系变化。矩阵灯和舞者之间配合产生的剧烈闪烁切割效果，代表着人工智能美杜莎是一个矛盾的集合体。我们使用Touch-Designer和Notch VFX两款软件，基于舞者的动态生成了实时动态效果，并形成舞台表现和虚拟视效之间的转换。


除了主舞台部分，我们将新媒体技术运用在不同空间和不同艺术环节里。在演出场所的三楼展厅中，我们创作了一组交互视觉艺术作品，用声音传感器来控制屏幕中人工智能美杜莎蛇形的变化。我们还设计了一套手机小程序的交互，在八分钟开幕秀之后，被美杜莎变成石像的角色会出现在观众的微信小程序之中，用户可以通过点击小程序来改变石像的形态，并且可以分享至微信朋友圈。


在加密艺术领域，我们为人工智能美杜莎搭建了一个数字孪生的形象和“神庙”，出现在区块链的虚拟地块之中，以此呼应主题，使美杜莎成为永恒的虚拟数字的存在。通过这些技术手段和媒介的丰富运用，可以将作品创造的形象立体化，很能突出“新媒体艺术”语境下对于多元叙事和多层次感官的呈现。

B：在演出现场，观众的反馈如何？您是如何理解影像表演作品跟观众之间的关系的？

张：在我们的理解中，影像表演艺术作品正处于一个剧烈变化的时代，交互技术正在改变着观众和演出艺术家之间关系。理想情况下，我们希望每个观众都能成为演出的一部分。让艺术家的创作成为一个开放式的演出，艺术家将演出的控制权释放一部分给到观众，让观众变成参与者和演出呈现的X因素（变量因素）。这是我们这几年一直在尝试和追求的影音交互演出效果，也是我们认为的未来线下舞台演绎的大趋势。今年的《AI Medusa（人工智能美杜莎）》演出，我们设计了几套不同的微信小程序交互来达到这个愿景。


除了上文提到的移动端“精神石化”视觉交互以外，在另外两组影音互动的演出中，我们团队分别和不同的视听艺术家合作，为他们的演出设计手机端的交互小程序。

在其中一组的演出中，观众可通过扫描屏幕二维码，播放一段独一无二的循环音源，现场近1000位观众播放的声音形成一个此起彼伏的声场，基于此，再由声音艺术家的音乐缓缓介入，创造一个由观众的声音来引导艺术家声音的演出形式。

另一组由Digital FUN的视觉艺术家Jimmz和音乐人EAU带来的演出中，通过技术层面的设计，将微信小程序和视觉软件TouchDesigner、音乐软件Ableton Live进行串联，观众的手机屏幕将获得和舞台屏幕一样的屏闪效果，而表演的音乐人则可以通过控制音效，来改变舞台视觉和观众手机的屏闪频率，让整个舞台包裹在音画同步的闪烁光芒之中。


对于观众来说，能够参与演出，变成演出中的一个角色，是一种非常新奇的尝试和体验。在享受演出的同时，观众也提了不少建议给我们，这都会帮助我们进行交互设计技术的迭代，期待在之后的艺术节中做出更丰富的演出交互体验。

#03
凝聚志同道合伙伴，探索现场的边界

B：在这个作品的创作过程中，是否有比较难忘的，或是很宝贵的回忆？

苏：最宝贵的回忆是通过《AI Medusa（人工智能美杜莎）》的音画互动表演剧场，有契机将身边不同领域的优秀伙伴集结到一起，进行松散的、专业的、快速的游击战，其中花费了一些时间选择适合的协作对象，大家出于支持创意或者各种原因，愿意花私下的时间来参与这项不赚钱的影像表演计划，真的非常感谢！

B：您提到，这个作品现场互动表演部分集结了很多不同领域的优秀的伙伴，他们都来自TEA新媒体社区，可以和大家介绍一下这个社区吗？

陈：TEA新媒体社区，作为《AI Medusa（人工智能美杜莎）》的作品发起团队，我们希望透过科技与剧场的多元表现，持续凝聚志同道合的协作伙伴，共同探索现场的边界，让创意产生的灵光通过舞台表演的方式，为观众带来前所未有的心灵触动。

TEA 新媒体社区成立于2019年，它的前身是2015年成立的TouchDesigner中文社区。TEA是 Technology科技、Education教育、Art艺术的缩写，意味着社区成立主旨是本着普惠和开源的态度，自发性地创建新媒体艺术交流学习平台，为跨媒介艺术爱好者提供突破技术瓶颈的技能教育，并为大众普及交互新媒体艺术的美学认知，最终希望为国内艺术市场带来创新与活力，成为国内新媒体艺术趋势的引领者。


目前 TEA新媒体社区由三大板块组成：一是交流合作——与各高校和企业联合举办各类的workshop（工作坊）或科技艺术训练营，作为学术合作伙伴和专业带头人与各界资源进行互补和整合；二是教育课程——通过线上与线下双渠道，独立开发具有高度专业化的科技艺术课程，以线上课程和线下研学为主为大家提供教学支持；三是“光点国际新媒体艺术节”——TEA新媒体社区的独有IP，至今已举办四届，是新媒体科技教育界唯一的集演出、工作坊、展览和论坛为一体的年度盛会。


如今TEA新媒体社区运营着亚洲最大的TouchDesigner用户社区，此外也在Notch 和Unreal等领域持续进行着中文社区建设和内容输出。并且作为TouchDesigner官方指定的全球教育合作伙伴， TEA新媒体社区开发的课程曾受邀在清华美术学院、中央美术学员、华中师范大学美术学院、广州美术学院、同济大学设计创意学院、上海视觉艺术学院、上海纽约大学、阿里巴巴内部设计部门、阿里巴巴设计周……等多个教育机构、企业、文化组织内进行艺术科技领域的授课和交流。

B：TEA新媒体社区其实一直在致力于“数字技术+艺术”的探索，您认为“数字技术+艺术”在未来还有哪些拥有潜力的应用场景？有哪些全新的科学技术将带来音乐产业的全新体验？

张：“数字技术+艺术”在未来除了线下的演出之外，也会延伸到虚拟的演出之中。从2020年疫情发生到2021年“元宇宙”概念大热，有很多基于线上虚拟演出的技术研发投入到实际应用层面。试想音乐人穿戴着动态捕捉设备，控制着他们的数字孪生虚拟形象，在由虚幻引擎搭建的光怪陆离的场景之中演绎他们的最新作品，而每个观众也将有一个虚拟形象，当观众戴上VR设备，他们不仅可以在自己的空间里观看虚拟演出，也可以控制自己的化身在虚拟场景里飞天入地，通过游戏的方式与虚拟音乐人进行互动，与其他乐迷进行社交。


随着技术的发展，这种虚拟演出的形式会离我们越来越近。不妨大胆地设想，除了线下演出之外，虚拟演出将会成为音乐产业另一块热门板块。促使线上虚拟演出变成主流的音乐表演形式，则会需要硬件技术（如：VR、AR头戴式设备，可穿戴动捕传感设备，网络技术、区块链NFT技术等）和软件技术（如：虚拟场景构建平台、虚拟人设计软件、传感交互程序等）相互配合和完善。与此同时，我们也会时刻跟随着数字化的步伐，希望很快能为大家呈现出一场先锋独特的线上虚拟音乐视觉演出。


B：这样的方向也与“少城之声·独立原生音乐季”的目标不谋而合，作为此次音乐季的优秀创作者，您对于该项目如何更好地开展有哪些建议？对于下一届的“少城之声·独立原生音乐季”您有什么新的期待？

苏：“少城之声·独立原生音乐季”是对数字艺术创作者很友好的活动，碍于疫情，不能和评委、其他创作者面对面交流是很可惜的。希望疫情早日散去，使作品获得更全面的展示，让大家有机会一起相聚和交流。

团队简介

更多关于Digital FUN 工作室信息，请点击链接获取：
http://www.digitalfun.net/about

获取更多“少城之声·独立音乐季”精彩专访内容

少城国际文创谷

少城国际文创谷是成都市58个产业功能区之一，也是全市唯一居于“天府锦城”之心的文创产业功能区，总规划面积16平方公里，地域涵盖青羊区西御河、少城、草堂、府南、金沙5个街道办事处。富集全市70%文博资源，拥有宽窄巷子、杜甫草堂、文殊坊、人民公园、天府广场、四川科技馆、成都博物馆、金沙遗址博物馆等成都著名文化地标和以国家级文创园区-成都国际非遗创意产业园为代表的12大文创产业园，具有“一区多园、产城一体”的特点。它致力于构建以影视娱乐、文博艺术为主导，以音乐演艺、文博旅游为延伸的“2+2”产业体系，努力建设“国际文博创意创新谷、千年成都文脉彰显地”，不断增强全国重要的文创中心支撑功能。

少城视井文创产业园

国家级音乐创意人才孵化基地、成都四大音乐产业园之一。 位于成都市少城国际文创谷核心起步区青羊区东胜街40号，原四川电视台旧址。少城视井文创产业园是国家级音乐创意人才孵化基地、成都四大音乐产业园之一，也是少城国际文创谷管委会的所在地。园区围绕“影视+音乐”产业的“原创、原生、独立”板块，抓小切口，聚集“微笑曲线”的高净值企业要素，打通园区的音乐影视产业链，打造全生态企业集群，搭建企业协作平台。