多感官交互叙事空间设计——艺术与科技专业的信息交互设计课程研究与实践.pdf

第 44 卷 S1 期 包 装 工 程 2023 年 4 月 PACKAGING ENGINEERING 625 收稿日期：20221207 基金项目：四川省 2021-2023 年高等教育人才培养质量和教学改革项目（JG2021-919）；2019 年度西华大学教育教学改革研究项目“数字媒体语境下的视觉传达设计专业摄影课程建设”（xjjg2019063）作者简介：黎珂位（1988），男，硕士，讲师，主要研究方向为艺术与科技、数字媒体艺术。多感官交互叙事空间设计艺术与科技专业的 信息交互设计课程研究与实践 黎珂位（西华大学，成都 610097）摘要：目的目的 探索艺术与科技专业方向下的信息交互设计课程新模式，研究信息交互设计课程的发展趋势，采用新型交互开发平台 TouchDesigner 进行授课，总结信息交互设计课程中对信息采集与艺术实践的不同形式，采用多感官空间叙事交互设计形式进行作品创作。方法方法 通过文献调研法，基于国内外艺术与科技专业人才培养以及信息交互设计相关文献，归纳分析。结果结果 梳理信息交互设计的发展情况，创新信息交互设计课程的教内容，明确课程实践形式与方法。结论结论“新文科”建设工作如火如荼地展开，自艺术与科技专业成立以来，各高校不断探索艺术与科技间交叉融合，鼓励将新技术应用到艺术作品的创作中，信息交互设计课程作为艺术与科技专业的主干课程，西华大学美术与设计学院努力探索课程新范式，创新课程实践内容，递进式优化信息交互设计课程框架，引导学生从认识感官交互实体硬件到理解“身体”信息采集再到编译可视化交互视觉效果，利用 TouchDesigner 开发平台创作信息交互作品，从而形成科学高效的培养模式，强化学生对“多感官交互”和“叙事空间”概念的认知，打破传统信息设计课程的藩篱，拓展信息交互设计的应用场域。关键词：艺术与科技；信息交互设计；TouchDesigner；多感官交互；叙事空间设计 中图分类号：TB472 文献标识码：A 文章编号：1001-3563(2023)S1-0625-05 DOI：10.19554/ki.1001-3563.2023.S1.094 2012 年艺术与科技专业作为教育部颁布的高校本科专业目录的特设专业，以代码 130509T 开启招生，该专业的创立，客观反映了艺术学科面临的融合发展需求。当前有数字媒体艺术、数字媒体技术、新媒体艺术、信息设计等相关新型专业不断补充完善艺术学科体系，但在国内院校“新文科”建设趋势下，艺术与科技担负着攻坚克难的重要使命，即进一步拓展界定艺术专业的涵盖范畴，强化科技发展对艺术、设计的正面影响，明确了大数据时代下艺术与前沿科学技术结合的重要趋势。信息交互设计作为艺术与科技的主干课程，因涉及信息采集、信息可视化、计算机语言、电子交互设备、交互体验、多屏互动、影像视觉展陈等诸多板块内容，成为各院校重点建设的课程。信息与交互设计在由后工业社会向信息化社会过渡的进程中，既承担着引领、促进和优化信息化变革的重任。同时作为一种理念和技术，其本身也需要变革来适应大数据科学的发展要求1。1 艺术与科技专业信息交互设计课程体系建构 艺术与科技专业是以艺术设计与科学技术跨界融合的多学科背景下研究设计与创新服务，引领时代发展与社会产业变革的跨学科新兴专业。2020 年西华大学美术与设计学院艺术与科技专业开始招生，依托视觉传达设计、产品设计、环境艺术设计、动画、美术学 5 个专业为基础，借鉴国内外一流院校的办学模式，梳理出 3 个课程模块，见图 1，分为信息交互设计课程模块、虚拟现实设计课程模块、媒体空间设计课程模块。信息交互设计对接信息设计+交互体验；虚拟现实设计对接元宇宙+混合现实；媒体空间设计对接数字媒体+空间设计，三者紧密互联，链接融合，形成系统高效的培养体系。信息与交互设计作为一个交叉的领域，国外的企 626 包 装 工 程 2023 年 4 月 图 1 西华大学艺术与科技专业课程模块 业、高校和研究机构在这方面处在领先的位置，尤其在交互设计、数字媒体和可视化研究方面，已经建立了比较完善的理论和方法体系1。借鉴优秀体系的同时需要结合本土实际，考量师资水平与现有专业优势，西华大学结合自身情况，搭建了较合理的课程模块体系，将信息交互设计课程模块细化为动态设计、信息可视化设计、交互设计基础、信息交互设计、多媒体交互设计 5 门阶段性课程，见图 2。图 2 信息交互设计课程模块体系 大一阶段，旨在掌握基础设计能力，动态设计课程培养学生动态视觉设计能力，思考设计中的流动性；信息可视化设计课程作为信息设计的基础课程，旨在培养学生对信息的理解归纳、数据的采集分析，并用可视化设计手段呈现的技能；大二阶段，通过交互设计基础课程，学生需要掌握理解交互设计的原则、基础及方法，深入理解“多感官交互”的原理；大三阶段，信息交互设计与多媒体交互设计是对课程模块的总结，课程要求学生创作主题作品，并完成对硬件、软件、信息化设计手段的整合，尤其强调“叙事空间”的搭建，以完整的艺术交互作品形式呈现信息交互设计的魅力。2 信息交互设计的发展与趋势 关于信息设计的定义，鲁晓波、卜瑶华在信息设计的实践与发展综述 中进行详细梳理。EASTERBY R S 和 ZWAGA H J G 在 1978 年的北约信息可视化会议上也提到了信息设计的利益相关群体2。早期信息设计所涉及的职业主要针对平面设计师、工业设计师和印刷师等，其目标是对信息内容、信息语言和信息形式的分析、策划、表达和理解3。20 世纪互联网技术还未普及，大众对于信息设计理解与陈述仅停留在信息与数据的视觉设计阶段。信息设计的方法、理念、流程等亟待完善。信息交互设计概念是由信息设计演进而来。1999年，美国学者内森西多夫提出由“信息设计”“交互设计”和“感知设计”3 个层面交叉组成的信息与交互设计的概念4。西多夫的理念顺应时代且兼具前瞻性，单一的信息表达已不能满足大众对于信息获取与交换的需求，交互概念的介入，进一步拓展了信息设计的维度，扩充了信息设计交叉的领域。近年来伴随 5G 网络、虚拟现实技术、人工智能的发展，交互设备趋于多样化，交互体验设计形式愈发元化，西多夫的理论不但适用，还在扩大应用场域，从互联网、移动端、传统人机交互场景，演进到多屏互动、元宇宙、数字孪生等领域。多样化的交互体验设计，取代了传统的展陈设计与空间概念。信息交互设计无处不在，创意体验设计层出不穷。信息设计与信息交互设计，同根同源，但不同的专业背景下会呈现不同的培养路径，产品设计专业的信息交互设计主要针对人机交互，对信息可视化、用户界面设计、人机交互设计方面的要求较高，西华大学艺术与科技专业所制定的培养路径是基于视觉传达设计为基础，从动态设计到信息可视化设计，培养学生视觉设计的基础能力，利用交互设计基础、信息交互设计、多媒体交互设计不断递进探索全新视觉交互范式，经过广泛的调研与考察，交互体系内采用TouchDesigner 交互设计开发平台作为课程间串联。TouchDesigner（简称 TD）是一款成熟的可视化编程开发平台，TD 由加拿大软件公司 Derivative 于2008 年开发推出，目前支持 Windows、Mac OS 操作系统，在创造互动媒体系统、建筑投影、现场的视觉及声音表演等活动中广泛应用。它可实现三维实时渲染、机械装置控制、实时灯光及声音特效输出，以及结合各类传感器制作交互作品、VR 作品等5。新媒体工作室 Digital FUN 早期项目流光，见图 3，联合创意及制作发行团队 Super Bonfire，首次将 TD 技术应用在国内大型专业演出场合中，TD 平台支持声光电整合创作，艺术家可以依靠它创建“沉浸式互动舞台空间”，随着第三代 TD 的更新，C+节点的介入，功能更加强大，众多从事编程工作的人员可以参与到第 44 卷 S1 期 黎珂位：多感官交互叙事空间设计艺术与科技专业的信息交互设计课程研究与实践 627 交互艺术作品的创作中，并赋予更多的控制权；而Python 作为内嵌编程语言，有助于艺术家快速学习掌握，新版本与 AI 人工智能结合，艺术家的创作形式与空间进一步得到拓展。图 3 流光2018 奥迪 A8L 上市发布会现场 3 信息交互设计课程设计 前文提及动态设计、信息可视化设计、交互设计基础 3 门课程旨在培养艺科学生的视觉设计基本功，掌握信息视觉设计要素，学习基本的交互设计流程与逻辑，信息交互设计课程则是大三的专业核心课，软件学习已不是授课重点，在 48 学时中，学生需要深入探索学习艺术与科技作品的理念创建、信息采集与分析、多感官交互方式、虚拟空间搭建、叙事空间营造、设备选择与调试、开发平台串联、编程语言与TD 节点串联、光影视觉呈现等内容。学生对知识点不断整合梳理，并完成艺术与科技作品。3.1 多元视野观摩艺术与科技作品多感官交互认知 艺术与科技专业的学生必须时刻保持好奇心，强化自身学习能力，锻炼不同学科知识间的链接能力，能够在掌握新技术的同时，快速落实到自己的作品中。因此，第一步是大量观摩学习前沿艺术与科技作品，尤其是体验学习不同地域文化体系下催生的艺术视觉作品，分析其理念内涵与技术体系。始于 1979 年的奥地利林茨电子艺术节致力于艺术与科技的研究、发展与创作，该艺术节先后设立电子艺术大奖、电子艺术中心和未来实验室，该节日已逐步演变成记录新媒体艺术发展历程的国际交流平台。在人类发展史中，艺术史与技术史从来都不是泾渭分明的，而是密切地交织在一起，并互为彼此6。电子节从初期的电子音乐、图形图像、影像视频延展至体感交互、人工智能、虚拟现实、实验艺术等领域，电子艺术节的核心价值观是科技将带来艺术形式与观念的转变，坚持探索艺术与科技的创意边界。通过前沿的艺术节展演，探讨多感知维度下的艺术与科技作品，理解人作为讯息接收的媒介，跨媒介的本体感知效应，透过视觉、听觉、味觉、触觉，巧用声光电机械装置，完成作品与观众的沟通互联，这也是当代新媒体艺术的全新趋势。2016 年邱宇创作的声之味装置，将食材与音响做结合，见图 4，声音也会有味道吗？味道也会像声音一样传递给我们信息吗？在这种媒介转换中来建立以感知为基础的体验和思考7。这项多感官认知的能力是艺术与科技专业学生必备的，信息交互设计即利用人体多感官的作用，在媒介信息传递过程中进行创新研究与实践设计，并产生合理的交互效能。图 4 声之味装置 通过观摩学习优秀艺术家作品，形成了自己的创作意识与理念。思维维度是陈果、唐宇、曾先进、李奕辰 4 名同学以设计思维为出发点，将大脑神经网络具象化，形成“禁锢的思维”场景，利用周围装饰铁链营造一种“囚禁”的空间氛围，该作品通过摄像头传感器识别人物距离与动作，配合音乐感受思维维度与生命机体通感体验，见图 5。观众可在“牢笼”中穿行，却禁锢其中，无法脱身，作品映射出设计师在创作过程中设计思维被禁锢，进而引发负面情绪的观感体验。3.2 交互方法与信息采集的探索认知信息与采集信息 交互信息采集的方式多种多样，摄像头、话筒是较为廉价的方式获取图像与声音信息，Kinect、Leapmotion、激光雷达、超声波测距仪是较为专业的交互设备。微软开发的 Kinect 主要由彩色摄像头、红 628 包 装 工 程 2023 年 4 月 图 5 思维维度空间氛围 外线发射器、红外摄像头、麦克风等部件组成，自2010 年第一代 Kinect 360 上市以来，体感游戏与体感交互项目如雨后春笋般在游戏市场普及起来，随着近年的发展，Kinect 已陆续推出 Kinect 1.0、Kinect 2.0、Azure Kinect DK 等交互设备，灵敏度与精准度不断迭代，体积也更加小巧。Kinect 是 TD 最常搭配使用的体感交互设备，TD可以通过Kinect TOP与Kinect CHOP节点获取Kinect的数据。Kinect TOP 提供众多 Image 参数选项，包括全彩图像（Color）、景深（Depth）、原始深度（Raw Depth）、红外成像（Infrared）、最大用户数（Player Index）、彩色点云（Color Point Cloud）；利用 TD 内置 Kinect CHOP 节点可以选择人体主要关节的空间位置、角度和骨骼长度等数据，并选择相应的通道数据作为交互数据采集。TD 身体关节，其原理是以Kinect 所处位置作为原点，用米作为坐标单位，构建感应实体的空间坐标轴，通过三维坐标（X，Y，Z）来表示每个关节的位置（每个关节点用圆形显示），见图 68。图 6 Kinect 识别身体关节节点名称 TD 功能元件（OPERATOR），是 TD 网络中的“节点”，它们将数据输出给其他控制器。每个控制器都有 其 自 定 义 的 参 数。控 制 器 类 型（OPERATOR FAMILIES），TD 中的控制器家族分为 6 个种类。分别是 COMPs、TOPs、CHOPs、SOPs、DATs、MATs。新媒体艺术已进入以编/解码、信息交流、碳/硅基融合为核心的后媒体、非媒体或称“生物新媒体”阶段9。以人为媒介信息发生器，动作信号转化为数据。代楚格、周兰芮创作作品萤就是人体动作信号输入到 TD 节点中并被识别编译，信息即可转化为交互艺术化视觉，见图 7。图 7 萤TD 节点链接 陈巧艺、师睿晗、徐丹的 跳动字节 利用 Kinect识别镜头前的人物动作，通过采集手掌位置来判断屏幕位置，触发点可移向 7 个鼓点触发区，进而产生不同的演奏音效，与此同时，浏览者的形象也会出现在画面中心区域，观众可以敲击鼓点的同时进行舞蹈，形成“跳动字节”的视觉效果，见图 8。该作品灵感源于关爱自闭症儿童，作为一种概念雏形的尝试，借此装置疗愈自闭症患儿，该设计也可以举一反三应用到博物馆陈列或数字博物馆中。图 8 跳动字节Kinect 识别 近年来，这种新型信息交互装置在博物馆内以数字互动应用的形式推广起来，在数字博物馆建设中，对于叙事空间的要求尤为突出，空间营造氛围，数字互动的效果影响观众观感体验，这里观感体验可分为娱乐体验、审美体验和文化体验 3 类10。数字博物馆作为公共场域，强化叙事空间概念，利用叙事抬升文化价值，再利用数字互动或多屏互动技术可以很好的激发浏览者的参与度，提升娱乐、审美、文化 3 方面第 44 卷 S1 期 黎珂位：多感官交互叙事空间设计艺术与科技专业的信息交互设计课程研究与实践 629 的体验价值。3.3 多感官交互叙事空间实践方法 学生在完成信息交互设计基本知识学习后，已累计一部分技术储备，需要进一步策划实施信息交互设计大型作业，这里采用“多感官交互叙事空间设计”方法工作流，整体设计实施分为 2 大阶段：第 1 阶段是概念设计阶段，完成叙事空间理论行为触发逻辑空间交互设计的构想；第 2 阶段是完成设备类型确立交互信息采集光影视觉呈现流程。从规划到实施，有条不紊地推进，见图 9。图 9 信息交互设计课程多感官交互叙事空间工作流 第 1 阶段强调作品的叙事与理念，任何设计作品都需要承载一定思想内涵，有其叙事内涵，视觉效果脱离了叙事空间会令人感到生硬与无趣，学生需要深入调研，预设项目背景与设计理念，贯彻“以人为本”的设计初衷；其次是行为触发逻辑，交互的触发方式的合理性是设计师重要考量内容，当今传感器类型多种多样，学生应提前掌握传感器的触发形式与触发范围，观众动作触发面积大小与动作幅度大小都将直接影响空间交互效果；最后的空间交互设计阶段，需要学生绘制空间草图、效果概念图等，指导后期安装落地实现。第 2 阶段的安装落地无疑是最具挑战性的阶段，前期的概念设计越丰富，后期需要注意的安装要点就越多，部分理念会因为未知客观条件而变更，导致达不到预想效果。首先是设备类型确立，包括装置类型与安装方法，这部分工作与装置艺术创作有紧密关联；第二步交互信息采集，包含信息采集与交互逻辑，信息采集需要软硬件配合，反复修改调试，交互逻辑需要设计师换位思考，打磨自身作品逻辑的准确性；最后阶段，将前期所有设计落地实现，包括光影安装与视觉呈现，这里需要考量的内容较繁杂，例如环境灯光是否对作品效果产生影响？动态视觉效果是否达到预期？声画是否同步等。这个阶段也需要反复测试打磨。胡磊、张佳、成卓越、张佳佳的爱的距离交互装置作品，见图 10，该作品利用声波传感器，识别采集观众手的距离，利用 Arduino 控制器，控制动态序列帧播放，从而实现花朵影像的绽放与闭合，展示过程中搭配音效播放，营造恋爱的氛围，作品寓意爱需要靠近才能绽放，空间叙事背景是情人节，机械花卉与视觉花卉交互装置的雏形，多感官交互叙事空间内营造浪漫氛围。信息交互作品创作鼓励从社会需求出发，从生活点滴中获取灵感，付诸实现。图 10 爱的距离序列帧播放 4 结语 信息交互设计课程是艺术与科技专业的核心课程，在培养方案中起到承上启下的作用，学生需要掌握信息设计全流程，利用课程多感官交互叙事空间设计，尝试将“信息设计”“交互设计”和“感知设计”三者的有机结合，课程设置引导学生不断利用创作探索新技术，尝试新视觉，完善交互逻辑，提升叙事美感。笔者希望信息交互设计的课程的创新实践，有利于艺术与科技专业形成新的美学范式与设计标准，结合信息艺术、装置艺术、空间艺术、光影艺术、影像（下转第 650 页）650 包 装 工 程 2023 年 4 月 计人才宗旨。实践教学体系改革强调学科竞赛和学生素养相结合，从根本上保证课程教学目标的有效落实，我院环境设计专业实践课程教学经验总结如下。第一，在课程设计上，制定针对性教学方案，导入合适的学科竞赛，统筹安排设计竞赛与课程教学的匹配；培养“双师型”教师队伍，加大人才引进，采取培养与引进相结合的措施，开拓教师团队的新教学模式和机构的管理模式。第二，在教学过程中，将竞赛作为契机，激发学生的创新思维能力和实践操作能力，启发学生主动地展开创新设计，从而实现应用型人才的培养；同时邀请设计专家开展教学讲座，提高学生的设计素养和参赛积极性；赛后进行经验总结与分析，在课程设计上进行完善与补充，确定新的设计趋势与方向。4 结语 在设计教育改革深入、转型发展的时代背景下，高校环境设计专业需要探索一条新型教学改革道路，学科竞赛与课程融合是理论联系实际较好的践行方式，为环境设计专业教学改革提供了一种符合时代人才培养要求的新思路12。从专业竞赛主题分析适用课堂、课堂设计思维拓展训练、设计成果输出三个方面进行实践，不但加强了教学理论内容与职业实践应用之间的相关性，而且突出了学生在实践活动中的主体地位和创新意识，对提升应用型人才的培养质量和教师整体素质有着积极作用，最终实现高校人才培养链与行业产业输送链的有机衔接融合。参考文献：1 吴向葵.环境设计专业“以赛促教、赛教结合”的实践教学模式探析J.辽宁科技学院学报,2021,23(1):50-52+97.2 朱玉凯.地方本科高校环境设计类课程“以赛促学”教学方法探究以公共空间设计课程为例J.职业技术教育,2019,10(17):45-48.3 高哲,杨开一,刘俏含.以学科竞赛为途径的理工科大学生创新人才培养实践研究J.创新创业理论研究与实践,2022,5(6):177-179+187.4 陆津.“实战导入式”教学模式在环境设计专业课程中的实践研究以实战性学科竞赛为例J.艺术教育,2015,(2):212-213.5 刘敏.基于设计竞赛的环境设计专业实践教学改革研究J.艺术品鉴,2018(35):349-350.6 王玥.专业自信引领下的创新设计环境设计专业毕业设计实践J.设计,2020,33(23):109-111.7 王向荣.北京林业大学风景园林学硕士课程体系与教学方式的探讨J.风景园林,2016(1):48-51.8 唐晔.环境设计专业项目实践课程的教学改革研究J.设计,2022,35(16):142-144.9 乔治,王丹,刘雅炜,石军军,张新平.空间叙事视角下西安事变纪念馆创意系列化设计J.包装工程,2022,43(14):362-374.10 董秋敏,张欢.“以赛促教”教学模式在环境设计专业应用型人才培养教学改革中的实践研究J.教育教学论坛,2017(10):131-132.11 乔治,万洁.文化记忆视角下工业遗产价值重塑以申新纱厂为例J.装饰,2022(4):130-132.12 张振兴.高校环境设计专业新型“竞-教”模式教学实践研究J.美与时代(上),2021(7):118-121.（上接第 629 页）艺术、人机交互等领域于一身，从而拓展信息设计的维度，不断完善、丰富信息交互设计课程培养体系，为多元化人才培养打好基础。参考文献：1 陈志刚,鲁晓波.大数据背景下信息与交互设计的变革和发展J.包装工程,2015,36(8):6-9.2 EASTERBY R S,ZWAGA H J G.Information Design:the Design and Evaluation of Signs and Printed Mate-rialJ.JOHN WILEY&SONS,1984,45(3):21-22.3 鲁晓波.飞越之线信息艺术设计的定位与社会功用J.文艺研究,2005(10):122-126.4 吴琼.交互设计的域与界J.装饰,2010(10):34-37.5 Digital FUN 工作室.TouchDesigner 全新交互设计及开发平台M.北京:人民日报出版社,2020.6 吴彧弓,聂槃,孙嘉.“艺术与科技”系列展览观察记J.美术观察,2020(1):37-40.7 邱宇.关于混合媒介与生命感知的艺术探索艺术与科技创作浅谈J.美术,2020(2):86-89.8 王会芹,樊欣严.基于体感技术的交互式舞台灯光控制系统设计J.中国传媒大学学报(自然科学版),2020,27(3):17-21.9 蔡新元.新媒体艺术再思考林茨电子艺术节41年主题流变J.美术观察,2021(2):84-90.10 段晓明,喻燕姣,陈锐.多人多屏数字互动的博物馆特展创新探索湖南博物院的实践J.中国博物馆,2022,27(3):26-30.