（1）多模态创作与编导

在数字资源库和大模型的基础上，开展辅助创作和编导研究。主要研究包括智能生成剧本、设计舞台布景等；可以用于自动生成戏曲剧本、设计舞台布景、模拟表演等。同时，大模型还可以用于推广戏曲曲艺，如在世界戏剧、曲艺界中传播戏曲曲艺的理论、介绍经典作品、推广创演方法等。主要研究内容如下：

辅助传统舞台表演的剧本创作、编导。利用人工智能技术来辅助戏曲和曲艺的创作和导演工作，主要包括剧本创作、角色设计、舞台布景和灯光设计、编导辅助等方面。

辅助传统音乐、音效配乐创作。戏曲与曲艺是中国传统音乐和表演艺术的重要组成部分，它们拥有丰富的音乐元素和独特的音效配乐。音乐信息检索（MIR）技术，利用MIR技术分析和提取戏曲与曲艺中的音高、节奏、音色等音乐特征，为音乐创作提供素材和灵感。通过风格迁移技术，将戏曲与曲艺的风格特征应用到其他音乐作品中，创造出既保留传统韵味又具有现代感的音乐作品。开发能够根据戏曲与曲艺表演内容自动产生合适配乐的系统，这些系统可以实时分析表演的情感和节奏，生成相匹配的音效和背景音乐。创建允许艺术家和普通用户共同参与的交互式创作平台，用户可以在平台上尝试不同的音乐元素组合，进行创作和分享。开发能够即兴伴奏的AI系统，这些系统能够实时响应表演者的变化，提供灵活的音乐支持。

探索动漫、游戏、短视频的创作。戏曲与曲艺多元融合创作与表现结合动漫动画、游戏和短视频传播，可以为传统艺术注入新的元素和活力，扩大观众群体，并推动传统艺术的传承与创新。创作融合探索戏曲和曲艺可以与动漫动画、游戏等形式进行跨界合作，共同创作新的作品。例如，将经典戏曲角色或曲艺形式融入到动漫动画或游戏中，创造出独特的角色和故事情节。这种跨界合作可以为传统艺术注入新的创意和想象力，吸引更多年轻观众的关注。在表现表现形式探索多样化呈现。动漫动画、游戏和短视频等媒体形式提供了丰富多样的表现手段和技术，可以将戏曲和曲艺的元素与这些媒体形式相结合，创造出多样化的艺术表达形式。通过动画的绘画风格、游戏的互动性和短视频的简洁直观性，可以将传统艺术以更生动、有趣的方式呈现给观众。需要注意的是，融合创作和表现需要尊重传统艺术的内核和精髓，避免过度商业化和失真。同时，跨界合作需要注重艺术的整体性和一致性，保持对传统艺术的敬畏和理解。戏曲与曲艺多元融合创作与表现结合动漫动画、游戏和短视频传播，为传统艺术注入新的活力和创新，拓展观众群体，同时也是传统艺术传承与发展的一种尝试。这种融合将传统与现代相结合，为艺术创作和传播带来新的可能性。

（2）数字舞台设计

数字舞台设计。数字舞台是指利用计算机图形、投影技术和虚拟现实技术等数字技术手段，将舞台效果数字化和虚拟化的舞台形式。使用智能手段和技术赋能戏曲数字舞台设计，融合智能技术和手段、情感识别以及物联网等前沿技术，提供智能背景、情感化交互和舞美与道具的实时规划设计，实现舞台设计的高度数字化和智能化，能够为观众带来前所未有的沉浸式戏曲观赏体验，为剧作家、艺术家和设计师提供更加广阔的创意空间和表达方式。主要研究内容包括智能交互式舞台背景设计、舞美情感计算集成调度、智慧化舞台道具与装置物联控制等。

1）智能交互式舞台背景设计

将图像处理人工智能算法应用于舞台背景设计，能够实现背景与表演者之间的实时互动以及动态适配剧中情景的变化。藉此，舞台控制者能够根据表演者的动作实时调整背景画面和效果，增强舞台的表现力和观众的沉浸感，更能通过智能算法自动解析剧本内容和舞台表演动作，自动生成或调整背景设计。该技术有望大幅度减轻人工设计的负担，提供更加丰富和精确的创意表达，其转化成果和解决方案与舞台设计公司、剧院以及演出市场之间都具备直接合作潜力。

2）舞美情感计算集成调度

结合情绪识别与情感计算技术，实时收集和分析观众如声音和面部表情等分析观众的情绪反馈，能够辅助实现智能调度灯光音效等舞美效果，更加精准地引导和激发观众情绪，从而显著提升观众的观赏体验，并能够为创作者提供即时的反馈信息，帮助创作团队在创作过程中优化剧目和表演，确保作品更加贴合观众的期待和情绪变化。同时，该技术转化与解决方案对剧院运营商、舞台技术解决方案提供商以及情绪识别技术公司均具有重要的商业意义，有望探索新的商业模式和寻求新的合作机会，并通过技术创新优化观众体验和参与度，深度推动演艺和技术行业的共同发展。

3）智慧化舞台道具与装置物联控制

通过整合物联网（IoT）与人工智能技术，实现对戏曲舞台道具和装置的智能化控制，使之能够在恰当的时机以适宜的方式自动参与到表演之中，并令其依据剧本要求和导演的意图完成精准的预设动作。该技术方向不仅能增加舞台演出的可视化和互动性，还能减少人为操作的错误，显著提升演出的整体质量和观众的沉浸体验。其解决方案和转化成果或可为智能设备和控制技术在舞台艺术领域的应用开辟新途径，为技术提供商和舞台设计师带来新的合作机会和增长点，也为整个戏曲表演艺术产业的发展注入新的活力，推动技术与艺术的深度融合。

（3）名家名角智慧数字人

最新的数字人与元宇宙技术可以为戏曲与曲艺的数字化传承赋能。利用虚拟现实和人工智能等技术，创建智能化的数字人和构建虚拟的艺术空间，以推动戏曲和曲艺的传承、创新和推广。主要研究内容如下：

逼真数字角色的生成。通过数字角色的创建，可以将传统艺术表演者的技艺和风格保存下来，还能逼真地模拟艺术家的表演细节，为年轻一代的艺术研究人员提供学习和创新的机会。研究人体动作、姿势和表情的捕获方法，通过真实感绘制、关节驱动、语音合成和自然语言理解等生成逼真的用于演出的虚拟人。通过对大量数据的学习和分析，让虚拟人自主学习和改进自己的行为，实现更加智能化的虚拟人行为。

基于元宇宙的演出模拟。元宇宙技术为艺术的创新提供了广阔的空间，借助数字化和虚拟化手段，可以创造出新颖、多样化的艺术形式和表达方式。通过元宇宙的构建，可以实现虚拟场景与虚拟观众、观众与艺术家的互动、个性化的艺术体验、线上线下交流联动，并在教育和推广方面发挥积极作用。这一领域的发展有助于将传统艺术与智能技术相结合，推动传统艺术在数字时代的发展和传播。

演出效果的智能评价。利用元宇宙中的动作捕获、视频处理和行为分析等技术，对戏曲与曲艺演员的表演进行智能评价，包括唱腔、动作、表情等多个方面，并给出个性化的综合指导意见，帮助演员改进和完善角色的表演。同样，可以对观众（真实观众或虚拟观众）的观看行为、情绪状态和互动情况等进行智能分析与处理，从而判断模拟演出的效果，并反馈给导演和演员。