虚拟乐器演奏平台

项目基于多模态人机交互交互技术来搭建虚拟乐器演奏平台。项目搭建网站，用户可在网站上任意选择陶笛、葫芦丝、编钟等乐器。用户能够突破传统乐器演奏的实体限制，不需要实体乐器，仅仅需要在摄像头、麦克风等多模态信息采集下做出演奏动作即可实现演奏效果。

互联网+乐器

人工智能技术和智能制造方式，令乐器生产及产品本身都发生了深刻变革。智能乐器的快速崛起为乐器产业升级打开了一扇窗，然而乐器始终是需要文化传承的，传统的乐器制造业需要拥抱新科技。随着科学技术的发展，信息结构、用户体验逐步向数字化转型。信息数字化后有利于长期保存，也为后期的开发提供了广泛空间。例如，湖北省博物馆将文物信息数字化，在全国率先实现5G网络全馆覆盖，并且推出了乐·兵VR体验利用全息投影互动技术，在互动区模拟敲击，观众可听到真正来自曾侯乙编钟的声音。殊途同归，项目搭建的虚拟乐器演奏平台同样可以储存乐器信息并长久保存，有利于乐器的改良发展。

多模态人机交互技术

多模态人机交互旨在利用语音、图像、文本、眼 动和触觉等多模态信息进行人与计算机之间的信息 交换。 其中包括人到计算机的多模态信息输入与计 算机到人的多模态信息呈现,是与认知心理学、人机 工程学、多媒体技术和虚拟现实技术等密切相关的 综合学科。 目前,多模态人机交互与图像图形领域 中的各类学术和技术联合得越来越紧密。
多模态人 机交互技术作为人—机—物的技术载体,在大数据 与人工智能时代,其学术和技术发展前沿与图像图 形学、人工智能、情感计算、生理心理评估、互联网大 数据、办公教育和医疗康复等领域发展息息相关。

Media Pipe技术

MediaPipe是由Google开发的开源机器学习框架，旨在简化计算机视觉和媒体处理任务的开发。它提供了一种可扩展的方法来处理视觉数据，包括图像和视频，并可以在多种平台上运行，包括Android、iOS、Linux和Windows。

Leap Motion手势感应器

Leap Motion是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器，5月13日正式上市，随后于5月19日在美国零售商百思买独家售卖。2013年7月22日发布的新版Leap Motion已经开始派送，新版的Leap Motion将具有更高的软硬件结合能力。