非遗表演视频中的动作提取与拉班舞谱生成系统

数媒竞赛获奖作品信息及简介
作品名称非遗表演视频中的动作提取与拉班舞谱生成系统
作品分类民族文化
参赛院校北方工业大学
指导老师蔡兴泉
团队成员刘世科/李晨雨/袁加艳/邓骏韬/袁博
奖项等级国赛二等奖
竞赛年份2023

为了对非遗表演视频中表演者的动作高效自动地生成拉班舞谱,降低舞谱绘制者的学习成本,设计并开发了非遗表演视频中的动作提取与拉班舞谱生成系统。本系统建立在普通非遗表演视频的背景下,主要针对录制好的二维视频进行舞谱自动生成,其中不包含音频信息、深度信息等,同时也没有相机内参、高度、角度等信息,且无需额外标定参考点等操作。首先,训练好本系统研究改进的人体二维关键点检测和三维姿态估计算法;然后,将待记录舞谱的非遗表演视频输入到训练好的算法模型中;接着,进行表演者肢体二维关键点检测,之后,对表演者肢体二维关键点检测的结果输入到三维姿态估计算法中,实现对非遗视频表演者的三维姿态估计,并可视化到结果显示界面;最后,将预测到的表演者的三维姿态结果输入到拉班舞谱生成算法中,自动生成拉班舞谱并在结果显示页面中显示。