“潮起飞羽”-基于深度学习的智能多模态水鸟识别

本系统基于深度学习，主要分为两个模块，一是水鸟的多模态识别部分，在此部分，用户可通过上传一张图像或一段视频来进行水鸟的识别，后端对用户所上传的数据进行识别后，返回前端该识别结果。 水鸟图像识别功能，支持用户上传jpg、png和jpeg格式的图片，前端选择文件上传后，对文件路径进行解析，然后检查后缀名是否符合我们规定的图片格式，之后基于uuid(1)方法生成基于时间戳的随机数，用它来重命名文件避免文件名碰撞，之后将文件传给后端static文件夹下，后端加载预训练模型对图像进行识别，返回置信度前五的水鸟种类，同时前端界面返回水鸟图片； 水鸟视频识别功能，视频识别界面用户可选择MP4、AVI等格式的水鸟视频进行上传，上传视频会重新保存在后端文件夹中；之后使用pyav和ffmpeg对用户上传的视频提取关键帧保存为jpg格式，将关键帧图片设置为固定名称并将其传给后端static文件夹下，之后将该关键帧运用图片识别模型进行识别，返回置信度前五的水鸟种类； 二是水鸟答题部分，用户可以在此部分进行关于水鸟信息的答题，此功能可以对用户进行水鸟知识和环境知识的科普。