基于多模态识别技术的智能湿地水鸟监测系统

如何处理收集到的湿地及水鸟的图像声音等信息，并进行信息的提取分类成为所要研究的主要问题。基于所提取的音视频信息利用其中的多模态特征对水鸟进行识别是本项目需要解决的第二个问题。 该项目主要分为三个主要模块，第一个模块是关于水鸟种群的识别，该模块通过用户上传的图像、视频或者音频，识别水鸟的种类、种群包含的水鸟数量和水鸟行为动作。由于目前对于湿地自然保护区的水鸟观测仍采用传统的检测方式，主要依赖于经验的人工目视判读，这不仅对监测人员的工作经验有较高的要求，同时随着数据获取手段的增加，海量的检测数据也对实时水鸟监测提出了更高的要求。所以该模块主要研究的问题是如何将收集到的图像、视频和音频等数据进行多模态的融合。利用生物特征融合技术从多个维度出发、利用多种手段、基于多个平台来提高身份识别系统的性能,降低噪声、减小类内、类间差异等,提高水鸟识别的准确率。还可以对水鸟的种群大小、数量、所处年龄进行较为精准的识别。在系统中应用多模态技术，还可以提高图像与目标实时对比的效率，例如在进行水鸟各种行为的特点比对过程中,完成一次识别的时间的长度将让人无法想象。因此进行将数据进行多模态的融合，可以提高识别的准确度和效率。 该项目的第二个模块是关于珍稀水鸟的识别，由于是较为珍稀的水鸟，所以该水鸟的样本数据比较少，缺少对数据的标注。因此该模块主要研究的是如何解决水鸟训练样本不足的问题。该项目的第三个模块则是进行湿地面积的动态监测，该模块所研究的问题则是如何获得较为清晰的湿地遥感图像，并从遥感图像当中提取湿地图像。 最后基于以上模块，项目组采用Flask框架，将三个主要模块融合成最后的应用程序。项目主要功能包括：在水鸟识别方面：1.上传鸟类照片，识别鸟类的种类，并根据上传的水鸟的体型、体态综合分析出该水鸟的大致年龄，分为幼年、成年与老年和改水鸟型为代表的含义，便于保护区人员监测。2.根据上传水鸟种群的照片，识别水鸟的数量，分析种群的规模。3.上传水鸟声音进行水鸟种类的识别；在湿地监测方面：1.根据上传的图片以及图片与实际湿地面积的比例计算出当前湿地面积。2.根据上传的视频，将视频剪辑成单帧图片进行分析，从而实现周期性对区域湿地面积的实时监测。最后该应用程序可以向水鸟爱好者反馈水鸟识别结果，同时向湿地保护管理组织反馈湿地变化趋势的数据和水鸟种群的相关信息。