UlBot-基于多模态脑机接口的物体识别与抓取机器人控制

基于脑机接口和仿人机器人的现状，本项目将针对单模态脑机接口分类精度低和输出命令少、传统脑控机器人系统过于依赖脑控操作、目标识别所用网络非线性特征融合不足，对小目标定位弱的问题设计出了一种混合脑机接口的脑控机器人控制系统，搭建了机器人前进、后退、左转、右转的运动控制系统和抓取释放小球的机械控制系统，提高脑电信号的精度与目标识别的准确度。此项目的实现可为残疾患者在家庭服务方面和在危险环境下工作的人员提供帮助，具有实用性和可行性。 在脑机接口方面，本系统采用非侵入式的的SSVE988P+P300混合脑机接口系统，在刺激范式上我们采用了基于交叉频率调制的方法，增大了各个刺激按钮之间的特征区别，提高分类精度；在 SSVEP 和 P300 的异步检测算法中，我们将混合脑电信号直接输入训练好的cnn+lstm神经网络模型和SVM算法模型中进行分类，依据并发SSVEP+P300的混合特征进行分类。分类之后根据结果输出对应命令结果，发送至机器人端口。 在仿人机器人系统方面，改进Yolo算法进行目标识别，提出YOLOv7-RAR模型，即YOLOv7-RAR算法，解决了网络非线性特征融合不足，对小目标定位弱的问题，同时也提升了模型的推理速度和模型推理速度，在更深的网络也能够有效地学习和汇聚；通过CVTS目标追踪，使NAO机器人能够实时地捕获并跟踪该物体；通过机器人胸前的超声波发射器发送信号通过超声波接收器接收超声信号，信号通过处理器处理后，反馈出机器人距离前方物体的长度，使得NAO机器人能够进行抓取和避障操作。 在脑控仿人机器人系统方面，充分利用机器人上的传感器实现机器智能决策，用户通过机器人传感器和摄像头反馈的多模态信息完成对周围环境的理解，体现出人脑在决策和感知方面的优势以及机器人在反应速度和计算智能上的优势，使得机器本身可以对紧急状况进行感知并自主决策，增强BRF系统的稳定性。