基于数字孪生的智能矿下探索者

本作品是基于数字孪生的智能矿下探索者，搭配数字孪生模型平台接收机器人采集的数据，并展示矿下模型，同时可以通过VR穿戴设备远程控制机器人。 本作品将分为三个模块讲解，第一部分是车底层模块，由STM32F4开发板和JESTON nano开发板控制，控制机器人的驱动、雷达导航、视觉识别；第二部分是车检测模块，由STM32F4开发板控制，可检测矿下的环境；第三部分是数字孪生模型平台，通过服务器接收机器人的数据，使用UE4实现VR控制、建模查看等功能。 第一部分车的底层模块，主控是一块STM32F4开发板，板上外设ADC用于读取电池电量，另使用FreeRTOS系统，可同时管理陀螺仪和电机。陀螺仪型号MPU9250，用于读取机器人姿态数据四元素，并将此数据发送给STM32F4用于后续进行运动学解算；机器人是一款履带车，带有光电编码器，直流减速电机驱动。STM32F4开发板同时与一块JESTON nano开发板连接，把惯性测量单元（IMU）信息传输给JESTON nano，使用机器人操作系统ros，进行运动学解算。 JESTON nano使用ros,外接一块HDMI显示屏、一个雷达、一个摄像头。雷达扫描矿下全景，生成二维栅格地图，再生成全局代价地图和局部代价地图，使用巡线相关算法，导航机器人在矿下进行巡线和避障。摄像头外加一个探照灯补光，获取井下图像数据，使用yolo神经网络算法，识别摄像头捕捉到的井下工作人员图像，判断他们是否有佩戴安全帽，并做出相应提醒。 第二部分 STM32F4开发板将采集到的数据串口发送给一块串口屏，进而实时显示各项数据。以上数据还发送到ESP32模块，再通过TCP协议将数据发送至服务器，用于数字孪生模型平台的运作。 第三部分数字孪生模型平台，服务器将接收到的各项数据发送到MySQL数据库，通过UE4软件的UI界面实时显示机器人采集到的数据。通过雷达建立的矿下模型也展示在UE4，可选择第三人称视角观看或者使用机器人第一人称视角观看。调取搭载在车上的网络摄像头，对井下数据进行更精密的分析。穿戴VR设备，借助SteamVR，也可通过VR眼镜看到井下建模，使用VR手柄远程操控机器人的移动。