GeoSpace: 结合笔式交互与语音交互的智能三维立体几何绘制系

GeoSpace是一款结合笔式交互与语音交互的三维立体几何绘制系统。在Unity3D引擎上通过单独设计的隐藏、旋转线面等三维图形算法, 制作了这款基于MVC架构的多层模块来实现旋转、度量、展示等功能的立体几何软件。此外, 我们还设计和训练了手写识别与语音识别模块, 通过接口调用集成于系统中, 首次实现了几何教学软件的多模态交互。

本系统可依据功能类别划分为三个模块: 几何模块、命令模块和识别模块。

几何模块是系统的基础模块, 实现了立体几何的数据处理和逻辑行为。主要负责增删与存储几何图形点、边、面等元素、渲染三维图形物体、控制镜头的位置视角变换、绘制用于计算边的虚实线的深度图等功能。

命令模块负责响应用户对几何图形、 UI 视图的操作, 根据操作内容来修改几何模型, 并通知几何视图与界面进行响应的更新。

识别模块是系统的核心模块. 本系统在传统图形界面交互的基础上, 整合板书的笔交互和模拟讲课的语音交互, 采用多模态的交互方式, 增强了本系统在实际教学环境中的操作性与实用性。