基于 Taurus&Pegasus AI 视觉套件的手势识别控制系统中的手势识别系统与控制功能主要采用Taurus & Pegasus AI计算机视觉基础开发套件和USB工业摄像头来实现,所用到技术包括了开发套件视频采集、 图像色域转换 、颜色通道分割、高斯滤波、自动阈值、凸点检测、边缘检测、余弦定理计算手势等。此外,该系统经济实惠且运行效率高,在工作中,该系统首先会对读入图像进行处理,并进行视觉数据的采集,在采集完成后会视频数据进行处理,包括了对捕获图像的双边滤波、背景减除以及对视频数据的皮肤检测等,最后进行手势检测和识别及对凸点的计算,最终可以通过手势进行相应控制操作。 此作品在未来能够进行特定功能场景下的人机交互,包括 1.互动娱乐:在视频聊天中,人们往往想要与屏幕对面的人产生互动,结合用户的手势(例如点赞),实时增加相应的贴纸或特效,应用特效随手而动,可以增加互动过程中的趣味性。其次,在短视频的拍摄过程中,也可以通过手势识别加入一些有趣的动漫设计。 2.智能家具:远距离操控智能家电、家用机器人、可穿戴等硬件设备,通过做出相应的手势来控制硬件设备遵从指令来切换功能,一方面方便了用户的远程操作,另一方面也避免了可能存在的危险(例如湿手触电等),同时人机交互方式也显得更加智能化和自然化。 3.日常工作:例如,在当前疫情期间提倡无接触,那么对于研究所、核酸检测实验室等类似地点,对于计算机的使用同样需要尽量做到无接触,该系统可以通过手势实现无接触式控制计算机。此外,该项技术通过手势即可实现相应的操作,使得工作者在系统屏幕前就可完成多项工作,一定程度上提高了工作的效率。 4.VR与AR:在虚拟环境中,赋予人们贴近现实生活的手势识别导航和控制能力,例如比较有趣的方式是用手在空中画一个圈,就像卡通动画中出现的时空门一样,从现实场景切换到虚拟场景,建立最直接的人机交互方式。 5.智能车载:通过车载手势,控制左滑、右滑、音量的加减、菜单等操作,可以在一些比较嘈杂的环境下,有效补充语音识别短板,使得车内的交互更加方便自然。 6.工业制造:通过手势控制多项操作,不仅可以工作提高效率,实时监控各项参数,还可一定程度上避免潜在的危险,例如高压电、高温、缺氧等环境的操作。