由教育部仪器类专业教学指导委员会、中国仪器仪表学会教育工作委员会、沈阳市仪器仪表与自动化学会主办,贵州大学承办的第三届全国仪器类毕业设计大赛于2024年5月18日至6月1日,经过预赛、半决赛和决赛三个阶段,以线上和线下相结合的方式成功举办。在来自全国28个省份132所高校的567篇毕业设计(论文)中,评选出一等奖34个,二等奖56个,三等奖73个。中国仪器仪表学会监事长吴朋,中国仪器仪表学会副理事长、教育部仪器类专业教学指导委员会主任委员曾周末和部分教学指导委员会委员作为评审专家出席了本次大赛决赛。我院吴剑锋老师作为评审专家参加了本次大赛的评审工作。
我院智能感知工程专业应届毕业生李明雨同学的毕业设计“基于多模态融合的机器人稳定抓取技术研究”成功入围决赛,并获得全国一等奖。
获奖项目介绍:
项目名称:基于多模态融合的机器人稳定抓取技术研究
指导老师:宋爱国教授
项目成员:李明雨
机器人抓取在医疗陪护、工业智能化生产等相关领域具有重要的应用价值。而现有的抓取系统多为视觉抓取系统,在弱光照、物体透明、视角有限等视觉受限情况下,无法准确感知待操作物体的形状,进而无法生成有效的抓取姿态,导致抓取异常。为此,本文融合视觉信息和触觉信息以增强对物体形状的感知能力,并在此基础上实现基于深度学习的六自由度抓取参数生成,完成视觉受限情况下的机器人稳定抓取。
首先进行基于深度视觉和光学触觉融合的物体形状重建,构建了一种基于高斯过程的因子图模型,通过优化求解融合视觉和触觉观测,得到符号距离体素表示的物体形状重建结果,该重建结果在主要尺寸误差上显著优于纯视觉和经典方法的重建结果。接着开展了抓取生成研究,设计了全连接卷积神经网络处理形状重建结果,并搭建了抓取仿真平台以获取抓取数据训练神经网络,进一步对神经网络输出进行处理并选择最优参数,最终在仿真和实物平台开展了抓取实验。实验结果表明,视觉触觉融合相较于纯视觉在抓取生成具有优势,在实物平台的抓取成功率为84.8%,相比于纯视觉方案提高52.0%。