【海康】一文读懂海康机器人3D视觉引导拆码垛系统

　　视觉是人类最重要的感觉器官，占人类信息获取的80%以上。机器视觉作为一种替代人眼的强大技术，已经取得了巨大的突破并得到了广泛的应用。机器视觉系统可以代替人眼完成测量、定位、识别和检测，在制造业、安防、文化等行业有大量的应用机会。

　　机器视觉不仅可以克服人眼标准的不一致性、不重复性和主观性，还可以为行业制定质量控制的数字化标准。在高速度、高光谱、高分辨率、高可靠性、工作连续性、环境适应性等方面也能超越人眼的极限。

　　背景介绍和案例总结

　　近年来，随着工业自动化和物流技术的不断发展，如何利用自动化设备提高物流效率，减少人工已经成为物流行业最关心的问题。机器视觉系统能够快速获取大量图像信息并自动处理，使得机器视觉帮助物流行业快速走向智能化和自动化。目前，在工业自动化应用中，机器视觉广泛应用于缺陷检测、扫描识别、定位判断和位置测量。可以在节省人力成本，提高整体运营效率的同时，大大提高空间利用率，从而降低运输成本。

　　随着电子商务和物流业的快速发展，分拣模式的发展迫在眉睫。人工分拣存在效率低、出错率高、成本高等缺点。特别是在码垛应用中，由于人工工作强度大、工作内容单一、质量和效率普遍较低，自动码垛系统应运而生。在传统的自动码垛应用中，经常要求“拆包”和“编码”的对象是规则和单一尺寸的货物。在这种情况下，传统的手工教学方法难度大，效率低。为了解决这一问题，海康机器人研发了一套基于机器视觉引导的机械臂拆包码垛方案，可以解决多SKU、无序来料的问题。

　　海康机器人采用自主研发的高精度3D摄像头、机器人运动控制平台软件和智能算法的方案，将AI算法和深度学习紧密结合，突破了传统自动码垛的局限性，可以应对复杂多变的码垛形状、多样随机的箱子。

　　方案介绍

　　在该方案中，3D摄像机负责获取工作范围内盒子(如托盘或传送带)的深度信息和高清2D图像，并将深度信息和2D图像信息发送给机器人控制平台软件。平台软件内置3D视觉算法和智能轨迹规划算法。3D视觉算法通过AI深度学习+3D点云分割，可以快速准确定位盒子在托盘或带线上的位置，智能轨迹规划算法提供精确的抓取点、放置点和轨迹点，引导机械臂快速抓取和堆叠。

　　三维视觉引导码垛系统

　　方案中使用的3D摄像机是海康机器人新推出的宽视场双目结构光立体摄像机，具有精度高、景深大、视场大的特点。相机的探测精度达到3 mm，探测范围达到1800mm，近视视场为1350mm×1200mm，远视视场为3650mm×2750mm(如图2所示)，可以轻松适配1.2m * 1m * 1。同时具有极高的检测效率和稳定性，从拍照到轨迹算法输出抓取点的时间小于1.5s。

　　3D摄像机视野示意图

　　为了更方便客户自主搭建机械臂拆包码垛的控制系统，海康机器人专门开发了机器人运动控制平台软件。软件采用图形化无代码编程界面，简单易用(如图3)。软件内置轨迹规划、碰撞检测、抓取规划等智能算法，软件可适配国内外各种主流品牌的机器人。

　　码垛视觉定位模块采用AI深度学习+3D点云分割的方案。使用RGBD相机对堆积物进行实时拍照，获取包裹和托盘的三维数据(深度图+RGB图)。定位处理流程如图4所示。首先，使用深度学习网络对RGB图像包进行粗略定位。然后利用物体表面的纹理特征和点云的边缘特征进行包裹的精确定位，并基于包裹表面的点计算最优抓取点坐标。最后，利用预先获得的手眼标定关系，将视觉位姿转换到机械臂的坐标系中进行抓取处理。

　　视觉定位的技术路线

　　海康机器人3D摄像机具有出色的抗环境光能力。在典型的工厂光照条件下(20000lx)，海康机器人3D相机的点云数据明显优于其他相机，对比图片如图5所示。同时，海康机器人3D相机在渲染高反光和黑色物体的点云方面也优于其他相机，对比图像如图6所示。在实际测试样本中，其他3D相机在高反光金属和黑色纸箱中的点云数据都有很大程度的丢失，而海康机器人3D相机仍然可以保证比较完整的呈现。

　　反环境光对比度

　　高反射和黑色物体的对比测试

　　该方案采用2D+3D组合视觉定位处理，具有精度高、鲁棒性强、抗环境光能力强、不怕黑暗物体等特点。可精确应用于各种盒子、包装盒、杂志、编织袋、工件等物体，定位效果和精度不受物体位置和姿态的影响。

　　定位效果图

　　智能轨迹规划算法包括拆包过程和堆垛过程的点规划。如图8所示，通过解包分析/堆叠分析确定路径规划的终端配置，然后根据感知信息和环境配置，通过碰撞检测规划出安全的解包/堆叠路径。拆包分析和堆叠分析的一般过程如下:

　　拆垛分析是基于三维视觉分类的点云，通过平面拟合计算出相应的法向量、重心位置等信息，从而得到每类点云的拆垛点位置。同时，在路径规划过程中，物体的大小由用于碰撞检测的外接矩形决定；然后，通过基坐标与托盘的转换关系、机器人状态和拆垛方式来评估拆垛姿态的代价，最终确定最优的拆垛构型。

　　码垛分析是对用户编辑或自动生成的码垛图案进行解码(如图9所示)，通过基坐标/托盘变换关系的计算，对每个摆放姿态的代价进行评估和排序，从而得到摆放构型序列，并根据输入的摆放指标和机械臂逆运动姿态得到最终的摆放构型，同时内部存储码垛盒的信息，用于路径规划过程中的碰撞检测。

　　开箱和码垛的整个过程

　　码垛规则定义示意图

　　摘要

　　海康机器人三维视觉引导码垛系统旨在解决非结构化环境下无法抓取形状未知的物体或抓取成功率低的问题。基于高精度三维相机的抓斗和环境的2D彩色图像信息，结合三维点云数据，精确提取抓斗的边缘轮廓，通过智能算法选择最优抓斗点，并基于软件中设置的环境约束输出最优轨迹点，提高了整个系统的精度和可靠性。通过使用该系统，用户可以轻松应对多SKU、完全随机来料的场景，在满足自动化码垛要求的同时，进一步提高生产效率，降低生产成本。