摘要：在烟草仓储物流行业中，传统件烟拆垛作业仅能应对同品规定向拆垛，每种品规拆垛流程、轨迹规划、抓取位置事先由机器人示教编程预设。随着3D视觉技术和人工智能（AI）技术的发展，这些先进技术为传统机器人拆垛系统带来了革新。本文提出了一种基于3D视觉的智能拆垛系统。该系统能够应对全品规物料拆垛，适应多种品规、多种包装类型物料的混码组盘拆垛作业，并可通过适配柔性手爪实现多种抓取方式。该系统显著提升了工业机器人拆垛系统的柔性化与智能化水平，提高了机器人抓取物料的准确性和可靠性，从而提升了物流系统的整体运行效率。

关键词：3D视觉；智能识别；机器人；物体定位；拆垛算法

一、引言

随着3D视觉技术的不断进步和广泛应用，越来越多的业界研究者开始将其应用于机器人拆垛系统。通过3D视觉技术，机器人能够更加精确地检测其工作环境，并获取目标物的空间位置信息，从而有效地引导机器人进行拆垛作业。在面对未知环境和目标物时，传统的图像处理算法（如滤波、阈值处理、模板匹配、特征提取等）常被用来提取所需的信息，以支持拆垛任务的完成。

尽管基于视觉的拆垛系统已经具备一定的智能化水平，但仍然面临一些挑战。例如，工作环境的变化、目标物的颜色、纹理以及反光程度的差异，均会对检测的可靠性和稳定性产生负面影响。这些问题在实际应用中限制了拆垛系统的性能。

为了进一步提升机器人拆垛系统的智能化水平，研究者们开始探索更先进的技术手段。其中，基于深度学习的自适应拆垛系统成为备受关注的研究方向。杜学丹[1]和夏晶等人[2]通过将机器视觉与深度学习相结合，成功地指导了机器人的拆垛工作。他们将诸如Faster R-CNN（faster region-based convolutional neural network）和R-FCN（region-based fully convolutional network）等优秀的目标检测与识别网络应用于姿态估计问题中，从而实现了对物体的位姿估计与抓取。Shin等人[3]则采用了实例分割算法Mask R-CNN（region-based convolutional neural network）来识别物体，并在机器人外部安装了相机。通过相机拍摄到的场景图像信息，结合重心和方向算法，可获得物体的姿态。这种自适应拆垛系统能够通过深度学习算法自动学习和适应不同的拆垛场景，从而灵活应对各种品规与垛型。

自适应拆垛系统的核心在于能够实时处理和分析大量的视觉数据，从而实现对工作环境的精确感知。通过深度学习算法，系统可以自动识别和分类不同的物料，即使在复杂的环境中也能准确地定位和抓取目标物。这种系统不仅提高了拆垛作业的效率和准确性，还大大减少了对人工干预的依赖，为工业自动化领域带来了新的突破。本文着重研究3D视觉技术结合深度学习算法实现智能拆垛系统的关键技术。

二、系统框架

机器人智能拆垛系统通过通讯网线与3D相机及机器人连接。待抓取目标位于托盘上，3D相机安装于托盘上方，系统的组成示意图如图1所示。首先，利用棋盘格手眼标定法确定相机坐标系和机器人坐标系的转换关系（即转换矩阵）。实际应用时，3D相机对工作区域进行拍照，获取当前堆垛的深度图像、彩色图像及3D点云信息。随后，采用深度学习算法Mask R-CNN对彩色图像进行分割识别，并通过获取分割实例掩码最小外接矩形的图像处理方法，得到所有目标像素中心和外接矩形框的旋转角度。利用相机坐标系到机器人坐标系的转换关系与3D点云信息，将目标二维像素中心坐标转换得到其在机器人坐标系的三维坐标。结合实例分割掩码最小外接矩形框的旋转角度，共同组成目标的四维位姿。通过深度信息过滤顶层目标后的RGB-D信息，结合深度学习算法可一次实现堆垛顶层所有待抓取目标的定位。最后，通过设计拆垛策略生成点位信息串发送给拆垛机器人，引导机器人以一定抓取顺序完成准确、安全的拆垛工作。

图1 机器人智能拆垛系统示意图

1.相机安装方式

通常，相机有两种安装方式。一种是相机安装在机械手臂上，随着机械臂一起移动，称为“眼在手”，如图2所示。

图2 眼在手

另一种是相机固定安装于托盘上方，称为“眼在外”，如图3所示。

图2 眼在外

相机安装位置固定后，相机坐标系即固定，相机坐标系原点位于相机内部，坐标系符合右手定则，Z轴垂直于相机镜头面向下，距离越远Z值越大，点云信息里的Z值代表像素点到相机XOY面的垂直距离。工程项目里通常相机安装支架平行于托盘侧端面安装，如相机存在安装偏角，目标待抓取物矩形框旋转角度需做偏角修正。

2.视觉系统基础数据信息

3D相机提供的基础数据信息包括2D RGB图像、深度数据信息、3D点云信息以及彩色图像与深度数据结合的RGB-D图像。RGB-D图像既带有丰富的彩色纹理信息，又自带像素点深度信息。工程项目中通常会根据顶层垛料高度结合物料自身的高度过滤出顶层RGB-D图像作为目标识别的输入信息。再结合RGB-D对应的3D点云数据获取2D图像任意像素点在相机坐标系里对应的空间坐标点。用（Row,Col）To（x,y,z）表示。3D相机出厂时已做过相机标定，通过相机SDK相应方法可以获取相机的内外参数以供手眼标定时使用。

三、目标视觉定位

待抓取目标的位姿由其在机器人坐标系中的位置坐标和旋转角度构成，用于描述目标在机器人坐标系的状态。默认情况下，待抓取目标位于平面上，其姿态用4自由度位姿(X,Y,Z,R）表示，（X,Y,Z）描述目标在机器人坐标系的三维位置坐标，R描述目标在平面的旋转状态，即目标绕机器人坐标系Z轴的旋转角度。为实现目标的视觉定位，需首先分割出平面上的单个目标物，然后确定目标物的像素中心。随后，利用相机的外参系数，以及像素到相机坐标系的转换关系，计算生成单个目标物在相机坐标系下的位姿。最后，通过手眼标定得出相机坐标系到机器人坐标系的转换关系，将目标物在相机坐标系下的位姿转换为机器人坐标系下的位姿。

1.目标检测分割

目标检测需要训练目标检测模型，分类图像中的对象，以及标出目标类别的大体位置，通常用矩形框框定目标物。目标实例分割不仅要识别对象，还要精确描绘出对象的轮廓。目标分割需要训练目标实例分割模型。目标实例分割模型进一步深化了目标检测模型，不仅能够确定图像中的对象和位置，还能够创建一个精确的像素级别的区域，以此来表示每个检测到的对象的形状。在拆垛应用中，需要精确提取目标的边缘以计算抓取位置，旋转角度，因此需要采用实例分割技术。目标检测框如图4所示，实例分割框如图5所示。

图4 目标检测框

图5 目标实例分割框

3D相机在实际工作场景中，可以通过垛料高度过滤出顶层RGB-D图，再利用训练好的实例分割框架与目标最小外接矩形的图像处理方法对RGB-D图进行实例分割。图6(a)为RGB原图，图6(b)为过滤后的顶层RGB-D图，图6(c)为实例分割图。

图6 RGB图例

（1）实例分割框架

本文使用的实例分割框架，采用深度学习算法Mask R-CNN作为主网络，网络结构如图7[4]所示。

图7 Mask R-CNN网络结构图

Mask R-CNN采用经典目标检测算法Faster R-CNN 和经典语义分割算法FCN 相融合的网络结构，前者Faster R-CNN可快速有效地实现目标检测功能，后者FCN可精准的完成语义分割。采用Mask R-CNN框架能对箱体有较好的检测和定位，同时Mask R-CNN中Mask 分支能够对箱体进行掩膜分割，为每个待抓取实例生成一个高质量掩膜Mask，从而利用掩膜计算目标更精确的最小外接矩形，最终获取每个箱体的抓取中心和水平旋转角度信息。

Mask R-CNN框架能够很好应对烟草行业烟箱表面颜色多样、图案复杂多变、箱体边缘粘连、胶带各异、光线不均等复杂应用场景。在算法实现中，以相机对当前工作场景下不同的箱型、垛型进行采集生成的RGB-D图像和RGB图像作为数据集，并对数据集进行标注训练后生成工程可用的深度学习模型，可以精确识别出箱体，袋包等目标。使用训练好的Mask R-CNN实例分割模型对视觉系统的RGB-D图像或RGB图像进行识别处理，可以获取所有待抓取目标的像素信息，包括掩膜、目标像素点集、轮廓面积、像素中心位置等。

（2）目标定位方法

在实际工作场景中使用手爪吸盘进行拆垛任务，需要定位目标中心位置以及目标旋转位姿以保证抓取运送过程中的准确性与稳定性，对于工业化纸箱箱体等方形目标，目标中心可以通过最小外接矩形中心来获得。利用抓取目标的实例掩码，使用凸包轮廓算法循环计算分割出的每个目标实例掩码的轮廓点集的最小外接矩形，从而获得外接矩形像素中心和旋转角度用作拣选。

图8 基于最小外接矩形的旋转角度获取方法

获得目标的像素中心与旋转角度后，利用像素坐标到相机坐标转换关系以及相机坐标到机器人坐标转换关系，可得每个目标在机器人坐标系的四维位姿 。

2.像素坐标系到相机坐标系转换关系

像素坐标系以图像平面的左上角为原点，单位是像素；图像坐标系以图像平面的中心为原点，单位是毫米；相机坐标系以相机的光心为原点，Z轴为光轴；这些坐标系之间的转换是通过相机的成像模型和标定参数来实现的。

像素点p=(u,v)转换到相机坐标系的坐标P=(X,Y,Z)的转换公式为：

其中K为内参矩阵，K为内参矩阵逆矩阵，分别为

其中fx ，fy为焦距，c ，c为主点坐标，s为坐标轴倾斜参数，理想情况下为0。

将K应用到公式中，可得

其中Z是相机坐标系中的深度值。

3.相机坐标系到机器人坐标系转换关系

通过“手眼标定”可以确定机器人坐标系和相机坐标系的转换关系。对于“眼在手”的相机安装方式，在机械臂的两次运动中，机器人底座与标定板的位姿关系始终不变，此时求解的量为相机和机器人末端坐标系的位姿关系。对于“眼在外”的相机安装方式，在机械臂的两次运动中，机器人末端与标定板的位姿关系始终不变，此时求解的量为相机和机器人底座坐标系之间的位姿关系。两种情况最终都转化为一个AX=XB的求解问题，其中A是相机前后两次空间变换的齐次矩阵；B是机械臂末端坐标系前后两次变换的齐次矩阵；X为待求解的手眼矩阵，通过多次求解该方程，即可解出X。

（1）A的求法

A是两个相机坐标系之间的变换矩阵。假设上述相机标定中有3张标定图片的外参矩阵分别是HC1,HC2,HC3,那么可以得出两个A矩阵：

HC表示标定板坐标系到相机坐标系的转换关系（相机外参矩阵），可由相机标定求得[5]。在工程应用中，通常使用Opencv的SolvePnP算法直接求解出每组标定板视图在相机坐标系里的位置姿态（用旋转向量和平移向量作代表），期间会用到3D相机的内参矩阵，畸变系数，这些为已知。标定板示意图如图9所示。

图9 标定板示意图

（2）B的求法

B是两个机械臂坐标系的变换矩阵。假设上述相机标定中的3张标定图片所一一对应的机械手坐标系在基坐标系（也可以是工件坐标系或其他固定的参考坐标系）中的坐标系描述结果分别是Hg1,Hg2,Hg3（需要从机器人控制器或示教器中读取或转换），那么可以得到两个B矩阵：

Hg表示机械手坐标系到机器人基础坐标系的转换关系，可以由机器人系统中得出。

Hg=[R t]，其中R=Rx×Ry×Rz；Rx，Ry，Rz分别是绕x，y，z轴的旋转角度，

由以上两组A和B，代入AX=XB就可以得出唯一解X。

（3）X的求法

X是相机坐标系到机械手坐标系的变换矩阵。例如相机获取25幅标定板图像，进行相机标定，可得25个外参矩阵，同时对应从示教器界面读取或转换得到25个机械手姿态矩阵。接着可以利用（1）（2）得到组A、B，再利用AX=XB计算得到X。

相机坐标系到机器人坐标系坐标转换公式为：

四、拆垛流程实现

设计合理的拆垛顺序与拆垛组合，制定合理的通讯协议和通讯流程，是拆垛任务实现的几个关键点。由单个目标的像素中心转化为机器人坐标系的坐标，经过合理的拆垛策略，生成包含先后抓取顺序的多个组合。组合的目标位置、数量、方向按制定的通讯协议格式，通过以太网发送至机器人，由机器人根据接收到的信息完成末端手爪姿态调整、吸盘开合等一系列动作。每完成一次抓取任务后，机器人触发视觉系统拍照，执行一次识别定位决策出下一个拆垛组合。另外，为了便于用户处理异常情况，系统需设计异常捕捉与反馈，比如物料尺寸不合、识别目标数量不合、垛型校验不合等异常情况。同时，系统提供故障复位按钮和继续运行按钮，供现场工作人员使用。

1. 拆垛策略设计

（1）拆垛顺序策略设计

针对不同的项目场景设计合理的拆垛顺序，是设计由近及远，还是设计由X坐标或Y坐标升序或降序排序优先的拆垛顺序，需要根据不同项目需求确定。合理的拆垛顺序可以有效地避免夹具在进行抓取过程中碰撞，同时保证最高效完成拆垛任务。

（2）拆垛组合策略设计

归纳总结具体项目的垛型种类，结合手爪夹具的结构与大小，针对每种垛型设计拆垛组合。对于方向（横向竖向）一致的箱子，适合一次性拆垛。将分割完的单个箱子的像素中心 ，通过转换公式(4)转换为相机坐标系坐标 ，然后再经由“手眼矩阵”转换为机器人坐标系的坐标 ，多个目标中心坐标......通过拆垛组合策略计算出组合的中心坐标、物料数量（Count）、物料摆放方向（Direction）等信息。

图10 拆垛组合

2.安全拆垛工作区域设计

安全工作区域由托盘以及最大堆垛在机器人坐标系里所占用的三维空间位置来确定。用公式表达为：

五、实验结果与分析

1.实验平台搭建

根据实验需求搭建实验平台（如图11），实验平台由智能拆垛软件控制系统、视觉硬件系统及机器人手爪夹具系统组成。视觉硬件系统包括相机、补光灯、视觉控制器、显示器等设备。软件控制系统的开发环境为windows 10 x64，程序编译环境为Visual Studio 2022，由Opencv3.3.0提供图像处理程序的相关类库。相机采用图漾3D相机FM815-E1-G1，机器人采用KuKa 6轴工业机器人，相机固定式安装于托盘工位上方3.5～4m处。预备好实验托盘，多品规纸箱，搭建标准码垛和混箱码垛进行视觉识别抓取实验。平台实验现场如图12所示。

图11 实验平台组成

图12 实验现场

2.模型训练

收集400张现场图片样本，图片样本基本能涵盖所有箱型，图片分辨率为1280×960。将所有样本分成两个集合，一个训练集一个测试集。为了增加模型训练集的鲁棒性和泛化性采用改变图像亮度、模糊图像、翻转平移图像、增加噪声等图像增强技术来模拟现场中不同环境下采集的质量不一的图像，增强后训练集为600张，测试集为100张。利用Labelme标定软件对图像进行实例轮廓标注，生成json文件，采用成熟训练平台进行训练。训练成功后用测试集测试模型效果，训练集标注如图13所示，模型训练测试结果如图14所示。

图13 训练集标注

图14 模型训练测试结果

3.视觉定位实验结果分析

任意搭建各种品规标准垛型和异型垛型进行识别定位抓取实验。分别记录每层箱子在X轴、Y轴、Z轴方向的平均定位误差以及旋转角度的平均计算误差。该误差体现的是箱子分割图像像素误差，3D相机硬件误差以及手眼标定转换关系误差三者的综合误差。实验垛型如图15所示，实验数据如表1所示。实验数据表明，视觉定位精度在1～5mm之间。角度定位误差在1°～3°之间。各层箱子在X轴方向和Y轴方向的误差趋于一致，底层箱子的Z轴方向误差相比上层箱子的Z轴方向误差要略大，这和3D相机硬件指标特性有关系：物距越远，测得Z值误差越大。实例分割模型的精度影响箱子像素识别的精度，训练集涵盖现场数据样本越全面，分割效果越好，箱子像素中心就越准确。实验表明5mm的定位精度并不影响吸盘的成功抓取。

表1 不同垛型平均定位抓取误差

图15 搭建测试垛型

4.抓取流程实验

根据拆垛工位、机器人及输送系统烟箱放置位置三者之间的空间相对位置设计拆垛顺序策略。根据垛型种类、吸盘大小、数量设计拆垛组合策略。设计完拆垛策略和通信流程后，工业机器人以设计的策略接收组合抓取信息（包括组合中心点位置、数量、箱子摆放方向），控制手爪吸盘到指定的位置进行抓取任务。机器人每执行一次抓取任务，便通知拆垛软件系统执行一次识别定位任务，系统的拍照、识别定位响应时间大概为1.5～2s。机器人抓取纸箱离开托盘工位后即可执行下一次拍照识别流程，即机器人放置箱子流程和识别流程可同步执行。表2为抓取实验记录表。

表2 抓取实验记录表

5.混码组盘拆垛实验

搭建混码码垛垛型，测试目标识别定位拆垛任务的实现。对于混码组盘拆垛任务只适用于机械手吸盘单次拆单箱的情况，只要实例分割没有问题，其他的一切流程并没有什么不同。混码组盘垛型如图16所示，混码组盘纸箱分割结果如图17所示。实验证明智能拆垛软件系统能够很好应对混码组盘拆垛任务。

图16 混码组盘垛型图

图17 混码组盘纸箱分割结果图

六、总结

针对传统示教再现机器人拆垛存在的诸多问题，本文着重研究了3D视觉智能拆垛系统实现的关键技术，并搭建了实验平台验证系统实现全品规拆垛、混码拆垛作业的可靠性和稳定性。实验结果表明，基于深度学习实例分割算法的视觉识别定位算法能够有效应对烟草物流行业纸箱品规多样、垛型种类繁多、光线复杂多变的应用场景；目标识别定位精度在X轴、Y轴方向误差稳定在1～5mm之间，目标平面旋转角度误差稳定在1°～3°之间；软件系统拍照识别响应时间为2s左右。制定合理的机器人拆垛策略能够有效避免机械手爪在执行拆垛任务时与周边设备或烟箱碰撞，并能有效提高系统的整体运行效率。

参考文献:

[1]杜学丹,蔡莹皓,鲁涛,等.一种基于深度学习的机械臂抓取方法[J].机器人,2017,39(6):820-828,837.

[2]夏晶,钱堃,马旭东,等.基于级联卷积神经网络的机器人平面抓取位姿快速检测[J].机器人,2018,40(6):794-802.DOI:10.13973/j.cnki.robot.170702.

[3]Shin H, Hwang H, Yoon H, et al. Integration of deep learning-based object recognition and robot manipulator for grasping objects[C]//Proceedings of the 16th International Conference on Ubiquitous Robots (UR).Jeju:IEEE,2019.174–178.

[4]刘宝临,邹汶材.基于视觉定位的机器人智能拆垛系统[J].计算机系统应用,2023,32(7):138-144.

[5]Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.