基于 RGB-D 图像的航空托运行李测量方法

中国民航大学学报 ›› 2023, Vol. 41 ›› Issue (4): 44-50.

基于 RGB-D 图像的航空托运行李测量方法

张威^1，2，3，陈宇浩¹，张攀^1，2，崔明¹

（1.中国民航大学航空工程学院，天津300300；2.民航智慧机场理论与系统重点实验室，天津300300；3.中国民航航空地面特种设备研究基地，天津300300）

收稿日期:2021-12-14 修回日期:2022-01-05 出版日期:2023-08-25 发布日期:2023-10-25
基金资助:
天津市飞机维修与民航地面特种设备技术工程中心开放基金课题（TACSTEC2022003）；
天津市研究生科研创新项目（2022SKYZ247）；中央高校基本科研业务费专项（3122023018，3122023031）

Measurement method of airline checked baggage based on#br# RGB-D image#br#

ZHANG Wei ^1,2,3 , CHEN Yuhao¹ , ZHANG Pan^1,2 , CUI Ming¹

(1. College of Aeronautical Engineering, CAUC, Tianjin 300300, China; 2. Key Laboratory of Smart Airport Theory and System, Tianjin 300300, China; 3. CAAC Aviation Special Ground Equipment Research Base, Tianjin 300300, China)

Received:2021-12-14 Revised:2022-01-05 Online:2023-08-25 Published:2023-10-25

摘要/Abstract

摘要： 针对机场托运行李码垛自动化流程中行李形位测量精度不高的问题，提出了一种基于RGB-D图像的航空托运行李形位测量方法。首先利用相机内参从RGB-D图像中解析出行李的图像和点云数据，通过聚类和透视变换等手段提取出行李主体的三维点云和二维图像数据；然后根据提取所得行李图像和点云数据对行李旋转角度进行测量，并以包围盒包围质量为依据，选择最优旋转角度进行行李尺寸测量。实验结果表明，综合利用RGB-D中的行李图像和点云信息对行李进行形位测量能有效提升测量精度，与单纯使用点云进行测量相比，行李尺寸测量平均误差下降了21.11%，行李位置测量平均误差下降了11.80%，旋转角度测量平均误差下降了6.09%，实现了航空托运行李的高精度测量，满足了行李码垛自动化流程对行李测量环节的要求。

关键词: 行李测量, 机器视觉, RGB-D 图像, 边缘检测, 点云聚类

Abstract: Aiming at the problem of low accuracy in baggage shape and position measurement in the automated process of airline checked baggage palletizing, a method for measuring the size and position of airline checked baggage based on RGB-D images is proposed. Firstly, the image and point cloud data of the baggage are resolved from the RGB-D image based on the internal parameters of camera, the 3D point cloud and 2D image data of the main part of the baggage subject are extracted through clustering and perspective transformation. Then, the baggage rotation angle is measured based on the extracted baggage image and point cloud data. Finally, the optimal rotation angle is selected for baggage size measurement based on the surrounding quality of the bounding box. The experimental results show that comprehensive utilization of baggage image and point cloud information in RGB-D can effectively improve the accuracy of measuring the shape and position of baggage. Compared to that of the measurement simply using point cloud, the average error of baggage size measurement is decreased by 21.11%, the average error of position measurement is decreased by 11.80% and the average error of rotation angle measurement is de creased by 6.09%. It has achieved high-precision measurement of airline checked baggage and met the require ments of automated baggage palletizing process for baggage measurement

Key words: baggage measurement, machine vision, RGB-D image, edge detection, point cloud clustering

中图分类号:

张威, 陈宇浩, 张攀, 崔明. 基于 RGB-D 图像的航空托运行李测量方法[J]. 中国民航大学学报, 2023, 41(4): 44-50.

ZHANG Wei , CHEN Yuhao , ZHANG Pan , CUI Ming. Measurement method of airline checked baggage based on#br# RGB-D image#br#[J]. Journal of Civil Aviation University of China, 2023, 41(4): 44-50.

参考文献 10

[1]	温俊, 张同荣. 智慧机场航站楼安全联检均衡分散方法仿真[J].
	计算机仿真, 2021, 38(7): 59-62, 138.
[2]	杨璐. 基于双目立体视觉的行李规格检测研究[D]. 天津: 中国民航大学, 2013.
[3]	高庆吉, 位园园. 基于表面深度值均方差的航空行李分类研究[J].
	计算机工程与科学, 2017, 39(1): 125-130.
[4]	朱嘉宸. 基于深度相机的机场自助行李托运关键技术的研究[D]. 成都: 电子科技大学, 2020.
[5]	卢祺, 林婷婷, 李程鹏, 等. 空间非合作目标点云聚类配准方法[J].
	红外与激光工程, 2021, 50(9): 354-363.
[6]	史红霞, 王建民. 基于法向量区域聚类分割的点云特征线提取[J].
	中国机械工程, 2021, 32(21): 2552-2561.
[7]	陆海凌, 李洋, 林赟, 等. 基于帧间 DBSCAN 聚类的毫米波雷达交通多目标跟踪方法[J]. 信号处理, 2021, 37(11): 2115-2124.
[8]	魏硕, 赵楠翔, 李敏乐, 等. 结合改进 DBSCAN 和统计滤波的单光子去噪算法[J]. 激光技术, 2021, 45(5): 601-606.
[9]	ZHENG Y, LI G Y, SUN X H, et al Geometric active contours without re-initialization for image segmentation[J]. Pattern Recognition, 2009, 42(9): 1970-1976.
[10]	张长勇, 吴智博, 王艳芳. 基于 K-means 的航空行李快速装箱算法[J]. 包装与食品机械, 2019, 37(3): 38-42, 34.

[1]	蔡靖a, 刘汉磊a, 霍海峰a, 支雁飞b, 任彦龙b. ECC 疲劳损伤规律及微观结构研究[J]. 中国民航大学学报, 2024, 42(1): 59-64.
[2]	支雁飞, 王辉, 刘建颖. CFRC 道面板电热效应模拟研究[J]. 中国民航大学学报, 2023, 41(5): 42-48.
[3]	吴仁彪, 王建刚, 王晓亮, 何炜琨. 强运动杂波环境下弱小无人机目标检测方法[J]. 中国民航大学学报, 2023, 41(1): 22-29.
[4]	汪磊, 张梦茜, 邹颖, 蔡艺伟. 基于信息加工模型的飞行员能力测评指标研究[J]. 中国民航大学学报, 2023, 41(2): 1-7.
[5]	宋洋, 张楷文, 姜红肖. 耦合消防设施的航站楼火灾演化机理研究[J]. 中国民航大学学报, 2023, 41(2): 8-13.
[6]	王鹏, 姚鑫鹏, 汪克念, 陈文琪, 陈曦. 基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法[J]. 中国民航大学学报, 2023, 41(2): 14-20.
[7]	史永胜, 夏志超. 基于 Vega Prime 的无人直升机飞行模拟系统[J]. 中国民航大学学报, 2023, 41(2): 58-64.
[8]	吴越, 亚军, 孙现玲, 周景贤, 吕宗平. 基于区块链的民航网络安全威胁情报共享方案[J]. 中国民航大学学报, 2023, 41(4): 16-22.
[9]	陈斌, 吴瑾. 机场旅客吞吐量预测方法研究综述[J]. 中国民航大学学报, 2023, 41(3): 1-7.
[10]	谢春生, 张旭. 基于改进人工势场法的危险天气下路径改航[J]. 中国民航大学学报, 2023, 41(3): 13-18.
[11]	岳仁田, 张知波. 基于云模型的空管运行系统脆弱性评估[J]. 中国民航大学学报, 2023, 41(3): 25-30.
[12]	黄妍妮 , 陈丰 , Pak-wai Chan. 地形对香港国际机场起降航道低空风切变的影响[J]. 中国民航大学学报, 2023, 41(3): 31-40.
[13]	王亚锋, 刘继军. 航空座椅动态冲击试验最严酷工况选择研究[J]. 中国民航大学学报, 2023, 41(3): 47-52.
[14]	高建树, 王庆强. 水雾喷射角对半封闭机舱火灾灭火效果模拟研究[J]. 中国民航大学学报, 2023, 41(3): 53-58.
[15]	史永胜, 杜坤, 李莎. 基于响应面模型的安全箱卡扣强度优化[J]. 中国民航大学学报, 2023, 41(3): 59-64.