[논문]딥러닝 기반 제조 공장 내 AGV 객체 인식에 대한 연구

이길원; 이활리; 정희운

doi:10.6109/jkiice.2021.25.1.36

딥러닝 기반 제조 공장 내 AGV 객체 인식에 대한 연구
Object Detection of AGV in Manufacturing Plants using Deep Learning 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.1, 2021년, pp.36 - 43

이길원 (Wixcon Co. Ltd.) , 이활리 (Hyundai Motor Company) , 정희운 (Graduate School of Management of Technology, Hoseo University)

초록
AI-Helper

본 논문에서는 제조 공장 내 AGV (Automated Guided Vehicle) 주행 중 객체 인식을 위한 YOLO v3 알고리즘의 정확도에 대해 살펴보았다. 실험을 위해 2D LiDAR 및 스테레오 카메라가 장착된 AGV를 준비하였다. AGV 주행 중 2D LiDAR를 활용한 SLAM 기법으로 지도 정보를 획득하였고 스테레오 카메라를 활용한 객체 인식이 이루어졌다. 그리고 YOLO v3 알고리즘 기반의 학습 정도에 따른 재현율, AP, mAP 등을 측정하였다. 실험 결과, 4000장의 train data 와 500장의 test data 로 훈련된 YOLO v3 알고리즘에 AGV에 장착된 스테레오 카메라의 시점과 높이에서 획득한 1200장의 이미지를 추가로 학습할 경우 mAP가 약 10% 향상되었다. 정밀도(precision) 와 재현율 역시 각각 6.8%와 16.4% 향상되었다.

Abstract ▼ AI-Helper

In this research, the accuracy of YOLO v3 algorithm in object detection during AGV (Automated Guided Vehicle) operation was investigated. First of all, AGV with 2D LiDAR and stereo camera was prepared. AGV was driven along the route scanned with SLAM (Simultaneous Localization and Mapping) using 2D LiDAR while front objects were detected through stereo camera. In order to evaluate the accuracy of YOLO v3 algorithm, recall, AP (Average Precision), and mAP (mean Average Precision) of the algorithm were measured with a degree of machine learning. Experimental results show that mAP, precision, and recall are improved by 10%, 6.8%, and 16.4%, respectively, when YOLO v3 is fitted with 4000 training dataset and 500 testing dataset which were collected through online search and is trained additionally with 1200 dataset collected from the stereo camera on AGV.

주제어

표/그림 (16)

그림 Fig. 1 Schematic of YOLO v3 Darknet-53
그림 Fig. 2 Accuray and speed of R-CNN, SSD, and YOLO
그림 Fig. 3 AGV used in the research
표 Table. 1 Specification of Kobuki
표 Table. 2 Specification of LiDAR
표 Table. 3 Specification of Stereo Camera
표 Table. 4 Confusion Matrix
그림 Fig. 4 AGV moves along the designated coordinates
그림 Fig. 5 SLAM mapped Path of AGV
그림 Fig. 6 Data labeling for deep learning
표 Table. 5 Measured TP, FP, and FN
그림 Fig. 7 Accurate object detection (No overlapping)
그림 Fig. 8 Inaccurate object detection (Overlapped by human)
그림 Fig. 9 Inaccurate object detection (Detect nearest object first)
표 Table. 6 Measured precision and recall
표 Table. 7 Measured AP and mAP

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 LiDAR를 활용한 좌표 정보와 스테레오 카메라를 활용한 객체 인식 정보의 결합을 통해 장애물을 회피하며 지정된 경로를 이동하는 AGV의 객체 인식 정확도에 대한 실험을 진행하였다.
본 논문에서는 공장 내 주행 과정에서 실시간으로 대용량의 영상을 받아들이는 AGV의 객체 인식 알고리즘으로 적합하다고 판단되는 YOLO v3 알고리즘을 학습 시켜 공장 내 객체에 대한 인식 정확도를 높이는 연구를 수행하였다.
본 논문에서는 무인운반차의 인프라 구축비용을 최소화하기 위해 ROS 기반의 위치 정보를 활용해 자율 주행으로 제어되는 AGV의 주행 중 객체 인식 정확도 분석에 대한 연구를 수행하였다. 특히 R-CNN 과 SSD 대비 연산 속도가 빨라 실시간으로 대용량의 영상을 수집하는데 있어 적합할 것으로 여겨지는 YOLO v3을 이용하여 객체 간 겹침과 거리(원근)에 따른 객체 인식의 정확도를 평가하였다.

제안 방법

(는 학습을 위한 데이터 라벨링을 보여준다) 그리고 AGV 주행 중 획득한 영상을 이미지로 분할하여 각 클래스별 두 모델에서 보여주는 AP(Average Precision)과 AP의 평균값인 mAP(mean Average Precision)의 값을 측정하였다.
AGV 객체 인식 및 주행 제어를 위한 실험 환경을 구성하기 위해 사람, 파렛트(pallet), 박스, 플라스틱 바구니 등의 객체를 AGV의 주행 경로에 배치하였다. 그리고 ROS기반 LiDAR를 이용한 SLAM 방식으로 주변 환경을 맵핑 (Mapping), 좌표를 선정하여 이동 중 만나는 장애물을 인식, 회피하도록 하였다.
일반적으로 AGV의 주행 알고리즘을 수행하기 적합한 가속도 센서, 자이로 센서를 포함하고 있으며, 충돌 시 부품 보호를 위한 충격 완화 범퍼, 센서가 장착되어 있다. Kobuki 제어를 위하여 ROS가 탑재된 JETSON TX2 Hardware 를 USB를 이용하여 연결하였고, 원격제어를 위해 Wi-Fi 기반 네트워크 시스템을 구성하였다.
그리고 ROS기반 LiDAR를 이용한 SLAM 방식으로 주변 환경을 맵핑 (Mapping), 좌표를 선정하여 이동 중 만나는 장애물을 인식, 회피하도록 하였다.
또한 일반적인 4000장의 이미지 데이터셋과 오버 피팅 방지를 위한 500장의 무작위 테스트 데이터셋을 함께 학습한 YOLO v3 기반 모델 1, AGV 스테레오 카메라의 높이와 시점에서 획득한 1200장의 이미지를 추가로 학습한 모델 2의 성능을 비교하였다. (<그림 6>는 학습을 위한 데이터 라벨링을 보여준다) 그리고 AGV 주행 중 획득한 영상을 이미지로 분할하여 각 클래스별 두 모델에서 보여주는 AP(Average Precision)과 AP의 평균값인 mAP(mean Average Precision)의 값을 측정하였다.
KOBUBI 정면에 장착하였다. 스테레오 카메라를 이용해 AGV 정면을 통해 인식되는 영상을 PC로 전송, 객체인식 알고리즘을 통한 영상을 분석하였다. 카메라의 상세 사양은 <표 3>에 제시되어 있다.
또한 일반적인 다양한 각도에서 촬영한 4000가지의 이미지를 학습한 모델 1과 AGV에 장착된 스테레오 카메라의 시점에서 촬영된 1200장의 이미지를 추가로 학습한 모델 2를 준비하였다. 영상을 2FPS로 나눈 500가지의 이미지를 통하여 mAP를 측정하였다.
주행하였다. <그림 5> 와 같이 2D LiDAR를 활용해 SLAM 기반 지도를 제작한 뒤, 출발점으로부터 지정된 두 장소를 경유하여 다시 출발점으로 돌아오는 방향으로 경로를 설정하였다. 스테레오 카메라로 획득한 주행 영상은 PC로 전송해 2FPS의 이미지로 검출해 테스트 데이터셋을 구성하였다.
대한 연구를 수행하였다. 특히 R-CNN 과 SSD 대비 연산 속도가 빨라 실시간으로 대용량의 영상을 수집하는데 있어 적합할 것으로 여겨지는 YOLO v3을 이용하여 객체 간 겹침과 거리(원근)에 따른 객체 인식의 정확도를 평가하였다.

대상 데이터

공간 내 객체 인식을 위해 IntelRealsense Camera (D435)를 KOBUBI 정면에 장착하였다. 스테레오 카메라를 이용해 AGV 정면을 통해 인식되는 영상을 PC로 전송, 객체인식 알고리즘을 통한 영상을 분석하였다.
학습 알고리즘은 정확도가 높고 연산 속도가 빠른 YOLO v3 를 채택하였다. 또한 일반적인 다양한 각도에서 촬영한 4000가지의 이미지를 학습한 모델 1과 AGV에 장착된 스테레오 카메라의 시점에서 촬영된 1200장의 이미지를 추가로 학습한 모델 2를 준비하였다. 영상을 2FPS로 나눈 500가지의 이미지를 통하여 mAP를 측정하였다.
사람, 파렛트, 박스, 플라스틱 바구니 등의 클래스에 대해 4000가지의 이미지를 확보 후 YOLO v3 알고리즘을 활용해 학습한 모델과 AGV 에 장착된 스테레오 카메라의 높이와 시점에서 관찰 가능한 1200가지의 이미지를 동일한 알고리즘을 활용해 추가 학습한 모델을 준비하였다.
<그림 5> 와 같이 2D LiDAR를 활용해 SLAM 기반 지도를 제작한 뒤, 출발점으로부터 지정된 두 장소를 경유하여 다시 출발점으로 돌아오는 방향으로 경로를 설정하였다. 스테레오 카메라로 획득한 주행 영상은 PC로 전송해 2FPS의 이미지로 검출해 테스트 데이터셋을 구성하였다. 장애물이 보이지 않는 이미지는 제외시켰으며, 클래스 중 하나인 사람의 경우 자유롭게 이동할 수 있도록 하였다.
실험 결과, 와 같이 모델 1에서는 총 1265개의 Ground Truth에서 770개의 TP를 검출하였으며, 모델 2 에서는 902개를 검출하였다.
앞서 설명한 것처럼 본 연구를 위한 클래스로 공장에서 흔히 볼 수 있는 사람, 파렛트, 박스, 플라스틱 바구니 등 총 4가지를 선정하였다. 공장 환경의 특성 상 다양한 제조 장비, 생산라인이 존재하기 때문에 복잡한 영상 배경에 대한 오 검출률이 낮고 또 AGV 가 주행 과정에서 실시간으로 대용량의 스트리밍 데이터를 취득해야 하기 때문에 연산속도 및 처리가 빠르게 이뤄져야지는 Yolov3 알고리즘을 선택하였다.
이동을 위한 Turtlebot Kobuki, SLAM 기반 지도 형성을 위한 2D LiDAR, 객체 인식을 위한 스테레오 카메라 등으로 구성되어 있다. 로봇의 원격제어를 위한 Wi-Fi 기반의 네트워킹 시스템도 포함되어 있다.
제조 공장에서 흔히 볼 수 있는 사람, 파렛트, 박스, 플라스틱 바구니 등을 AGV 주행 경로 내 장애물로 배치하였다. 학습 알고리즘은 정확도가 높고 연산 속도가 빠른 YOLO v3 를 채택하였다.

이론/모형

총 4가지를 선정하였다. 공장 환경의 특성 상 다양한 제조 장비, 생산라인이 존재하기 때문에 복잡한 영상 배경에 대한 오 검출률이 낮고 또 AGV 가 주행 과정에서 실시간으로 대용량의 스트리밍 데이터를 취득해야 하기 때문에 연산속도 및 처리가 빠르게 이뤄져야지는 Yolov3 알고리즘을 선택하였다.

성능/효과

연구가 진행 중이다[11]. 그 결과 R-CNN, Fast R-CNN, Faster R-CNN 등 성능에 있어 지속적인 향상을 이루었다. 사각형 타입의 바운딩 박스(Bounding box) 가아닌 객체의 경계를 확인할 수 있는 segmentation을 활용한 Mask R-CNN 등 대한 연구도 상당히 진행되었다 [11-14].
있다. 스테레오 카메라의 높이와 시점에서 관찰되는 1200장의 이미지를 추가로 학습시키면서 정밀도와 재현율이 각각 6.8%와 16.4% 향상되는 모습을 보였다.
902개를 검출하였다. 즉 AGV의 높이와 시점에서 획득한 이미지를 추가로 학습시킨 모델에서 더 높은 인식 정확도를 보였다. 다만 <그림 7>과 같이 각 객체들이 겹치지 않고 분리되어 있을 경우 정확한 인식을 하였지만, <그림 8>과 같이 실험 과정에서 움직이는 사람이 다른 객체와 겹치거나 <그림 9>과 같이 스테레오 카메라 상에 2가지 이상의 객체가 존재하게 되는 경우 근거리에 위치한 객체를 우선 인식하는 한편 원거리에 위치한 객체의 이미지가 가려지게 되면서 인식 정확도가 감소하였다.
촬영한 이미지를 바탕으로 작성한 1265개의 Ground Truth에서 모델 1, 모델 2 알고리즘으로부터 각각 770, 902의 TP(True Positive)값이 도출되었으며, 객체 인식정확도는 두 모델 모두 0.88, 0, 94로 우수하지만, 영상이 미지의 겹침 현상이나 원거리의 객체를 인식 못하는 경우 FN(False Negative)값이 495, 363 등으로 높아지며 정확도가 상대적으로 낮아지는 모습을 보였다.

참고문헌 (17)

S. Kaliappan, J. Lokesh, P. Mahaneesh, and M. Siva, "Mechanical Design and Analysis of AGV for Cost Reduction of Material Handling in Automobile Industries," International Research Journal of Automotive Technology, vol. 1, no. 1, pp. 1-7, Jan. 2018.
E. S. Maarif and T. Moyo, "Driving control module for low cost industrial automated guided vehicle," IOP Conference Series: Materials Science and Engineering, vol. 535, no. 1, pp. 1-13, Jun. 2019.
S. Simoncic and P. Podrzaj, "Visionbased control of a line tracing mobile robot," Computer Applications in Engineering Education, vol. 22, no. 3, pp. 474-480, Aug. 2011.

상세보기
J. Li, W. Chen, B. Li, and T. Wang, "Road recognition and tracking control of an vision guided AGV," Transactions of the Chinese Society for Agricultural Machinery, Feb. 2008.
G. Zhou, J. Yuan, I. Yen, and F. Bastani, "Robust real-time UAV based power line detection and tracking," in Proceedings of the 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, pp. 744-748, 2016.
M. Lv, T. Gao, and N. Zhang, "Research of AGV scheduling and path planning of automatic transport system," International Journal of Control and Automation, vol. 9, no. 4, pp. 1-10, Apr. 2016.

상세보기
C. Liu, J. Tan, H. Zhao, Y. Li, and X. Bai, "Path planning and intelligent scheduling of multi-AGV systems in workshop," in Proceedings of the 2017 36th Chinese Control Conference (CCC), Dalian, pp. 2735-2739, 2017.
Y. Yang, M. Zhong, Y. Dessouky, and O. Postolache, "An integrated scheduling method for AGV routing in automated container terminals," Computers & Industrial Engineering, vol. 126, pp. 482-493, Dec. 2018.

상세보기
M. V. Gomes, L. A. Bassora, O. Morandin, and K. C. T. Vivaldini, "PID control applied on a line-follower AGV using a RGB camera," in Proceedings of 2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC), Rio de Janeiro, pp. 194-198, 2016.
S. Buck, R. Hanten, K. Bohlmann, and A. Zell, "Generic 3d obstacle detection for AGVs using time-of-flight cameras," in Proceedings of 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, pp. 4119-4124, 2016.
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," in Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, pp. 580-587, 2014.
R. Girshick, "Fast R-CNN," in Proceedings of 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, pp. 1440-1448, 2015.
S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," in Proceedings of Advances in Neural Information Processing Systems 28 (NIPS 2015), pp. 1-9, 2015.
K. He, G. Gkioxari, P. Dollar, and R. Girshick, "Mask R-CNN," in Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV), Venice, pp. 2980-2988, 2017.
J. R. R. Uijlings, K. E. A. van de Sande, T. Gevers, and A. W. M. Smeulders, "Selective search for object recognition," International journal of computer vision, vol. 104, no. 2, pp. 154-171, Sep. 2013.

상세보기
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," in Proceedings of 2016 IEEE conference on computer vision and pattern recognition (CVPR), Las Vegas, pp. 779-788, 2016.
J. Redmon and A. Farhadi, "YOLO9000: Better, Faster, Stronger," in Proceedings of 2017 IEEE conference on computer vision and pattern recognition (CVPR), Hawaii, pp. 7263-7271, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증