Recently, robotic bin-picking tasks have drawn considerable attention, because flexibility is required in robotic assembly tasks. Generally, stereo camera systems have been used widely for robotic bin-picking, but these have two limitations: First, computational burden for solving correspondence pro...
Recently, robotic bin-picking tasks have drawn considerable attention, because flexibility is required in robotic assembly tasks. Generally, stereo camera systems have been used widely for robotic bin-picking, but these have two limitations: First, computational burden for solving correspondence problem on stereo images increases calculation time. Second, errors in image processing and camera calibration reduce accuracy. Moreover, the errors in robot kinematic parameters directly affect robot gripping. In this paper, we propose a method of correcting the bin-picking error by using trinocular vision system which consists of two stereo cameras andone hand-eye camera. First, the two stereo cameras, with wide viewing angle, measure object's pose roughly. Then, the 3rd hand-eye camera approaches the object, and corrects the previous measurement of the stereo camera system. Experimental results show usefulness of the proposed method.
Recently, robotic bin-picking tasks have drawn considerable attention, because flexibility is required in robotic assembly tasks. Generally, stereo camera systems have been used widely for robotic bin-picking, but these have two limitations: First, computational burden for solving correspondence problem on stereo images increases calculation time. Second, errors in image processing and camera calibration reduce accuracy. Moreover, the errors in robot kinematic parameters directly affect robot gripping. In this paper, we propose a method of correcting the bin-picking error by using trinocular vision system which consists of two stereo cameras andone hand-eye camera. First, the two stereo cameras, with wide viewing angle, measure object's pose roughly. Then, the 3rd hand-eye camera approaches the object, and corrects the previous measurement of the stereo camera system. Experimental results show usefulness of the proposed method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
4로부터 삼각형 POLOR과 삼각형 Ppp′의 닮음관계로부터 카메라와 물체와의 거리 z에 대한 식을 식 (3)과 같이 나타낼 수 있다. 본 논문에서는 랜드 마크의 모서리, 또는 점까지의 거리를 측정하여, 3차원 CAD 모델과 정합하고자 한다.
본 논문에서는 로봇 빈-피킹 작업을 위한, 고정형 스테레오 비젼 시스템과 로봇 팔에 장착된 핸드-아이 카메라를 합친 트리나큘라 비젼 시스템을 제안하였다.
본 논문에서는 빈-피킹에 대한 실용화를 위하여, 기존의 넓은 시야를 가지는 고정형 스테레오 비전 시스템에 로봇 팔에 장착된 한 개의 핸드-아이 카메라를 추가하여 로봇 팔이 물체를 잡을 때에 정밀도를 향상 시키는 방법을 제안하였다.
대응 문제(corresponding problem)와 물체 인식은 스테레오 비젼 시스템에서의 가장 시간이 많이 걸리고 어려운 문제이다. 본 논문에서는 이러한 문제를 극복하고 실용적 활용을 위하여 물체의 CAD 모델과 랜드 마크를 도입하였다. 스테레오 비젼 시스템에서 먼저 랜드 마크를 스테레오 비젼 시스템에서 먼저 랜드 마크를 인식하고, 거리 및 특징점들을 기반으로 CAD 모델을 정합시켜 대상 물체를 인식하도록 하였다.
5에 나타내었다. 우선 마커가 부착된 물체의 엣지(edge)를 검출하고 3D 자세(pose)정보를 획득하는 것이 목적이다. 이때 프로그램에 사용된 영상처리 알고리즘은 카메라의 위치 및 방향을 알아낼 때 사용하는 함수(solvePnP)와 3차원 회전변환을 표현하는 한 방법인 Rodrigues’s rotation formula 등을 사용하였다.
제안 방법
대상 물체 기준 점에서 가장 멀리 있는 세 번째 꼭지점(point 3)에 대해서 위치와 방향을 측정하였다. Table 4에서 보면, x-y 위치 표현 좌표 값은 오차율 6% 미만의 비교적 정확한 반면에 z 좌표값 즉 거리는 18% 정도의 오차가 많이 남을 알 수 있다.
8~10과 같이 각각 다른 자세에 대하여 정밀도 실험을 진행하였다. 대상 물체의 점과 점간의 실제 절대적인 위치를 정확히 측정하는 것은 매우 어려우므로, 이미 알고 있는 랜드 마크의 점과 점간의 거리를 기준으로 측정하였다.
두 번째 실험은 스테레오 비젼 카메라에서 본 대상 물체의 위치 및 자세 측정 오차를 알기 위해서, 대상 물체의 3개를 각각 다른 자세에 대하여 월드 좌표계에서 알고 있는 한 개의 점을 기준으로 각 물체의 위치 및 방향을 측정하였다.
세 번째 실험은 두 번째 실험과 동일한 조건에서 핸드-아이 카메라에서 정합된 CAD 모델이 얼마나 오차를 보정할 수 있는지를 실험하였다.
본 논문에서는 이러한 문제를 극복하고 실용적 활용을 위하여 물체의 CAD 모델과 랜드 마크를 도입하였다. 스테레오 비젼 시스템에서 먼저 랜드 마크를 스테레오 비젼 시스템에서 먼저 랜드 마크를 인식하고, 거리 및 특징점들을 기반으로 CAD 모델을 정합시켜 대상 물체를 인식하도록 하였다.
제안된 방법의 타당성을 검증하기 위하여 실험을 통해 기존의 스테레오 비전 시스템과 비교하여 인식 성능이 얼마나 향상되었는지 평가하였다. 스테레오 카메라와 핸드-아이 카메라 간의 물체 정보는 물체의 CAD 모델을 활용하였으며, 부품의 초기 인식을 위해서는 부품상의 랜드 마크를 사용하여 작업을 단순화 시켰다. 제안된 빈-피킹전략은 실험을 통하여 매우 실용적 사용이 가능함을 보였다.
첫 번째는 스테레오 비젼 카메라의 정확도를 확인하기 위하여 랜드 마크의 점과 점간의 거리를 기준으로 측정하였다. 오차를 측정하기 위해 3개 물체를 Fig. 8~10과 같이 각각 다른 자세에 대하여 정밀도 실험을 진행하였다. 대상 물체의 점과 점간의 실제 절대적인 위치를 정확히 측정하는 것은 매우 어려우므로, 이미 알고 있는 랜드 마크의 점과 점간의 거리를 기준으로 측정하였다.
먼저 스테레오 비젼 시스템은 랜드 마커를 인식한 후 물체까지의 거리 및 3차원 자세정보를 얻는다. 이를 기반으로 CAD 모델을 정합시키고, 이에 정보를 저장한다.
핸드-아이 카메라는, 로봇 팔이 물체에 접근 시에 좁은 시야를 가지지만, 물체를 보다 확대하여 정밀하게 봄으로써 물체를 잡을 때의 정밀도와 신뢰도를 향상 시킬 수 있는 장점이 있다. 제안된 방법의 타당성을 검증하기 위하여 실험을 통해 기존의 스테레오 비전 시스템과 비교하여 인식 성능이 얼마나 향상되었는지 평가하였다. 스테레오 카메라와 핸드-아이 카메라 간의 물체 정보는 물체의 CAD 모델을 활용하였으며, 부품의 초기 인식을 위해서는 부품상의 랜드 마크를 사용하여 작업을 단순화 시켰다.
제안된 시스템 좌표계는 Fig. 2와 같이 구성이 되어있으며 각각의 좌표계는 {CS}는 스테레오 좌표계, {CL}은 왼쪽 좌표계, {CR}은 오른쪽 좌표계, {R}은 로봇 좌표계, {H}은 핸드-아이 카메라 좌표계, {O}는 물체 좌표계, {W}는 월드 좌표계로 정의한다.
첫 번째는 스테레오 비젼 카메라의 정확도를 확인하기 위하여 랜드 마크의 점과 점간의 거리를 기준으로 측정하였다. 오차를 측정하기 위해 3개 물체를 Fig.
최근 공정라인의 자동화와 비전 센서(vision sensor) 및 인식 기술의 성능 향상으로 인하여 생산 라인 구축에 대한 부담감을 줄이고자하는 시도가 계속되고 있다. 효과적으로 생산성을 향상시키기 위하여 비전 센서를 기반으로 하는 방식을 도입하였다. 이를 통해 비정형화된 환경에서도 로봇이 인간을 대신하여 놓여있는 물체를 자동으로 인식하여 자동화된 공정을 실행하고 있다.
대상 데이터
보다 쉽고 실용적으로 작업을 수행하기 위해서는 랜드 마크를 붙여서 사용하는 것이 여러 측면에서 유리하다. 본 연구에서는 3개 카메라를 이용한 효율성을 강조하기 위해서 물체는 직육면체로 단순화 하였다.
제안된 빈-피킹 시스템의 인식 부분은 대시야를 가진 고정형 스테레오 비전 시스템에 로봇 팔에 장착된 한 개의 소시야용 핸드-아이 카메라를 추가하여 Fig. 1과 같이 구성된 형태인 트리나큘라 비전 시스템(trinocular vision system)이다.
데이터처리
오차율은 식 (5)와 같이 월드좌표계 상에서 실제 물체의 위치[x, y, z]와 방향 [α, β, γ]를 측정한 결과와 스테레오 비젼을 이용해 측정한 결과를 백분율로 측정하였다.
이론/모형
이때 프로그램에 사용된 영상처리 알고리즘은 카메라의 위치 및 방향을 알아낼 때 사용하는 함수(solvePnP)와 3차원 회전변환을 표현하는 한 방법인 Rodrigues’s rotation formula 등을 사용하였다.
성능/효과
본 논문에서는 스테레오 비젼 시스템과 핸드-아이 비젼 시스템에서 다시 계산함으로써 정보의 정밀도를 향상시켰고, CAD 모델과 랜드 마크를 이용하여 대응 문제를 해결하고, 쉽고 빠르게 정보를 추출함으로써 보다 빈-피킹 문제를 보다 쉽게 풀 수 있게 하였다. 결과적으로 로봇 빈-피킹에 있어 고정된 스테레오 비전 시스템과 핸드-아이 비젼 시스템을 이용한 비쥬얼 서보잉의 개념을 도입하면 더 정확한 측정 결과를 기대할 수 있음을 알 수 있었다. 향후 복잡한 물체를 대상으로 본 연구의 결과를 확대 적용이 과제로 남아 있다.
여러 대의 카메라를 사용할 경우, 물체의 인식도는 높아지지만 카메라 간의 대응 문제(corresponding problem)가 심각해진다. 본 논문에서는 스테레오 비젼 시스템과 핸드-아이 비젼 시스템에서 다시 계산함으로써 정보의 정밀도를 향상시켰고, CAD 모델과 랜드 마크를 이용하여 대응 문제를 해결하고, 쉽고 빠르게 정보를 추출함으로써 보다 빈-피킹 문제를 보다 쉽게 풀 수 있게 하였다. 결과적으로 로봇 빈-피킹에 있어 고정된 스테레오 비전 시스템과 핸드-아이 비젼 시스템을 이용한 비쥬얼 서보잉의 개념을 도입하면 더 정확한 측정 결과를 기대할 수 있음을 알 수 있었다.
본 실험을 통해서 보면, 스테레오 카메라는 대상 물체의 크기는 잘 측정할 수 있으나, 거리는 비교적 오차가 크고 방향에서도 비스듬한 면에서는 방향 측정 오차가 큼을 알 수 있다. 이는 로봇 핸드가 대상 물체를 잡을 때 일부 큰 오차로 인하여 문제가 된다.
본 연구에서는 스테레오로만 측정한 결과 실제 물체의 위치와 약 9.5 mm정도 차이가 났으며 오차가 보정된 결과는 실제 물체와 약 5.2 mm정도 차이가 발생하는 것을 확인할 수 있었다. 이 정도의 오차는 로봇의 그리퍼에서 해결할 수 있을 것으로 예상한다.
Table 1~3에서 보면, 대체로 큰 오차 없이 정확히 인식됨을 확인할 수 있었다. 세 번째 물체의 비스듬이 놓인 모서리(point 1-2)가 6.79%로 제일 오차가 컸다. 이 오차는 CAD 모델을 정합시켰을 때 크기의 차이를 의미하기도 한다.
스테레오 비젼 시스템은 대시야를 가지고 넓게 작업 대상물을 보지만, 거리가 멀고 비스듬히 있는 물체에 대해서는 평균 10.76% 정도의 많은 측정 오차를 가지고 있지만, 핸드-아이 비젼 시스템이 가까이 접근하여 다시 물체를 인식함으로써 오차율이 평균 5.24%로 감소함을 확인할 수 있었다. 또한, 스테레오 카메라의 경우 작업실의 조명환경이나 물체의 놓인 위치에 따라 안정되지 못한 성능을 보였지만, 핸드-아이 비젼 시스템의 경우 이를 정확히 인식할 수 있었다.
실제 모델과 비교해본 결과 Table 6~8에서 보듯이 핸드-아이비젼 시스템을 사용하였을 때 스테레오 비젼 시스템만 사용하였을 때보다 오차율이 평균 5.24% 감소함을 확인할 수 있었다.
스테레오 카메라와 핸드-아이 카메라 간의 물체 정보는 물체의 CAD 모델을 활용하였으며, 부품의 초기 인식을 위해서는 부품상의 랜드 마크를 사용하여 작업을 단순화 시켰다. 제안된 빈-피킹전략은 실험을 통하여 매우 실용적 사용이 가능함을 보였다.
후속연구
결과적으로 로봇 빈-피킹에 있어 고정된 스테레오 비전 시스템과 핸드-아이 비젼 시스템을 이용한 비쥬얼 서보잉의 개념을 도입하면 더 정확한 측정 결과를 기대할 수 있음을 알 수 있었다. 향후 복잡한 물체를 대상으로 본 연구의 결과를 확대 적용이 과제로 남아 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
빈-피킹이란 무엇인가?
비정형화된 환경 하에서의 로봇작업의 대표적인 응용예로 빈-피킹(bin-picking)을 들 수 있다. 이는 이웃하는 물체가 서로 겹쳐져 있고 물체들이 무작위로 쌓인 형태일 때, 한 개의 물체 영역을 찾고 물체가 놓인 자세 각도를 추정하는 방법이다. 빈 피킹을 통해 비주얼 서보잉(visual servoing)[1]을 수행할 때, 물체의 위치 및 자세정보가 요구된다[2].
대응 문제(corresponding problem)와 물체 인식 문제를 해결하기 위해 무엇을 도입하였는가?
대응 문제(corresponding problem)와 물체 인식은 스테레오 비젼 시스템에서의 가장 시간이 많이 걸리고 어려운 문제이다. 본 논문에서는 이러한 문제를 극복하고 실용적 활용을 위하여 물체의 CAD 모델과 랜드 마크를 도입하였다. 스테레오 비젼 시스템에서 먼저 랜드 마크를 스테레오 비젼 시스템에서 먼저 랜드 마크를 인식하고, 거리 및 특징점들을 기반으로 CAD 모델을 정합시켜 대상 물체를 인식하도록 하였다.
빈-피킹 방법으로 제안된 것에는 어떤것들이 있는가?
기존의 빈-피킹 방식에서는 스테레오 비전(stereo vision)[3-6]이나 3차원 시각 센서 혹은 레이저 센서를 이용하여 물체의 위치를 찾고 카메라로부터의 거리 정보를 획득하여 물체 영역을 분할하고 물체의 자세를 추정하였다. 빈-피킹 방법으로 물체에 라벨을 부착하여 라벨인식을 통해 물체의 3차원 자세를 추출하는 방법[7], 피킹(picking)할 물체에 대하여 CAD 모델을 만들어 둘을 비교하여 물체의 회전 각도를 추출하는 방법[8,9], 빛을 반사하는 물체에 대하여 여러 각에서 빛을 쏘아 캡쳐된 이미지에 대하여 6D 자세 추정을 위하여 데이터 구동방식 알고리즘을 적용하는 방법[10] 등 여러 가지 방법들이 제안되었다. 하지만 기존에 개발된 빈-피킹기술은 낮은 인식 성능과 신뢰도로 인하여 현장 기술로 적용되기 어려운 실정이므로 현장에 적용 가능한 실용적 빈-피킹 방법에 대한 기술 개발이 절실히 요구되고 있는 실정이다.
참고문헌 (11)
Zhao, Y., Xie, W. F., Liu, S., 2013, Image-based Visual Servoing using Improved Image Moments in 6-DOF robot Systems, IJCAS, 11:3 586-596.
Mohebbi, A., Keshmiri, M., Xie, W. F., 2014, An Acceleration Command Approach to Robotic Stereo Image-based Visual Servoing, The International Federation of Automatic Control, 47:3 7239-7245.
Oh, J. K., Lee, S. H., Lee, C. H., 2012, Stereo Vision Based Automation for a Bin-Picking Solution, International Journal of Control, Automation, and System, 10:2 362-373.
Hema, C. R., Paulraj, M. P., Nagarajan, R., Sazali Y., 2006, Object Localization using Stereo Sensors for Adept SCARA robot, 2016 IEEE Conference on Robotics, Automation and Mechanics, 1-5.
Kim, K. K., Kim, J. B., Kang, S. S., Kim, J. H., Lee, J. Y., 2012, Vision-Based Bin Picking System for Industrial Robotics Applications, International Conference on Ubiquitous Robots and Ambient Intelligence(URAI), 515-516.
Wijenayake, U., Choi, S. I., Park, S. Y., 2016, Stereo Vision-based 3D Pose Estimation of Product Labels for Bin Picking, Journal of Institute of Control, Robotics and Systems, 22:1 8-16.
Xu, J., Pu, S., Z, G., Zhaff, H., 2012, 3D Pose Estimation for Bin-picking Task using Convex Hull, 2012 IEEE International Conference on Mechatronics and Automation, 1381-1385.
Pretto, A., Tonello, S., Menegatti, E., 2013, Flexible 3D Localization of Planar Objects for Industrial Bin-picking with Monocamera Vision System, 2013 IEEE International Conference on Automation Science and Engineering, 168-175.
Rodrigues, J. J., Kim, J. S., Furukawa, M., Xavier, J., Aguiar, P., Kanade, T., 2012, 6D Pose Estimation of Textureless Shiny Objects using Random Ferns for Bin-picking, 2012 IEEE/RSJ IROS, 3334-3341.
Jo, H., Jin, K-S., Lee, Y-J., Yoon, T-S., 1998, A Study for Distance Measurement using the Stereo Camera and a Laser Pointer, 1998 Institute of Control, Robotics and Systems, 668-671.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.