본 논문에서는 지능적인 경로 계획을 위한 스테레오 카메라 기반의 AGV의 작업자 식별 및 회피를 위한 2D 공간 지도 구성 기법을 제안하였다. 우선 스테레오 카메라로부터 입력된 영상 중 좌 영상에 YCbCr 컬러 모델 및 무게 중심법을 이용하여 이동중인 작업자의 얼굴 영역과 중심좌표를 검출하고, 검출된 좌표 값에 따라 스테레오 카메라 제어를 통해 이동하는 작업자를 실시간적으로 검출하게 된다. 다음으로, AGV 구동에 의해 추적 제어된 스테레오 카메라의 좌, 우 영상간의 시차정보와 카메라 내부 변환관계를 통해 깊이 정보를 검출한 후, 검출된 깊이 지도로부터 각 열에 존재하는 최소값을 이용한 2차원 공간좌표를 검출하여 AGV과 작업자간의 거리와 실제좌표는 물론 다른 물체들과의 상대 거리를 산출하게 되며, 산출된 위치 좌표를 토대로 AGV의 지능적인 경로 추정 및 판단에 따라 자율적인 주행을 수행하게 된다. 실시간적으로 입력되는 240 프레임의 스테레오 영상을 사용한 실험결과, 산출된 2차원 공간좌표는 검출된 작업자의 위치좌표와의 관계를 통해 작업자의 폭과 실제 측정한 값과의 오차율이 평균 1.8% 이하로 유지됨으로써 보다 지능적인 AGV 시스템의 구현 가능성을 제시하였다.
본 논문에서는 지능적인 경로 계획을 위한 스테레오 카메라 기반의 AGV의 작업자 식별 및 회피를 위한 2D 공간 지도 구성 기법을 제안하였다. 우선 스테레오 카메라로부터 입력된 영상 중 좌 영상에 YCbCr 컬러 모델 및 무게 중심법을 이용하여 이동중인 작업자의 얼굴 영역과 중심좌표를 검출하고, 검출된 좌표 값에 따라 스테레오 카메라 제어를 통해 이동하는 작업자를 실시간적으로 검출하게 된다. 다음으로, AGV 구동에 의해 추적 제어된 스테레오 카메라의 좌, 우 영상간의 시차정보와 카메라 내부 변환관계를 통해 깊이 정보를 검출한 후, 검출된 깊이 지도로부터 각 열에 존재하는 최소값을 이용한 2차원 공간좌표를 검출하여 AGV과 작업자간의 거리와 실제좌표는 물론 다른 물체들과의 상대 거리를 산출하게 되며, 산출된 위치 좌표를 토대로 AGV의 지능적인 경로 추정 및 판단에 따라 자율적인 주행을 수행하게 된다. 실시간적으로 입력되는 240 프레임의 스테레오 영상을 사용한 실험결과, 산출된 2차원 공간좌표는 검출된 작업자의 위치좌표와의 관계를 통해 작업자의 폭과 실제 측정한 값과의 오차율이 평균 1.8% 이하로 유지됨으로써 보다 지능적인 AGV 시스템의 구현 가능성을 제시하였다.
In this paper, an 2D spatial-map construction for workers identification and avoidance of AGV using the detection scheme of the spatial coordinates based on stereo camera is proposed. In the proposed system, face area of a moving person is detected from a left image among the stereo image pairs by u...
In this paper, an 2D spatial-map construction for workers identification and avoidance of AGV using the detection scheme of the spatial coordinates based on stereo camera is proposed. In the proposed system, face area of a moving person is detected from a left image among the stereo image pairs by using the YCbCr color model and its center coordinates are computed by using the centroid method and then using these data, the stereo camera embedded on the mobile robot can be controlled for tracking the moving target in real-time. Moreover, using the disparity map obtained from the left and right images captured by the tracking-controlled stereo camera system and the perspective transformation between a 3-D scene and an image plane, depth map can be detected. From some experiments on AGV driving with 240 frames of the stereo images, it is analyzed that error ratio between the calculated and measured values of the worker's width is found to be very low value of 2.19% and 1.52% on average.
In this paper, an 2D spatial-map construction for workers identification and avoidance of AGV using the detection scheme of the spatial coordinates based on stereo camera is proposed. In the proposed system, face area of a moving person is detected from a left image among the stereo image pairs by using the YCbCr color model and its center coordinates are computed by using the centroid method and then using these data, the stereo camera embedded on the mobile robot can be controlled for tracking the moving target in real-time. Moreover, using the disparity map obtained from the left and right images captured by the tracking-controlled stereo camera system and the perspective transformation between a 3-D scene and an image plane, depth map can be detected. From some experiments on AGV driving with 240 frames of the stereo images, it is analyzed that error ratio between the calculated and measured values of the worker's width is found to be very low value of 2.19% and 1.52% on average.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 산업용 AGV 시스템의 보다 지능적인 경로 계획을 위한 평행식 스테레오 카메라에 기반을 둔 작업자 식별 및 회피를 위한 2D 공간 지도 구성 기법을 제안하였다. 제안된 기법을 통해 산출된 2차원 공간좌표는 검출된 작업자의 위치좌표와의 관계를 통해 작업자의 폭과 실제 측정한 값과의 오차율이 평균 1.
따라서 본 논문에서는 산업용 AGV 시스템의 보다 지능적인 경로 계획을 위한 평행식 스테레오 카메라에 기반을 둔 작업자 식별 및 회피를 위한 2D 공간 지도 구성 기법을 제안하였다. 제안된 기법을 통해 산출된 2차원 공간좌표는 검출된 작업자의 위치좌표와의 관계를 통해 작업자의 폭과 실제 측정한 값과의 오차율이 평균 1.
본 논문에서 제안된 알고리듬의 효용성을 분석하기 위한 실험 시나리오는 평행식 스테레오 카메라인 Point Grey Inc.의 Bumblebee[10]를 AGV 시스템에 탑재하여 그림 5와 같이 카메라 시야에 나타나는 작업자 및 측면에 존재하는 장애물 각각의 절대좌표 및 상대좌표 검출을 통해 AGV의 충돌 위기를 조기에 대처하며, 적응적인 경로 계획의 수립을 목적으로 하는 것이다.
제안 방법
본 논문에서는 1차적으로 YCbCr 컬러모델을 통해 얼굴 피부색으로 간주되는 모든 영역을 검출한 뒤, 상대적으로 움직임이 가장 많이 존재하는 영역만을 작업자의 얼굴 영역으로 간주하였다. 따라서 정지된 배경 영역을 포함한 검출된 모든 피부색 영역을 토대로 영상 차분필터와 AND 연산을 이용하여 공통된 움직임을 추출함으로써 작업자로 판단하게 된다[8].
즉, 본 논문에서는 Kanatani의 영상보정 알고리듬[9]을 응용하여 2차원 영상평면에서 검출된 작업자 얼굴 좌표값을 AGV의 제어각도로 변환하였다. 카메라 렌즈의 초점거리 f, 이전영상과 현재영상의 위치 좌표값으로 표현하면 식 (1)과 같이 스테레오 카메라의 제어 각도가 산출되고 이는 AGV에 탑재된 팬틸트 시스템의 엔코더를 통해 모터 제어각도로 구동될 수 있다.
그림 1은 본 논문에서 제안한 스테레오 카메라 기반 AGV 시스템의 작업자 식별 및 회피를 위한 2D 공간 지도 구성의 흐름도를 나타낸 것이다. 즉, 스테레오 입력 영상 중 좌측 영상에 YCbCr 컬러 모델과 무게 중심법(centroid method)을 이용하여 작업자의 얼굴 영역에 대한 위치좌표를 검출한 다음, 스테레오 카메라 시야(FOV; field of view)의 중앙으로 놓기 위해 이동하는 작업자를 실시간으로 추적하게 되며, 추적 제어된 좌, 우 영상간의 비용함수로 MSE를 이용한 시차(disparity) 및 깊이(depth) 정보 검출과 실제 3차원 좌표 산출이 이루어지며, 검출된 얼굴 영역의 깊이 정보에 대한 임계값 할당을 통해 작업자 영역만을 분할함으로써 작업자의 전체 폭을 추정 및 동시에 검출된 영상 전체의 깊이 지도의 각각의 열(column) 마다 최소값을 검출하여 AGV 시스템 전방에 존재하는 모든 물체들과의 상대위치 관계를 분석할 수 있는 2D 공간좌표를 구성하게 된다.
그림 6은 전방 시야에 작업자가 나타났을 경우 AGV의 적응적인 충돌 회피 성능을 검증하기 위한 시나리오로써, AGV에 탑재된 평행식 스테레오 카메라를 통해 입력된 240 프레임 중 2 프레임에 대해 검출된 얼굴 영상 및 그에 따른 좌, 우 영상간의 검출된 시차 지도(disparity map)를 나타낸 것이다. 즉, 실시간으로 입력된 좌, 우 영상 중 좌 영상에 YCbCr 컬러 모델 및 무게 중심 기법을 이용하여 검출된 작업자의 얼굴 영상과 검출된 얼굴 영상의 중심좌표를 토대로 FOV 제어를 수행한 후의 영상에 대해 검출된 시차지도를 각각 보여준 것이다. 여기서, 좌측 영상의 검출된 얼굴 중심좌표(160, 10)과 (167, 24)는 표적 영상의 위치좌표를 검출할 때 기준 좌표로써 얻어지며, 검출된 위치좌표는 스테레오 카메라가 탑재된 AGV를 제어하는 제어값으로 사용된다.
데이터처리
AGV 시스템의 FOV 제어된 스테레오 카메라의 좌, 우 영상으로부터 시차정보를 추출하기 위한 비용함수는 계산양은 늘어나지만 보다 정확한 시차 추출을 위해 MSE(mean square error)를 사용하였다[7~8]. MSE 함수는 식 (2)와 같이 주어지며, 식에서 Nx, Ny는 블럭 또는 화소의 크기를, IL과 IR은 좌영상의 블럭과 이에 대응하는 우영상의 블럭을 각각 나타낸 것이다.
성능/효과
식 (3)에서 얻어지는 시차벡터는 블럭을 대표하는 값으로 시차정보를 추출하는데 사용된다. 또한, 검출된 시차정보로부터 시차벡터 간의 움직임 차이값인 적응적 시차 움직임 벡터(ADMV : disparity motion vector)를 추출할 수 있으 며, 검출된 ADMV 값을 효과적으로 이용함으로써 이동중인 작업자의 영역과 그 좌표 값을 얻을 수 있다. 즉, T-1 프레임의 시차벡터와 T 프레임의 시차벡터 사이의 관계는 마치 기존의 2차원 비디오 영상 시퀀스에서 연속된 두 프레임 사이의 관계와 같기 때문에 ADMV 값은 물체에 대한 3차원 입체정보 뿐만 아니라 추적물체의 위치정보도 가지고 있다[3].
본 논문에서는 산업용 AGV 시스템의 보다 지능적인 경로 계획을 위한 평행식 스테레오 카메라에 기반을 둔 작업자 식별 및 회피를 위한 2D 공간 지도 구성 기법을 제안하였다. 제안된 기법을 통해 산출된 2차원 공간좌표는 검출된 작업자의 위치좌표와의 관계를 통해 작업자의 폭과 실제 측정한 값과의 오차율이 평균 1.8% 이하로 유지되었으며, 작업자와 장애물 상호간의 상대적인 거리까지도 분석이 가능하고, AGV 시스템의 충돌위험을 조기에 대처할 수 있는 효율적인 주행 경로를 추정함으로써 실질적인 산업용 AGV 시스템의 구현 가능성을 제시하였다.
따라서 본 논문에서는 산업용 AGV 시스템의 보다 지능적인 경로 계획을 위한 평행식 스테레오 카메라에 기반을 둔 작업자 식별 및 회피를 위한 2D 공간 지도 구성 기법을 제안하였다. 제안된 기법을 통해 산출된 2차원 공간좌표는 검출된 작업자의 위치좌표와의 관계를 통해 작업자의 폭과 실제 측정한 값과의 오차율이 평균 1.8% 이하로 유지되었으며, 작업자와 장애물 상호간의 상대적인 거리까지도 분석이 가능하고, AGV 시스템의 충돌위험을 조기에 대처할 수 있는 효율적인 주행 경로를 추정함으로써 실질적인 자율형 AGV 시스템의 구현 가능성을 제시하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
컴퓨터 비전 시스템을 산업용 AGV에 응용하기 위해서 요구되는 것은?
컴퓨터 비전 시스템을 산업용 AGV(automatic ground vehicle)에 응용하기 위해서는 복잡한 주변 환경의 완전한 인식이나 재구성 보다는 실제공간에서의 물체 위치, 크기 및 방향 등과 같은 간단한 3차원 정보의 실시간적 추출이 요구된다. 이러한 3차원 정보들은 궁극적으로 물체의 각 점들에 대한 3차원 좌표 즉, 깊이지도(depth map)로 부터 구할 수 있으며 이는 획득된 영상으로 부터 3각 측량법을 통해 구할 수 있고[1~2] 또한, 레이저 거리 측정기에 의해서도 얻을 수 있다.
3차원 정보는 어디서 얻을 수 있는가?
컴퓨터 비전 시스템을 산업용 AGV(automatic ground vehicle)에 응용하기 위해서는 복잡한 주변 환경의 완전한 인식이나 재구성 보다는 실제공간에서의 물체 위치, 크기 및 방향 등과 같은 간단한 3차원 정보의 실시간적 추출이 요구된다. 이러한 3차원 정보들은 궁극적으로 물체의 각 점들에 대한 3차원 좌표 즉, 깊이지도(depth map)로 부터 구할 수 있으며 이는 획득된 영상으로 부터 3각 측량법을 통해 구할 수 있고[1~2] 또한, 레이저 거리 측정기에 의해서도 얻을 수 있다. 그러나 이러한 방법들을 사용하려면 특수한 조명장치와 주위환경이 필요하거나 레이저 장비와 정밀 측정 장치 등이 요구된다.
본 논문에서 제안한 스테레오 카메라 기반 AGV 시스템의 작업자 식별 및 회피를 위한 2D 공간 지도 구성의 흐름도 구성 과정은?
그림 1은 본 논문에서 제안한 스테레오 카메라 기반 AGV 시스템의 작업자 식별 및 회피를 위한 2D 공간 지도 구성의 흐름도를 나타낸 것이다. 즉, 스테레오 입력 영상 중 좌측 영상에 YCbCr 컬러 모델과 무게 중심법(centroid method)을 이용하여 작업자의 얼굴 영역에 대한 위치좌표를 검출한 다음, 스테레오 카메라 시야(FOV; field of view)의 중앙으로 놓기 위해 이동하는 작업자를 실시간으로 추적하게 되며, 추적 제어된 좌, 우 영상간의 비용함수로 MSE를 이용한 시차(disparity) 및 깊이(depth) 정보 검출과 실제 3차원 좌표 산출이 이루어지며, 검출된 얼굴 영역의 깊이 정보에 대한 임계값 할당을 통해 작업자 영역만을 분할함으로써 작업자의 전체 폭을 추정 및 동시에 검출된 영상 전체의 깊이 지도의 각각의 열(column) 마다 최소값을 검출하여 AGV 시스템 전방에 존재하는 모든 물체들과의 상대위치 관계를 분석할 수 있는 2D 공간좌표를 구성하게 된다.
참고문헌 (10)
T. Kanade, A. Yoshida, K. Oda, H. Kano, and M. Tanaka, "A stereo machine for video-rate dense depth mapping and its new applications" Proc. of IEEE CVPR '96, pp. 196-202, 1996.
T. Darrell, G. Gordon, M. Harville, J. Woodfill, "Integrated person tracking using stereo, color, and pattern detection," IEEE Conference on Computer Vision and Pattern Recognition, pp. 601-608, 1998.
K. H. Bae, J. S. Koo, E. S. Kim, "A New Stereo Object Tracking System using Disparity Motion Vector", Optics Communications, vol.221, no 13, pp.23-35, 2003.
J. H. Ko, E. S. Kim, "Stereoscopic Video Surveillance System for Detection of Target's 3D Location Coordinates and Moving Trajectories", Optics Communications, Vol. 266, pp. 67-79, 2006.
D. Murray and Anuo Basu "Motion tracking with an active camera", IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 16, no. 5, pp. 449-459, 1994.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.