왜곡보정 영상에서의 그리드 패턴 코너의 자동 검출 방법의 설계 및 구현 Design and Implementation of Automatic Detection Method of Corners of Grid Pattern from Distortion Corrected Image원문보기
자동차를 위한 전방향(omni-directional) 감시 시스템, 로봇의 시각 역할 등 다양한 비전 시스템에서 카메라가 장착되어 사용되고 있다. AVM(Around View Monitoring) 시스템에서 그리드 패턴의 코너를 검출하기 위해서는 광각 카메라에서 획득한 비선형적인 방사 왜곡을 가진 영상의 왜곡 보정 작업을 수행한 후 왜곡이 보정된 영상 내부의 그리드 패턴 각 코너들을 자동으로 검출하여야 한다. 기존 AVM 시스템에 사용되는 직선과 코너 검출 방법에는 Sub-Pixel, 허프 변환 등이 있으나, Sub-Pixel 방법은 자동검출이 어렵고, 허프변환은 정확도에 문제가 있다. 따라서, 본 논문에서는 왜곡 보정 영상을 입력 영상으로 받아 그리드 패턴의 코너를 자동으로 정확하게 검출하는 방법을 설계하고 구현하여 성능을 평가함으로써 AVM 시스템에서 코너를 검출하는 부분에 적용시킬 수 있음을 보였다.
자동차를 위한 전방향(omni-directional) 감시 시스템, 로봇의 시각 역할 등 다양한 비전 시스템에서 카메라가 장착되어 사용되고 있다. AVM(Around View Monitoring) 시스템에서 그리드 패턴의 코너를 검출하기 위해서는 광각 카메라에서 획득한 비선형적인 방사 왜곡을 가진 영상의 왜곡 보정 작업을 수행한 후 왜곡이 보정된 영상 내부의 그리드 패턴 각 코너들을 자동으로 검출하여야 한다. 기존 AVM 시스템에 사용되는 직선과 코너 검출 방법에는 Sub-Pixel, 허프 변환 등이 있으나, Sub-Pixel 방법은 자동검출이 어렵고, 허프변환은 정확도에 문제가 있다. 따라서, 본 논문에서는 왜곡 보정 영상을 입력 영상으로 받아 그리드 패턴의 코너를 자동으로 정확하게 검출하는 방법을 설계하고 구현하여 성능을 평가함으로써 AVM 시스템에서 코너를 검출하는 부분에 적용시킬 수 있음을 보였다.
For a variety of vision systems such as car omni-directional surveillance systems and robot vision systems, many cameras have been equipped and used. In order to detect corners of grid pattern in AVM(Around View Monitoring) systems, after the non-linear radial distortion image obtained from wide-ang...
For a variety of vision systems such as car omni-directional surveillance systems and robot vision systems, many cameras have been equipped and used. In order to detect corners of grid pattern in AVM(Around View Monitoring) systems, after the non-linear radial distortion image obtained from wide-angle camera is corrected, corners of grids of the distortion corrected image must be detected. Though there are transformations such as Sub-Pixel and Hough transformation as corner detection methods for AVM systems, it is difficult to achieve automatic detection by Sub-Pixel and accuracy by Hough transformation. Therefore, we showed that the automatic detection proposed in this paper, which detects corners accurately from the distortion corrected image could be applied for AVM systems, by designing and implementing it, and evaluating its performance.
For a variety of vision systems such as car omni-directional surveillance systems and robot vision systems, many cameras have been equipped and used. In order to detect corners of grid pattern in AVM(Around View Monitoring) systems, after the non-linear radial distortion image obtained from wide-angle camera is corrected, corners of grids of the distortion corrected image must be detected. Though there are transformations such as Sub-Pixel and Hough transformation as corner detection methods for AVM systems, it is difficult to achieve automatic detection by Sub-Pixel and accuracy by Hough transformation. Therefore, we showed that the automatic detection proposed in this paper, which detects corners accurately from the distortion corrected image could be applied for AVM systems, by designing and implementing it, and evaluating its performance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 AVM 시스템에서 원근 왜곡을 보정하는 단계에서 그리드 패턴의 코너를 자동으로 검출하는 방법을 제안하고 구현하여 실제 AVM 시스템에 적용시킬 수 있음을 검증할 것이다./
본 논문에서는 AVM 시스템의 원근 왜곡 보정 단계에서 직선 및 코너를 자동으로 검출하는 방법을 직접 구현하여 성능을 평가함으로써 AVM 시스템에서 직선 및 코너 검출 부분에 적용시킬 수 있는 가능성을 확인한다.
본 논문에서는 AVM 시스템의 원근 왜곡을 보정하는 단계에서 자동으로 그리드 패턴의 코너를 검출하는 방법을 구현하였다. 본 논문에서 제안하는 자동 패턴 검출 방법은 기존의 참고문헌[6]과 같이 원근 왜곡을 보정하는 과정에서 사람이 수동으로 개입하여야 하는 문제점을 완벽히 보완하여 자동화시킬 수 있다.
제안 방법
위의 Edge 추출 영상에서 허프 변환을 이용하면 그림 9와 같이 영상 내부의 직선들이 모두 검출된다. 또한 Noise Filter를 이용하여 원하는 성분을 충족하는 직선들만 검출할 수 있도록 구현하였다.
먼저 그림 6의 왜곡 보정 이미지를 이용하여 어떤 방식으로 자동화를 할 것인지를 다각도로 고려하였다. 왜곡 보정 이미지 내부의 패턴들의 직선과 코너를 검출하기 위해서는 먼저 선행해서 검출해야 할 중심 패턴을 검출할 필요성을 느꼈으며, 그림 7과 같이 먼저 중심 패턴을 찾고 그 패턴을 기준으로 직선을 그어준 다음 직선들이 만나는 부분을 중심 패턴의 코너로 인식하여 나머지 패턴들의 직선과 코너를 검출하는 방법을 알아보았다.
이를 보정하여 그림 6과 같은 왜곡 보정 이미지를 얻을 수 있는데, 왜곡이 보정된 이미지를 이용하여 직선과 코너를 검출하는 방법을 알아본다.
지정된 중심 사각형을 기준으로 전체 그리드 패턴에 좌표를 확장하고 후보들을 필터링하는 방법을 사용한다. 이후 어긋난 좌표들을 가상의 직선을 그어 그 직선에 맞춰서 점들을 보간시켜 주는데 여기서 보간이란 잃어버린 정보를 추정으로 다시 채워 넣는 것으로 본 논문에서는 추정이 아닌 특정한 조건을 줘서 보간을 하는 방법을 사용한다.
위의 Point들을 모서리로 하는 사각형들을 모두 검출하고 그 사각형들 중에서 크기와 비율이 가장 이상적인 형태의 사각형을 중심 사각형으로 지정한다. 지정된 중심 사각형을 기준으로 전체 그리드 패턴에 좌표를 확장하고 후보들을 필터링하는 방법을 사용한다. 이후 어긋난 좌표들을 가상의 직선을 그어 그 직선에 맞춰서 점들을 보간시켜 주는데 여기서 보간이란 잃어버린 정보를 추정으로 다시 채워 넣는 것으로 본 논문에서는 추정이 아닌 특정한 조건을 줘서 보간을 하는 방법을 사용한다.
데이터처리
Line 검출은 Edge 이미지의 모든 직선들을 검출하기 위한 과정이다. Line을 검출하기 위한 여러 가지 검출 방법이 있지만 원하는 길이, 각도, 영역의 직선 정보를 Line 성분에서 걸러내어 사용하기 위해서 Hough Line 검출을 사용하였다. Point를 검출은 Hough Line 검출에서 걸러진 직선 성분들의 교점이 되는 점들을 모두 찾아서 그 점들을 모두 Point의 후보로 지정하고 Hough Line 이미지위에 표시해준다.
이론/모형
Edge 검출은 Homogeneity Operator, Difference Operator, Edge Image Thresholding 등의 여러 검출기가 있지만 본 논문에서는 가장 단순하고 빠른 엣지 검출기인 Homogeneity Operator를 사용한다. 이 엣지 검출기는 3×3 이미지의 중심 화소로부터 주면의 8화소들 각각을 감산하는 방식을 사용하며, 출력은 각 차이의 절대값 중에서 가장 큰 값이다.
왜곡 보정 이미지의 Edge를 추출한 후 이미지 내부에 존재하는 모든 직선들을 검출해야 하는데, 이를 위해서 Hough Line 검출을 이용한다. 위의 Edge 추출 영상에서 허프 변환을 이용하면 그림 9와 같이 영상 내부의 직선들이 모두 검출된다.
성능/효과
본 논문에서는 AVM 시스템의 원근 왜곡을 보정하는 단계에서 자동으로 그리드 패턴의 코너를 검출하는 방법을 구현하였다. 본 논문에서 제안하는 자동 패턴 검출 방법은 기존의 참고문헌[6]과 같이 원근 왜곡을 보정하는 과정에서 사람이 수동으로 개입하여야 하는 문제점을 완벽히 보완하여 자동화시킬 수 있다.
하지만 그리드 패턴의 코너들과 직선들의 교점이 거의 일치하지만 완벽하게 일치하는 것은 아니므로 직선들의 교점을 패턴의 코너로 보기는 어렵다. 이를 보정하기 위하여 직선과 직선이 만나는 교점을 그리드 패턴으로 보간을 하여 그림 16과 같이 원하는 그리드 패턴의 코너에 정확하게 좌표를 찍을 수 있음을 확인하였다.
하지만 그림 14를 자세히 보면 그리드 패턴 각 코너에 점들이 제대로 위치하지 않은 것을 볼 수 있다. 이를 해결하기 위해 패턴의 코너들을 연결하는 가상의 직선을 그어 주어 각각의 직선들과 그리드 패턴의 코너들이 일치하는지 여부를 판단해 보았고 그림 15와 같이 그리드 패턴의 코너들과 직선들의 교점들이 거의 일치하는 것을 볼 수 있다.
후보 영역으로 검출된 모든 사각형들 중 중심 패턴의 조건에 근접한 사각형들을 모두 파란색으로 표시하였는데 이를 바탕으로 한 번 더 필터링하여 가장 이상적인 중심 사각형을 선택한다. 이번에 필터링할 때에는 사각형의 크기를 이용하여 실제 이미지의 사각형 크기와 가장 유사한 크기를 가진 사각형을 선택하도록 하였고, 그 결과 그림 12와 같이 가장 적합한 중심 패턴이 검출되었다.
후속연구
또한 AVM 시스템에 적용시킬 경우 기존의 AVM 시스템보다 자동화 정도가 더 뛰어나므로 앞으로 연구를 진행하여 AVM 시스템에서 원근 왜곡을 보정하는 단계에 적용시켜 자동으로 코너를 검출하는데 문제가 없을 것이다.
향후 AVM 시스템에 적용시킨 뒤 직선을 긋는 과정에서 가상의 선을 더 그어서 사용자가 원하는 영역만큼 어라운드뷰 영상을 확장하여 볼 수 있도록 개선하여 AVM 시스템의 품질을 높일 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
자동 주차 시스템이나 AVM 시스템과 같은 운전 보조 시스템의 문제점은 무엇인가?
자동차 분야가 크게 성장하면서 운전자의 편의를 위한 자동 주차 시스템이나 AVM 시스템과 같은 운전 보조 시스템들이 많이 개발되었다[1]. 하지만 가격이 비싸고 대부분 완성차 업체에서 차량이 출고될 때 옵션으로 설치하기 때문에 이전에 차량을 구매했던 운전자들이 장착하기에는 많은 어려움이 따른다. 이러한 문제를 개선하기 위해서는 운전 보조 시스템을 누구나 쉽게 차량에 장착할 수 있도록 만들어야 하며 이를 위해서 각각의 운전 보조 시스템들의 완전 자동화가 이루어져야 한다.
AVM 시스템이란?
현재 국내에서는 AVM 시스템이 상용화되어 있으며 관련 기술이 활발히 연구 중이다. AVM 시스템은 여러 대의 카메라를 장착하여 차량 주변 상황을 운전자에게 영상으로 제공하기 위해 최근 활발히 연구되고 있는 시스템이다. AVM 시스템을 적용하기 위해서는 방사 왜곡 보정, 원근 왜곡 보정, 영상 정합 단계를 거쳐 운전자의 디스플레이로 어라운드뷰 영상을 제공하는데, 위의 단계 중에서도 원근 왜곡을 보정하는 단계에서 가장 많은 어려움이 따르며 여러 AVM 시스템 제작 업체들이 완전 자동화를 하기 위한 연구가 계속 진행 중이다.
AVM 시스템에 사용되는 직선과 코너 검출 방법에는 무엇이 있는가?
AVM(Around View Monitoring) 시스템에서 그리드 패턴의 코너를 검출하기 위해서는 광각 카메라에서 획득한 비선형적인 방사 왜곡을 가진 영상의 왜곡 보정 작업을 수행한 후 왜곡이 보정된 영상 내부의 그리드 패턴 각 코너들을 자동으로 검출하여야 한다. 기존 AVM 시스템에 사용되는 직선과 코너 검출 방법에는 Sub-Pixel, 허프 변환 등이 있으나, Sub-Pixel 방법은 자동검출이 어렵고, 허프변환은 정확도에 문제가 있다. 따라서, 본 논문에서는 왜곡 보정 영상을 입력 영상으로 받아 그리드 패턴의 코너를 자동으로 정확하게 검출하는 방법을 설계하고 구현하여 성능을 평가함으로써 AVM 시스템에서 코너를 검출하는 부분에 적용시킬 수 있음을 보였다.
참고문헌 (8)
A. Takahashi, Y. Ninomiya, M. Ohta, M. Nishida, M. Takayama, "Rear view lane detection by wide angle camera," Proc., IEEE Intelligent Vehicle Symposium, pp. 148 - 153, 2002.
Sweung-hwan Cheon, Young-ho Yu, Si-woong Jang, "An Efficient Camera Calibration Method in Embedded System Environment", Journal of the Korea Institute of Information and Communication Engineering, Vol. 15, No. 1, pp.623-626, May 2011.
M. Bertozzi, A. Broggi, M. Cellario, A. Fascioli, P. Lombardi, M. Porta, "Artificial vision in road vehicles," Proc., IEEE, pp. 1258 - 1271, 2002.
B. Leibe, N. Cornelis, K.Cornelis, L. Van Gool, "Dynamic 3D Scene Analysis from a Moving Vehicle," IEEE Conference on Computer Vision and Pattern Recognition (CVPR'07), pp. 1 - 8, 2007.
Y. Liu, K. Lin and Y. Chen, "Bird's-eye view vision system for vehicle surrounding monitoring," Proc., the 2nd international conference on Robot vision (RobVis'08). LNCS, Springer. pp. 207-218, 2008
Young-ho Yu, Si-woong Jang, "Design and Implementation of 4SM(4-Sided Mirror) System based on Car PC for Enhancing Driver's Visibility", Journal of the Korea Institute of Information and Communication Engineering, Vol. 15, No. 1, pp.152-156, May .2011.
Sweung-hwan Cheon, Si-woong Jang, "Automatic Homography Transformation Method for Around View System", Journal of the Korea Institute of Information and Communication Engineering, Vol. 17, No. 1, pp.294-297, May 2013.
G. Vass and T. Perlaki "Applying and removing lens distortion in post pro duction," Second Hungrian Conference on Computer Graphics and Geometry, 2003.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.