본 논문에서는 세 대의 카메라를 이용하여 사각지대를 효과적으로 제거하기 위한 파노라믹 비전 시스템(panoramic vision system)을 제안한다. 차량의 후방에는 광각 카메라를 사용하여 후방 거울(rear-view mirror)로부터 보이지 않는 사각지대를 제거하며, 나머지 두 대의 카메라는 측면 거울(side-view mirror)의 아래에 설치하여 측면 거울로 보지 못하는 사각지대를 제거한다. 좀 더 효과적인 사각지대 제거를 위해서 세 대의 카메라에서 얻어지는 영상을 정합하는 방법을 제공한다. 먼저, 후방 카메라에서 얻은 영상을 보정하고, 보정된 영상에서 focus-of-contraction(FOC)을 구한다. 그 뒤에 측방 카메라의 영상과 후방 카메라의 영상 사이의 호모그래피(homography)를 구한다. 그 다음으로 영상을 차도와 배경 영역으로 분리하고, 호모그래피를 사용하여 분리한 차도를 정합하고, 가상의 평면에 배경을 투영하여 최종정합을 완성한다. 마지막으로 정합된 영상을 보다 효과적으로 보여주기 위한 실린더 파노라마 영상, 가상의 Top-view 시스템, 그리고 차량의 다양한 정보와 함께 사각지대 영상을 보여주는 통합 정보 가시화 영상을 생성하여 제공한다.
본 논문에서는 세 대의 카메라를 이용하여 사각지대를 효과적으로 제거하기 위한 파노라믹 비전 시스템(panoramic vision system)을 제안한다. 차량의 후방에는 광각 카메라를 사용하여 후방 거울(rear-view mirror)로부터 보이지 않는 사각지대를 제거하며, 나머지 두 대의 카메라는 측면 거울(side-view mirror)의 아래에 설치하여 측면 거울로 보지 못하는 사각지대를 제거한다. 좀 더 효과적인 사각지대 제거를 위해서 세 대의 카메라에서 얻어지는 영상을 정합하는 방법을 제공한다. 먼저, 후방 카메라에서 얻은 영상을 보정하고, 보정된 영상에서 focus-of-contraction(FOC)을 구한다. 그 뒤에 측방 카메라의 영상과 후방 카메라의 영상 사이의 호모그래피(homography)를 구한다. 그 다음으로 영상을 차도와 배경 영역으로 분리하고, 호모그래피를 사용하여 분리한 차도를 정합하고, 가상의 평면에 배경을 투영하여 최종정합을 완성한다. 마지막으로 정합된 영상을 보다 효과적으로 보여주기 위한 실린더 파노라마 영상, 가상의 Top-view 시스템, 그리고 차량의 다양한 정보와 함께 사각지대 영상을 보여주는 통합 정보 가시화 영상을 생성하여 제공한다.
In this paper, we propose a blind spots elimination system using three cameras. A wide-angle camera is attached on trunk for eliminating blind spots of a rear-view mirror and two cameras are attached on each side-view mirror for eliminating blind spots of vehicle's sides. In order to eliminate blind...
In this paper, we propose a blind spots elimination system using three cameras. A wide-angle camera is attached on trunk for eliminating blind spots of a rear-view mirror and two cameras are attached on each side-view mirror for eliminating blind spots of vehicle's sides. In order to eliminate blind spots efficiently, we suggest a method to build a panoramic mosaic view with two side images and one wide-angle rear image. First, we obtain an undistorted image from a wide-angle camera of rear-view and calculate the focus-of-contraction (FOC) in undistorted images of rear-view while the car is moving straight forward. Second, we compute a homography among side-view images and an undistorted image of rear-view in flat road scenes. Next, we perform an image registration process after road and background region segmentation. Finally, we generate various views such as a cylinder panorama view, a top view and an information panoramic mosaic view.
In this paper, we propose a blind spots elimination system using three cameras. A wide-angle camera is attached on trunk for eliminating blind spots of a rear-view mirror and two cameras are attached on each side-view mirror for eliminating blind spots of vehicle's sides. In order to eliminate blind spots efficiently, we suggest a method to build a panoramic mosaic view with two side images and one wide-angle rear image. First, we obtain an undistorted image from a wide-angle camera of rear-view and calculate the focus-of-contraction (FOC) in undistorted images of rear-view while the car is moving straight forward. Second, we compute a homography among side-view images and an undistorted image of rear-view in flat road scenes. Next, we perform an image registration process after road and background region segmentation. Finally, we generate various views such as a cylinder panorama view, a top view and an information panoramic mosaic view.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
영상을 생성하기는 어렵다[9]. 그러므로 본 논문에서는 정확한 파노라마 영상을 생성하기 보다는 사용자가 사각지대를 효과적으로 인지할 수 있는 파노라마 영상을 생성하는 것을 목적으로 한다.
본 논문에서는 세 대의 카메라를 이용하여 주행 중인 차량에서 사각지대를 효과적으로 제거하기 위한 시스템을 제안하다. 차량의 후방은 광각 카메라를 사용하여 후방 거울로부터 보이지 않는 사각지대를 제거하며, 나머지 두 대의 카메라는 측면 거울의 아래에 부착하여 차량 측면의 사각지대를 효과적으로 제거한다.
본 논문에서는 앞서 언급했듯이 동일한 입력 영상을 다양한 형태로 가공하여 운전자에게 가시화하는 시스템을 제안하였다. 그림 19는 후방에 접근하는 차량이 존재할 경우의 영상 정합 결과를 보여준다.
본 논문에서는 차량 사고의 큰 원인 중 하나가 되는 운전자 사각지대를 줄이기 위한 시스템을 제안하였다. 주행 중인 차량의 측/후방에 카메라를 장착하여 영상을 획득하고 획득된 영상을 정합하여 최종 파노라마 영상을 생성한 후 다양한 형태로 운전자에게 가시화한다.
워싱턴 대학에서는 Ford 의 지원 하에 "For Interim Summer 98”[4]이라는 프로젝트를 수행하였다. 이 연구는 왜곡이 적은 동일한 종류의 CCD 카메라 3대를 차량의 후방 일직선상에 배치하여 얻어진 영상을 정합하여 넓은 시각영역을 생성하여 사용자에게 제공함으로써 차량의 후방에 대한 사각지대를 제거하고 있다. 그 이후 Ford에서는 워싱턴 대학에서 수행된 프로젝트를 적용한 CamCar⑸라는 콘셉트(concept) 차량을 발표하였다.
이제 후방에 차량이 존재할 경우에 대해서 살펴보자. 본 논문에서 제시한 방법은 도로 영상과 배경 영상을 따로 정합하기 때문에 후방에 존재하는 차량이 배경 혹은 도로와 같이 와핑되어 왜곡된 상태로 정합될 수 있다.
가설 설정
제거한다. 여기서 사용된 후방 카메라는 120도의 시야각을 가지며, 측방의 카메라는 30도의 시야각을 가진다’ 물론 제안하는 시스템의 카메라 위치는 특별한 조작이 없는 한 주행 중 고정되어 있고, 측방 카메라의 정확한 회전각은 알 수 없다고 가정한다.
측방 영상의 배경을 하나의 평면으로 가정하고 시간 t의 측면 배경영상을 평면 내에 투영하여 최종적인 파노라마 영상을 합성한다.
제안 방법
그림 2에서 보는 바와 같이 제안하는 시스템은 차량 후방의 트렁크 위에 광각 카메라를 설치함으로써 후방거울의 사각지대를 제거하며, 측면 거울 아래쪽에 바깥쪽으로 회전된 카메라를 장착하여 차량 측면의 사각지대를 제거한다. 여기서 사용된 후방 카메라는 120도의 시야각을 가지며, 측방의 카메라는 30도의 시야각을 가진다’ 물론 제안하는 시스템의 카메라 위치는 특별한 조작이 없는 한 주행 중 고정되어 있고, 측방 카메라의 정확한 회전각은 알 수 없다고 가정한다.
차량의 후방은 광각 카메라를 사용하여 후방 거울로부터 보이지 않는 사각지대를 제거하며, 나머지 두 대의 카메라는 측면 거울의 아래에 부착하여 차량 측면의 사각지대를 효과적으로 제거한다. 더구나 제안하는 시스템에서는 이러한 영상을 사용자에게 그대로 보여주기 보다는 세 개의 영상을 정합하여 하나의 커다란 시각영역을 가지는 다양한 형태의 파노라마 영상을 제공함으로써 운전자가 사각지대 내의 상황을 효과적으로 판단할 수 있도록 하고 있다.
차도 검출 시 차도는 일정한 색 분포를 가지고 있다[16]. 따라서 도로 영상을 추출하기 위해서 사용할 샘플 차도 영상을 초기 입력으로 주고, 샘플 차도 영역에서 추출한 색상 정보를 기반으로 임계 값(threshold)을 설정한다. 그리고 차도 영상의 색상(hue)과 채도(satu- ration) 값을 분리한 뒤, 임계값을 이용해 차도 영역의 후보에 해당되는 부분만 남긴다.
마지막 단계로 본 시스템에서는 정합된 영상을 다양한 형태의 가시화 영상으로 만들어 운전자에게 제공한다. 첫 번째 가시화 영상은 통합 정보 가시화 영상으로서 그림 16과 같이 정합된 영상을 자동차의 현재 속도와 같은 다른 정보와 함께 가시화해서 운전자에게 제공한다.
살펴보자. 본 논문에서 제시한 방법은 도로 영상과 배경 영상을 따로 정합하기 때문에 후방에 존재하는 차량이 배경 혹은 도로와 같이 와핑되어 왜곡된 상태로 정합될 수 있다. 따라서 후방의 접근 차량을 최대한 자연스럽게 표시하기 위해서 영상 정합 시 겹쳐지는 영상의 배경은 후방 영상을 우선시 한다.
본 논문에서 제안하는 시스템은 기존의 측면 거울과 후방 거울을 보조하여 사각지대를 제거하는 시스템으로서 기존의 차량에 추가적으로 카메라를 장착하고 있다. 그림 2는 본 논문에서 제안한 시스템의 실험 차량을 보여준다.
본 논문에서 제안하는 시스템은 앞서 살펴본 시스템들과 같이 여러 대의 카메라를 사용하여 사각지대를 제거한다. 본 시스템에서 1대의 광각카메라는 후방에 장착되어 후방영역에 대한 사각지대를 제거하며, 차량의 측방에 설치된 2대의 카메라는 측면 거울에 부착하여 측면의 사각지대를 제거한다.
본 논문에서 제안한 시스템은 영상을 도로 부분과 배경 부분으로 나눠서 정합하고 있다. 따라서 도로 영상을 변환하는 호모그래피와 측면 영상을 변환하는 호모그래피가 달라진다.
영상이 같은 평면을 공유해야 한다. 본 논문에서는 도로를 하나의 평면으로 간주하며, 이를 기준 평면으로 사용한다. 그림 6은 호모그래피 를 구하기 위 한 시 간 t 영상과 시간 영상의 기하학적 구조를 나타낸다.
본 시스템에서는 주행 중 사각지대의 파노라마 영상을 생성하기 위해 많은 계사이 소모되는 호모그래피와 FOC, 왜곡 보정 계수 등은 미리 계산해두고-’ 그 값을 참조하여 사용한다. 이 값을 바탕으로 주행 중에 입력되는 후방영상의 왜곡을 보정하고, 컬러 기반으로 차도와 배경을 분리한다’ 분리된 차도는 영상간의 호모그래피를사용하여 정합하고, 배경은 측방의 가상 평면에 투영하여 최종 정합을 완성한다.
왜곡이 보정된 후방 영상을 사용해서 측면 영상과의 호모그래피와 영상의 FOC를 계산한다.
우선 시간 t의 후방영상과 시간 t-At의 측방 영상 간의 대응점을 구하고 RANSAC을 사용하여 호모그래피 H球과 %를 구한다. 시간 t의 후방 영상과 측방 영상 사이의 호모그래피를 구하기 위해서 시간 t의 영상과 시간 t-At의 측방 영상간의 대응점으로부터 호모그래피 风一 是을 구해낸다[15].
우선, 연속된 두 프레임의 영상을 대상으로 KLT 얄고리즘[13]을 이용해 특징점들(features)을 구하고, 특징점들 간의 매칭(matchinG을 수행한다. 이렇게 얻어진 연속된 두 프레임간의 대응점들(corresponding points) 을 대상으로 RANSACU4]을 수행하여 부정확한 대음점(outlier)들을 제거하고 EIGHT-POINTS 알고리즘 〔15]을 이용하여 Fundamental 행렬을 얻어낸다.
생성되어 사용자에게 제공된다. 제안하는 시스템의 처리 과정은 4단계로 나누어지는데, 이 중 첫 단계는 후방 영상의 왜곡을 보정하고, 획득된 영상의 차도 부분을 정합하기 위한 영상간의 호모그래피(homography)를 계산하며, 도로영역과 배경영역 분리를 위해 필요한 FOC(focus of contraction) 정보를 주출하는 보정 단계이다. 본 단계에서는 시간 t 영상과 시간 i-At 영상을 동시에 사용한다.
이와 비슷한 기능을 제공하는 NISSAN의 Around View Monitor⑻의 경우 오로지 Top-View를 제공하기 위해서 4대의 카메라를 아랫방향으로 장착함으로서 이러한 영상을 제공하고 있다. 하지만, 본 시스템에서는 기존에 장착된 카메라의 아무런 물리적 위치변화 없이 오로지 영상의 3차원 와핑(warping)만을 사용하여 차량 측/후방의 사각지대 정보를 운전자에게 제공한다[19].
대상 데이터
다음으로 제공될 가시화 영상은 실린더 파노라마 영상이다. 실린더 파노라마 영상은 정합된 영상을 실린더에 투영시켜 생성한 파노라마 영상이다.
두 번째 가시화 영상은 실린더 파노라마 영상이다. 최종 정합된 영상을 실린더에 투영하여 실린더 파노라마 영상으로 만들어 제공한다.
본 논문에서 최종적으로 만들어지는 파노라마 영상은 기본적으로 시간 t 의 영상들을 정합한 것이다. 하지만 이들 간의 관계를 살펴보면 후방영상과 전방영상 간의 관계는 이동변환(Z 방향)에 의해 스케일의 차이를 가지게 된다.
실험에 사용된 영상은 실제 국도와 고속도로에서 시속 70〜80knmh의 속력으로 주행하면서 획득한 영상이다. 그림 10은 본 시스템에 장착된 세 대의 카메라에서 촬영된 영상이다.
영상 획득 시 사용된 후방의 카메라는 120도의 시야각을 가지는 광각 카메라이다. 따라서 측방 영상과 합성하기 위해서는 후방 영상의 왜곡을 보정해야 한다.
이론/모형
매칭(matchinG을 수행한다. 이렇게 얻어진 연속된 두 프레임간의 대응점들(corresponding points) 을 대상으로 RANSACU4]을 수행하여 부정확한 대음점(outlier)들을 제거하고 EIGHT-POINTS 알고리즘 〔15]을 이용하여 Fundamental 행렬을 얻어낸다. 얻어진 Fundamental 행렬을 식 (2)에 적용하면 에피폴(epip여e) 을 구할 수 있는데, 차량이 전진하고 있는 상태에서는에피폴이 구하고자 하는 FOC가 된다.
성능/효과
640x480 해상도의 입력 영상을 사용하고, 왜곡 보정 후 1, 280x960 해상도의 후방 영상을 사용하여 정합을 수행하고, 정합이 완료된 결과 영상의 해상도가 2, 000乂 960인 고해상도의 영상을 획득할 경우 프레임당 10.741 초의 시간이 소요된다. 최종 결과 영상의 해상도를 400x1923.
사용한다. 이 값을 바탕으로 주행 중에 입력되는 후방영상의 왜곡을 보정하고, 컬러 기반으로 차도와 배경을 분리한다’ 분리된 차도는 영상간의 호모그래피를사용하여 정합하고, 배경은 측방의 가상 평면에 투영하여 최종 정합을 완성한다. 정합된 영상은 사용자의 요구 혹은 주행 상황에 따라 다양한 형태로 가시화 된다.
이 시스템은 차량이 주차를 위해서 저속으로 움직일 때 차량의 4 방향에 바닥을 향해서 장착된 광각 카메라에서 얻어진 영상을 이용해서 차량의 매우 좁은 인접 지역을 하늘에서 본 듯한 Top-view 시스템을 보여줌으로써 주차 시운전 자의 사각지대를 제거하고 있다. 이 시스템은 단지 차량 주위의 상황을 살피는 Top-view를 구현하기 위해 특별히 장치를 설정했지만, 본 시스템에서는 후방을 향해 장착된 카메라에서 획득된 영상을 처리하여 위 시스템과 동일한 기능의 Top-view뿐 아니라 상황에 따른 다양한 형태의 가시화가 가능한 장점을 가진다.
741 초의 시간이 소요된다. 최종 결과 영상의 해상도를 400x1923. 결정할 경우 12&96 해상도의 입력 영상이 필요하며 이 경우 프레임당 L026초의 시간이 소요된다.
후속연구
따라서 향후 진행될 과제에서는 다양한 외부 환경에 따른 개선된 해결책을 찾기 위한 실험이 추가적으로 진행될 예정이다. 또한 후방에서 접근하는 움직이는 차량을 효과적으로 가시화해주기 위한 방법을 제시하고, 아울러 후방 접근 차량에 대한 접근 거리 정보를 기재함으로서 운전자의 안전에 도움이 되는 통합 시스템으로 발전시키는 방향으로 연구가 이루어질 계획이다.
하지만, 차량이 카메라 바로 옆에 접근할 경우 정합을 위해 영상을 와핑하였으므로 차량의 그림도 배경과 같이 심하게 왜곡된다. 또한 본 실험은 눈이나 비가 오지 않는 맑은 날 이루어졌기에 눈과 비가 내리는 악천후에서는 영상 내에서 도로 영역을 구분하는 실험이 제대로 이루어지기 힘들 것으로 예상된다.
결정할 경우 12&96 해상도의 입력 영상이 필요하며 이 경우 프레임당 L026초의 시간이 소요된다. 또한 자동차에 장착하기 위한 최적의 해상도를 결정하고 정합 알고리즘을 최적화하여 FPGA(field program mable gate array) 에 탑재하는 것으로 부족한 성능을 보완할 수 있을 것으로 예상된다.
예정이다. 또한 후방에서 접근하는 움직이는 차량을 효과적으로 가시화해주기 위한 방법을 제시하고, 아울러 후방 접근 차량에 대한 접근 거리 정보를 기재함으로서 운전자의 안전에 도움이 되는 통합 시스템으로 발전시키는 방향으로 연구가 이루어질 계획이다.
본 시스템은 후방과 측방의 사각지대를 효과적으로 가시화하고 있지만, 향후 개선되어야 할 문제점도 안고 있다. 본 논문에서 제안한 시스템은 영상을 도로 부분과 배경 부분으로 나눠서 정합하고 있다.
참고문헌 (19)
자동차부품연구원, '최신 자동차 기술동향 보고서', http://www.katech.re.kr/asp/trend.asp
The 'Mechatronic' Car - Operating the Z22, http://www.bmwworld.com/models/concepts/z22.htm
NISSAN-GLOBAL, 'Around View Monitor,' http://
R. Szeliski, 'Image Alignment and Stitching: a Tutorial,' Technical Report MSR-TR-2004-92, Microsoft Research, December 2004
S. Nayar, 'Catadioptric Omnidirectional Cameras,' In IEEE Conference on Computer Vision and Pattern Recognition, pp.482-488, 1997
신주홍, 남동환, 권기준, 정순기, 'Ellipsoid를 이용한 어안 렌즈의 Non-metric 접근 왜곡 보정 기법', HCI2005 학술대회논문집, 제14권, 제1호, pp.83-89, 2005년 2월
Didi Sazbon, Hector Rotstein and Ehud Rivlin, 'Finding the Focus of Contraction and Estimating Range using Optical Flow Images and a Matched Filter,' Machine Vision and Applications, Volume 15, Issue 4, pp.229-236, October 2004
R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, ISBN: 0521540518, second edition, 2004
Bin Ran and Henry X. Liu, 'Development of A Vision-based Vehicle Detection and Recognition System for Intelligent Vehicles,' TRB Annual Meeting and To Appear in Transportation Research Record, 1999
Rafael C. Gonzalez, Richard E. Woods, Digital Image Processing, Prentice Hall, ISBN: 0131687288, third edition, 2008
Bin Ran and Henry X. Liu, 'Development of A Vision-based Real Time Lane Detection and Tracking System for Intelligent Vehicle,' Transportation Research Board 79th Annual Meeting, Washington DC, 2000
박민우, 이석준, 장경호, 정순기, 윤팔주, '사각지대 파노라마 영상생성을 위한 시뮬레이션', 정보과학회 2006 한국컴퓨터종합학술대회, 2006 한국컴퓨터종합학술대회 논문집, 제33권, 제1(B)호, pp.292-294, 2006년 6월
※ AI-Helper는 부적절한 답변을 할 수 있습니다.