본 논문에서는 입력된 자연영상으로부터 도로 영역을 검출하기 위한 소실점 자동 예측 방법을 제안한다. 제안하는 방법에서는 도로 환경에서 안정적으로 소실점을 검출하기 위해 영상의 주방향성을 분석하여 영상 특징성분들이 집중되는 곳을 소실점으로 예측한다. 이를 위해 첫번째 단계에서는, 영상을 일정크기의 서브블록으로 분할하고 분할된 서브블록 내에서 임의의 에지 샘플을 선택하고 RANSAC을 적용하여 직선 모델을 예측함으로서 각 서브블록의 주방향성을 분석한다. 모든 블록에 대하여 주방향성을 검출한 후, 두 번째 단계에서 임의의 직선 샘플을 선택하고 RANSAC을 적용하여 교점 모델을 예측함으로서 각 직선들로 인한 교점 모델의 비용값을 측정하고 가장 높은 비용값의 교점 모델에 의한 평균점으로 소실점을 예측한다. 마지막으로 성능 검증을 위해 다양한 상황에 따른 정량적, 정성적 분석을 통해 제안하는 소실점 검출 알고리즘의 타당성과 효율성을 입증한다.
본 논문에서는 입력된 자연영상으로부터 도로 영역을 검출하기 위한 소실점 자동 예측 방법을 제안한다. 제안하는 방법에서는 도로 환경에서 안정적으로 소실점을 검출하기 위해 영상의 주방향성을 분석하여 영상 특징성분들이 집중되는 곳을 소실점으로 예측한다. 이를 위해 첫번째 단계에서는, 영상을 일정크기의 서브블록으로 분할하고 분할된 서브블록 내에서 임의의 에지 샘플을 선택하고 RANSAC을 적용하여 직선 모델을 예측함으로서 각 서브블록의 주방향성을 분석한다. 모든 블록에 대하여 주방향성을 검출한 후, 두 번째 단계에서 임의의 직선 샘플을 선택하고 RANSAC을 적용하여 교점 모델을 예측함으로서 각 직선들로 인한 교점 모델의 비용값을 측정하고 가장 높은 비용값의 교점 모델에 의한 평균점으로 소실점을 예측한다. 마지막으로 성능 검증을 위해 다양한 상황에 따른 정량적, 정성적 분석을 통해 제안하는 소실점 검출 알고리즘의 타당성과 효율성을 입증한다.
This paper proposes a method of automatically predicting the vanishing point for the purpose of detecting the road region from natural images. The proposed method stably detects the vanishing point in the road environment by analyzing the dominant orientation of the image and predicting the vanishin...
This paper proposes a method of automatically predicting the vanishing point for the purpose of detecting the road region from natural images. The proposed method stably detects the vanishing point in the road environment by analyzing the dominant orientation of the image and predicting the vanishing point to be at the position where the feature components of the image are concentrated. For this purpose, in the first stage, the image is partitioned into sub-blocks, an edge sample is selected randomly from within the sub-block, and RANSAC is applied for line fitting in order to analyze the dominant orientation of each sub-block. Once the dominant orientation has been detected for all blocks, we proceed to the second stage and randomly select line samples and apply RANSAC to perform the fitting of the intersection point, then measure the cost of the intersection model arising from each line and we predict the vanishing point to be located at the average point, based on the intersection point model with the highest cost. Lastly, quantitative and qualitative analyses are performed to verify the performance in various situations and prove the efficiency of the proposed algorithm for detecting the vanishing point.
This paper proposes a method of automatically predicting the vanishing point for the purpose of detecting the road region from natural images. The proposed method stably detects the vanishing point in the road environment by analyzing the dominant orientation of the image and predicting the vanishing point to be at the position where the feature components of the image are concentrated. For this purpose, in the first stage, the image is partitioned into sub-blocks, an edge sample is selected randomly from within the sub-block, and RANSAC is applied for line fitting in order to analyze the dominant orientation of each sub-block. Once the dominant orientation has been detected for all blocks, we proceed to the second stage and randomly select line samples and apply RANSAC to perform the fitting of the intersection point, then measure the cost of the intersection model arising from each line and we predict the vanishing point to be located at the average point, based on the intersection point model with the highest cost. Lastly, quantitative and qualitative analyses are performed to verify the performance in various situations and prove the efficiency of the proposed algorithm for detecting the vanishing point.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그레이값이 밝을수록 교점이 많이 발생한 것을 의미한다. 따라서 본 논문에서 제안한 RANSAC 기반 교점 모델은 이러한 특성을 예측하여 소실점을 검출하기 위함이다.
이 방법은 초기에 가능한 적은 양의 데이터를 이용하여 일관된 데이터 집합(consensus set)을 확장시켜나가는 방식이다. 따라서 본 논문에서는 최소한의 화소 정보와 직선 성분을 이용하여 최적의 직선 모델과 교점 모델을 구축함으로서 영상을 구성하는 주방향성분과 소실점을 검출하는 방법을 제안한다.
따라서 도로의 경계선을 검출하거나 소실점을 추출하는 등 도로환경을 분석하기 위해서는 반드시 이러한 잡음 성분들을 제거하여 검출 성능을 향상시켜야 한다. 본 논문에서는 HSV 색상모델에서 잡음에 많은 영향을 미치는 명도 정보를 제외한 색도와 채도를 나타내는 H, S 채널값을 이용하여 에지 검출을 위한 임계치를 적응적으로 설정한다. 다음의 식 (1)에서 DH와 DS는 각각 임계치를 구하기 위해 해당 화소에서 길이의 인접 화소들과의 H와 S값의 차이를 구하는 것으로서 영상의 모든 화소에 대해 산출하며 최종 임계치는 식 (2)와 같으며 그림 2에서 이를 표현한다.
본 논문에서는 도로의 방향성을 분석하고 소실점의 위치를 자동으로 예측하기 위해 RANSAC(RANdom SAmple Consensus)[8-12]을 이용한 새로운 방법을 제안한다. RANSAC은 잡음이 심한 측정 데이터로부터 최적의 모델 파라미터를 결정하는 알고리즘으로서 주어진 원본 데이터로부터 임의의 일부 데이터를 선택한 뒤 최적의 파라미터를 예측하는 과정을 반복하면서 좋은 모델 파라미터를 검출한다.
본 논문에서는 실외의 자연환경에서 도로를 검출하기 위해소실점을 자동으로 예측하기 위한 방법을 제안하였다. 이를 위해 RANSAC을 이용하여 직선모델을 예측함으로서 영상의 주방향성을 분석하고, 주방향성분을 RANSAC에 응용하여 교점모델을 예측함으로서 소실점을 검출하는 방법을 제안하였다.
RANSAC 알고리즘은 주어진 원본 데이터로부터 일부 샘플을 임의로 선택한 후 최적의 파라미터를 예측하는 과정을 반복적으로 수행하면서 좋은 모델 파라미터를 찾는 것이다. 본 논문에서는 이러한 원리를 이용하여 직선 모델과 교점 모델을 예측하고자 한다. 먼저, RANSAC을 이용한 직선 모델 예측을 표 1의 알고리즘에서 설명하고 있다.
도로 환경인지 기술은 크게 도로 검출기술과 이동물체 인식기술로 구분된다. 즉, 전방의 도로 영역을 검출하고 영역 내외의 이동하는 물체를 인지하고 인식하여 도로 상의 환경을 분석하는 것이다. 이중 도로 검출기술은 주로 자동차의 자율주행이나 자동주차 시스템 혹은 자동차가 아닌 보행자의 보행을 유도하기 위한 연구가 진행되고 있다.
가설 설정
Suttorp[4]는 입력영상으로부터 일정 조건을 만족하는 좌측과 우측에 대한 직선 정보를 검출하여 수집한 뒤 해당 직선 성분들이 밀집되는 위치의 점을 소실점으로 검출한다. 이때 소실점의 위치는 영상에서 사전에 정의한 수평선상에 존재한다고 가정하고 검출하며, 검출된 소실점은 이후 칼만 필터를 이용하여 추정함으로서 실시간 소실점 검출이 가능하다. 그러나 이 방법은 좌우측 직선 성분들이 장애물 없이 검출되어야만 가능하며, 또한 소실점의 위치가 고정되어 있어야 한다는 가정이 반드시 필요하다는 문제점이 있다.
제안 방법
Gerogiannis[3]는 특별한 타원의 가장 긴 축에 의해 에지 포인트들을 군집화(clustering)하여 표현함으로서 에지 맵을 구성하고, 에지 맵으로부터 직선 성분들을 검출한다. 검출된 직선들로 교차점을 구하여 소실점을 검출한다. 이 방법은 타원의 임계값에 따라 직선 성분 검출성능이 좌우될 수 있으며, 실외 환경에서는 군집화하는 과정에서 문제점이 발생한다.
도로 영역을 검출하기 위해서는 먼저 도로의 경계선을 추출하고 경계선들로부터 도로의 소실점(vanishing point)을 검출하여 도로 영역을 분리한다. 그리고 분리된 영역 내의 특징을 분석하여 도로 영역을 학습 및 인식한다. 도로 경계선과 소실점을 검출하기 위한 단계에서 수많은 연구들이 진행되어 왔으며, 주로 실외 환경에 존재하는 수많은 잡음들로부터 강건하게 도로의 경계선과 소실점을 추출함으로서 정확한 도로 영역을 분석하기 위한 것이다.
첫 번째 단계로 RANSAC기반 직선 모델 예측(RANSAC Line Fitting)단계는 에지 영상의 서브 블록으로부터 임의의 샘플을 선택하고 직선 모델을 예측하고 해당 모델의 비용값(cost)을 산출함으로서 해당 서브블록의 주방향성분을 검출한다. 두 번째 단계인 RANSAC기반 교점 모델 예측(RANSAC Point Fitting)단계는 검출된 주방향성분들 중 임의의 샘플 직선을 선택하고 교점 모델을 예측하여 해당 모델의 비용값을 측정함으로서 가장 비용값이 높은 교점을 이용하여 소실점을 예측한다.
그러나 검출된 모든 직선성분들을 소실점 예측을 위해 사용하기에는 잡음성분에 의한 직선성분들이 문제가 된다. 따라서 본 논문에서는 해당 블록 내의 에지 화소들의 매그니튜드의 누적 합을 이용하여 검출된 직선성분의 비용값과 비교한다. 즉, 식(4)와 같이 만약 Costk가 매그니튜드의 누적 합인 mag_sum의 30%보다 크다면 전체 영상의 주방향성분 DO로 해당 직선들을 검출한다.
본 논문에서는 RANSAC 알고리즘을 이용하여 영상에서의 주방향성과 소실점을 예측하기 위해 그림 1과 같이 두 가지 단계를 수행한다. 첫 번째 단계로 RANSAC기반 직선 모델 예측(RANSAC Line Fitting)단계는 에지 영상의 서브 블록으로부터 임의의 샘플을 선택하고 직선 모델을 예측하고 해당 모델의 비용값(cost)을 산출함으로서 해당 서브블록의 주방향성분을 검출한다.
다음의 식 (1)에서 DH와 DS는 각각 임계치를 구하기 위해 해당 화소에서 길이의 인접 화소들과의 H와 S값의 차이를 구하는 것으로서 영상의 모든 화소에 대해 산출하며 최종 임계치는 식 (2)와 같으며 그림 2에서 이를 표현한다. 이때 값은 본 논문에서는 15로 설정하여 해당 화소의 좌측과 우측의 15개씩 총 30개의 화소들에 대해 적용한다[13].
본 논문에서는 실외의 자연환경에서 도로를 검출하기 위해소실점을 자동으로 예측하기 위한 방법을 제안하였다. 이를 위해 RANSAC을 이용하여 직선모델을 예측함으로서 영상의 주방향성을 분석하고, 주방향성분을 RANSAC에 응용하여 교점모델을 예측함으로서 소실점을 검출하는 방법을 제안하였다. 제안한 방법의 우수성을 검증하기 위하여 다양한 도로 환경의 영상을 이용하여 기존의 가보필터와 HOG 기술자를 이용한 방법과 비교 분석하였으며, 연속 영상에서의 실험을 통해 실시간 시스템으로의 적용 가능성을 입증하였다.
2장의 1절에서 제안한 RANSAC 기반 교점 모델은 각 모델들이 가진 비용값에 의해 소실점을 예측할 수 있다. 즉, 비용값이 가장 높은 교점 모델을 이용하여 해당 모델의 중심점으로 소실점을 예측한다.
본 논문에서는 RANSAC 알고리즘을 이용하여 영상에서의 주방향성과 소실점을 예측하기 위해 그림 1과 같이 두 가지 단계를 수행한다. 첫 번째 단계로 RANSAC기반 직선 모델 예측(RANSAC Line Fitting)단계는 에지 영상의 서브 블록으로부터 임의의 샘플을 선택하고 직선 모델을 예측하고 해당 모델의 비용값(cost)을 산출함으로서 해당 서브블록의 주방향성분을 검출한다. 두 번째 단계인 RANSAC기반 교점 모델 예측(RANSAC Point Fitting)단계는 검출된 주방향성분들 중 임의의 샘플 직선을 선택하고 교점 모델을 예측하여 해당 모델의 비용값을 측정함으로서 가장 비용값이 높은 교점을 이용하여 소실점을 예측한다.
대상 데이터
그림 6은 실험에 사용된 다양한 환경에서 촬영된 도로 영상으로서 나무길, 보도, 차도, 흙길 등 4가지의 도로 환경으로 구분하여 실험하였다. 이는 도로 환경이 뚜렷한 형태를 가지고 있지 않더라도 영상에서의 방향성을 분석할 수 있는 성능을 측정하기 위함이다.
본 논문에서는 Intel(R) Core2 Quad CPU 2.66GHz, 3G RAM 환경 하에서 실험되었으며, 실험에 사용된 영상은 640x480 영상으로 정규화한 영상으로, 모바일기기와 차량의 블랙박스 영상 등을 이용하여 실외환경에서 촬영된 영상이다.
데이터처리
이를 위해 RANSAC을 이용하여 직선모델을 예측함으로서 영상의 주방향성을 분석하고, 주방향성분을 RANSAC에 응용하여 교점모델을 예측함으로서 소실점을 검출하는 방법을 제안하였다. 제안한 방법의 우수성을 검증하기 위하여 다양한 도로 환경의 영상을 이용하여 기존의 가보필터와 HOG 기술자를 이용한 방법과 비교 분석하였으며, 연속 영상에서의 실험을 통해 실시간 시스템으로의 적용 가능성을 입증하였다.
이론/모형
표 3은 도로 환경별로 분석한 소실점 검출 오차율에 대한 것으로서 이러한 문제점들을 분석한 결과이다. 실측된 소실점의 위치와 검출된 소실점의 위치 간의 오차는 유클리디언 거리(euclidean distance)를 이용하여 측정하였다. 본 논문에서 제안한 방법은 각 도로 환경별 평균 오차가 약 5.
성능/효과
표 4는 소실점 검출 단계의 수행 속도를 분석한 것으로서 실험을 위해 연속으로 촬영된 도로 영상을 이용하였다. Moghadam의 방법은 가보필터로 주방향성분을 검출하는 단계에서는 9fps, 소실점 검출단계에서는 13fps로 평균 수행 속도는 약 11fps로 측정되었다. 최지원의 방법은 HOG를 이용한 주방향성분을 검출하는 단계에서 10fps, 동적프로그래밍에 의해 소실점을 검출하는 단계에서는 11fps로 평균 수행 속도는 약 10fps로 측정되었다.
즉, 두 방법 모두 실시간 시스템에 적용하기에 단계별 수행 속도가 매우 느린 것을 확인할 수 있다. 그러나 본 논문에서 제안한 방법은 RANSAC 직선모델예측단계에서는 14fps, RANSAC 교점모델 예측단계에서는 16fps로 측정되어 기존의 두 방법보다 실시간 시스템을 위한 가능성이 높은 것으로 검증되었다.
그러나 가보필터를 사용한 Moghadam의 방법은 대부분 실측된 소실점의 위치보다 약간의 오차가 발생하였다. 또한 HOG를 이용한 최지원의 방법은 거의 모든 도로 환경에서 많은 오차가 발생함을 확인할 수 있다. 이는 외곽 영역으로부터 가장 멀리 떨어진 소실점을 대상으로 검출하는 방법이 나무길 영상과 같이 상단에 위치한 소실점을 예측하지 못하는 문제점이 있기 때문이며, 또한 도로 주변의 복잡한 방향성을 HOG를 이용하는 방법으로는 주방향성에 대한 정확한 분석이 어렵기 때문인 것으로 판단된다.
본 논문에서 제안한 RANSAC 기반 소실점 예측 방법은 모든 도로 환경에서 실측영상과 거의 유사한 위치에서 소실점이 검출되었음을 확인할 수 있다. 그러나 가보필터를 사용한 Moghadam의 방법은 대부분 실측된 소실점의 위치보다 약간의 오차가 발생하였다.
실측된 소실점의 위치와 검출된 소실점의 위치 간의 오차는 유클리디언 거리(euclidean distance)를 이용하여 측정하였다. 본 논문에서 제안한 방법은 각 도로 환경별 평균 오차가 약 5.05로 매우 적은 오차율을 보였으나, Moghadam의 방법과 최지원의 방법은 각각 16.84와 32.98로 실측된 소실점의 위치와 상당히 많은 오차를 보임을 확인할 수 있다. 또한 환경이나 영상의 다양함에 따라 소실점 검출 오차의 변화폭이 상당히 큰 것으로 나타난다.
최지원의 방법은 HOG를 이용한 주방향성분을 검출하는 단계에서 10fps, 동적프로그래밍에 의해 소실점을 검출하는 단계에서는 11fps로 평균 수행 속도는 약 10fps로 측정되었다. 즉, 두 방법 모두 실시간 시스템에 적용하기에 단계별 수행 속도가 매우 느린 것을 확인할 수 있다. 그러나 본 논문에서 제안한 방법은 RANSAC 직선모델예측단계에서는 14fps, RANSAC 교점모델 예측단계에서는 16fps로 측정되어 기존의 두 방법보다 실시간 시스템을 위한 가능성이 높은 것으로 검증되었다.
Moghadam의 방법은 가보필터로 주방향성분을 검출하는 단계에서는 9fps, 소실점 검출단계에서는 13fps로 평균 수행 속도는 약 11fps로 측정되었다. 최지원의 방법은 HOG를 이용한 주방향성분을 검출하는 단계에서 10fps, 동적프로그래밍에 의해 소실점을 검출하는 단계에서는 11fps로 평균 수행 속도는 약 10fps로 측정되었다. 즉, 두 방법 모두 실시간 시스템에 적용하기에 단계별 수행 속도가 매우 느린 것을 확인할 수 있다.
후속연구
향후 검출된 소실점을 이용하여 도로의 영역을 분리하는 연구를 수행한다면 자연환경에서의 도로 형태 및 환경변화에 강건하게 도로를 검출할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
도로 환경인지 기술를 구분하시오.
도로 환경인지 기술은 크게 도로 검출기술과 이동물체 인식기술로 구분된다. 즉, 전방의 도로 영역을 검출하고 영역 내외의 이동하는 물체를 인지하고 인식하여 도로 상의 환경을 분석하는 것이다.
이중 도로 검출기술은 주로 어떤 연구가 진행되고 있는가?
즉, 전방의 도로 영역을 검출하고 영역 내외의 이동하는 물체를 인지하고 인식하여 도로 상의 환경을 분석하는 것이다. 이중 도로 검출기술은 주로 자동차의 자율주행이나 자동주차 시스템 혹은 자동차가 아닌 보행자의 보행을 유도하기 위한 연구가 진행되고 있다. 도로 영역을 검출하기 위해서는 먼저 도로의 경계선을 추출하고 경계선들로부터 도로의 소실점(vanishing point)을 검출하여 도로 영역을 분리한다.
도로 환경인지 기술이란?
도로 환경인지 기술은 크게 도로 검출기술과 이동물체 인식기술로 구분된다. 즉, 전방의 도로 영역을 검출하고 영역 내외의 이동하는 물체를 인지하고 인식하여 도로 상의 환경을 분석하는 것이다. 이중 도로 검출기술은 주로 자동차의 자율주행이나 자동주차 시스템 혹은 자동차가 아닌 보행자의 보행을 유도하기 위한 연구가 진행되고 있다.
참고문헌 (13)
S. T. Banard, "Interpreting perspective images", Artificial intelligence, Vol. 21, No. 4 pp.435-462, 1983.
H. J. Liu, "A Fast Method for Vanishing Point Estimation and Tracking and Its Application in Road Images", In Proceedings of the 6th International Conference on ITS Telecommunications, pp.106-109, 2006.
D. Gerogiannis, C. Nikou, and A. Likas, "Fast and efficient vanishing point detection in indoor images", In Proceedings of the 21st International Conference on Pattern Recognition (ICPR 2012), pp.3244-3247, 2012.
T. Suttorp, and T. Bucher, "Robust Vanishing Point Estimation for Driver Assistance", Proceedings of the IEEE ITSC 2006, pp.1550-1555, 2006.
P. Moghadam, J. A. Starzyk, and W. S. Wijesoma, "Fast Vanishing-Point Detection in Unstructured Environments", IEEE Transactions on Image Processing, Vol. 21, No. 1, pp.425-430, 2012.
F. Stentiford, "Attension-based vanishing point detection", In Proceedings of the 2006 IEEE International Conference on Image Processing(ICIP), pp.417-420, 2006.
J. W. Choi, and C. I. Kim, "Real-time Vanishing Point Detection Using Histogram of Oriented Gradient", Journal of The Institute of Electronics Engineers of Korea, Vol. 48-SP, No. 2, pp.96-101, 2011.
M. A. Fischler, and R. C. Bolles, "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Communications of the ACM, Vol. 24, No. 6, pp.381-395, 1981.
D. Fontanelli, M. Cappelletti, and D. Macii, "A RANSAC-based fast road line detection algorithm for high-speed wheeled vehicles", In Proceedings of the 2011 IEEE Instrumentation and Measurement Technology Conference (I2MTC), pp.1-6, 2011
R. Hartley, and A. Zisserman, "Multiple View Geometry in Computer Vision", Cambridge University Press, 2003.
A. Lopez, C. Canero, J. Serrat, J. Saludes, F. Lumbreras, and T. Graf, "Detection of Lane Markings based on Ridgeness and RANSAC", In Proceedings of the 8th International IEEE Conference on Intelligent Transportation Systems, pp.733-738, 2005.
S. L. Choi, T. M. Kim, and W. P. Yu, "Performance Evaluation of RANSAC Family", In Proceedings of the British Machine Vision Conference (BMVC), pp.1-12, 2009.
S. H. Weon, S. I. Joo, H. S. Na, and H. I. Choi, "Detection of Pavement Region with Structural Patterns through Adaptive Multi-Seed Region Growing", The KIPS transactions. Part B, Vol. 19-B, No. 4, pp.209-220, 2012.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.