선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이는 다른 객체들과 신호등을 구분 지을 수 있는 큰 특징이라 할 수 있다. 본 논문에서는 이 두 가지 신호등의 특징에 기반 하여 차량 전면에 설치된 카메라에 서 취득된 영상에서 신호등을 검출하기 위한 방법을 제안한다.
- 본 논문은 첨단운전자지원시스템의 일종인 신호등 검출을 위한 새로운 방법을 제안하였으며, 기존의 돌출맵 기반 신호등 검출 기법을 개량하여 보다 효율적이고 정확한 검출이 가능하도록 하였다. 신호등 검출을 위하여 기존의 돌출맵에 대하여 신호등이 각 특징에 어떻게 반응하는지를 분석하였으며 이를 통하여 신호등 검출에 적합한 색채 기반의 돌출맵을 구성하였다.
- 본 절에서는 신호등의 특징이 돌출맵과 어떠한 연관이 있는지 색상, 밝기, 방향의 측면에서 분석하며, 이를 기반으로 기존의 돌출맵을 개량한 신호등 검출용 모델을 제안하며 이에 대하여 설명한다.
제안 방법
- 그림 5는 제안된 신호등 검출을 위한 돌출맵을 나타낸다. 기존의 돌출 맵에서 사용되는 특징인 색상, 밝기, 방향 중 색상만을 사용하였으며 보색이 아닌 실제 RGBY 값 자체를 사용하도록 개량하여 색상 기반의 돌출맵을 구성함으로써 신호등 검출에 효과적인 방법을 제안한다.
- 돌출맵을 이용한 신호등 검출 결과를 확인하기 위하여 먼저 돌출맵 특징 별로 신호등이 어떻게 반응하는지를 확인하였다. 그림 7에는 두 장의 입력 영상에 대한 색상, 밝기, 방향의 현저함 맵 영상이 나타나 있다.
- 보다 정확한 신호등 검출을 위하여 제안하는 방법에서는 전체 모델을 탑-햇 필터를 이용한 형태학 정보 기반의 검출과 돌출맵 기반의 검출을 결합하여 구성하였다. 탑-햇 필터를 이용하면 영상 내에서 밝기가 강조된 영역을 검출할 수 있으며 이를 이용하여 형태학 적으로 신호등의 조건을 만족하지 않는 영역을 제거할 수 있다.
- 본 논문은 첨단운전자지원시스템의 일종인 신호등 검출을 위한 새로운 방법을 제안하였으며, 기존의 돌출맵 기반 신호등 검출 기법을 개량하여 보다 효율적이고 정확한 검출이 가능하도록 하였다. 신호등 검출을 위하여 기존의 돌출맵에 대하여 신호등이 각 특징에 어떻게 반응하는지를 분석하였으며 이를 통하여 신호등 검출에 적합한 색채 기반의 돌출맵을 구성하였다. 이는 기존의 돌출맵을 구성함에 있어 신호등과 관련 있는 색상 특징을 선택하여 보색이 아닌 신호등의 색상으로 특징을 구성하고 신호등 검출에 적합하지 않은 밝기와 방향 특징을 제거하여 신호등 검출 성능을 향상시켰다는데 의의가 있다.
- . 유전적 알고리즘은 신호등의 형태를 타원으로 확장하여 신호등의 후보에 대한 유동적인 형태의 검출이 가능하게 하였으며 공간 재질 레이아웃(special texture layout)을 이용하여 신호등을 검출하였다. 그러나 유전적 알고리즘을 적용하면서 검출 성능이 개선된 반면 최적의 신호등 형태를 얻기 위한 연산량의 증가로 실시간 처리가 불가능 하다는 문제점이 있다.
대상 데이터
- 이는 가로 형태의 신호등이 기둥에 부착된 형태이고 세로 형태의 신호등이 존재하는 유럽과는 구분되는 자료이다. 공인 데이터 셋인 LaRa는 다양한 첨단운전자지원시스템의 테스 트를 위한 프랑스의 도심 영상을 640x480 해상도로 촬영한 11179 frame으로 구성되었다.
- 실험에 사용된 데이터 셋의 예는 그림 6과 같고 그림 6(a)가 자체 데이터 셋, 6(b)와 6(c)가 LaRa 데이터 셋이다. 자체 데이터 셋은 국내에서 촬영되었으며, 1280x720 해상도에서 1188 장의 신호등이 포함된 영상이다. 이는 가로 형태의 신호등이 기둥에 부착된 형태이고 세로 형태의 신호등이 존재하는 유럽과는 구분되는 자료이다.
- 제안하는 신호등 검출 방법에 대한 검증은 블랙박스를 이용하여 취득한 자체 데이터 셋과 프랑스의 신호등 검출 공인 데이터 셋인 LaRa(La Route Automatisée)의 두 가지 데이터 셋에서 수행되었다. 실험에 사용된 데이터 셋의 예는 그림 6과 같고 그림 6(a)가 자체 데이터 셋, 6(b)와 6(c)가 LaRa 데이터 셋이다.
데이터처리
- 기존의 돌출맵을 계산할 때는 인간의 시각 체계를 모방하여 보색 관계인 두 색의 차를 이용하여 RG와 BY값을 계산하여 사용하였다. 그러나 신호등 검출에 있어 목표 색상은 빨강, 초록, 노랑 이므로 돌출맵 생성시에 이 값들을 그대로 사용하면 값을 보관하였다가 최종 신호등 검출 결과로 선정되었을 시 추가적인 색상 판별을 하지 않고 색상 정보를 취득할 수 있으므로 보색 관계의 색으로 변환할 필요가 없고 색상 판별을 하지 않아도 되므로 계산 효율을 높일 수 있다.
- 또한 제안하는 알고리즘의 성능에 대한 일반화된 성능 평가를 위하여 LaRa 데이터 셋을 활용한 다른 논문들과의 성능 비교를 수행하였으며, 그 결과를 표 2에 나타내었다. 제안하는 방법은 89.
- 제안하는 모델의 성능을 평가하기 위하여 정확도(precision)와 재현율(Recall)을 사용하였다. 정확도와 재현율은 True Positive(TP), True Negative(TN), False Positive(FP), False Negative(FN)의 네 가지 요소로 구성되며 각각은 올바른 객체를 검출한 경우, 아닌 객체를 검출하지 않은 경우, 객체를 검출하지 않은 경우, 잘못된 객체를 검출한 경우를 의미한다.
이론/모형
- 이러한 문제를 해결하기 위하여 색상과 밝기를 분리하여 다루는 HSV 색 체계를 이용하거나[7] YCbCr 색 체계를 사용하는 방법[8～9]이 연구되었다. 각각의 방법은 HSV 및 YCbCr 색체계로 표현되는 신호 등의 색상 분포를 분석하였으며 특히 Gomez[10]는 HSV 색 체계를 이용하여 취득한 신호등 후보 영역에서 은닉 마코프 모델(hidden Markov models)을 이용하여 신호 등을 검출하였다. 그러나 이 역시 유사한 색상의 객체에 대한 분별력이 부족하다는 문제가 있다.
- 기존의 돌출맵은 선택된 특징에 대하여 중앙 주변차 알고리즘을 적용하여 배경과 전경을 분리하였다. 이 때 사용된 피라미드 계층은 전경 층이 2, 3, 4 층, 배경 층이 3, 4, 5, 6, 7 층이다.
- 이 과정에서 배경과 전경이 구분되어 영상에서 색상과 밝기, 방향의 측면에서 각각 눈에 띄는 영역이 선택된다. 이렇게 생성된 세 장의 현저함 지도에 각각 가중치를 부여하여 선형 조합하면 돌출맵이 생성되며 그중 값이 큰 영역만을 추리기 위하여 승자독식(winner take all) 방식을 이용하여 최종의 시각적 주의집중 영역을 판단한다.
- 영상이 입력되면 밝기를 이용한 신호등 검출을 위하여 실험적으로 얻어진 영상의 평균 밝기를 이용한 고정 임계값을 이용하여 주야간의 판단을 수행한다. 주간에 대해서는 Otsu의 다단계 임계치 기법을 사용하여 밝은 영역을 검출하며 야간에는 H-maxima 변환을 사용하여 밝은 영역을 검출한다. 그 다음 연결된 성분에 대한 검출을 수행하고 검출된 영역의 크기가 너무 크거나 작은 영역을 제거하여 신호등의 후보를 획득한다.
성능/효과
- 검출 성능에 영향을 미치는 요인으로는 돌출맵을 이진화 할 때 사용되는 문턱값과 탑-햇 필터의 크기 및 이진화 문턱값이 있으며 각각의 값은 미검출 값을 낮추기 위한 방향으로 설정되었다. 그 결과 총 1188 장의 신호등이 포함된 자체 데이터 셋 영상에 대하여 평균 98.14%의 정확도와 83.52%의 재현율을 나타냄을 확인할 수 있으며 특히 높은 검출 결과와 낮은 미검출 결과를 확인할 수 있다.
- 이는 기존의 돌출맵을 구성함에 있어 신호등과 관련 있는 색상 특징을 선택하여 보색이 아닌 신호등의 색상으로 특징을 구성하고 신호등 검출에 적합하지 않은 밝기와 방향 특징을 제거하여 신호등 검출 성능을 향상시켰다는데 의의가 있다. 또한 이를 탑-햇 필터를 이용한 신호등 검출 결과와 결합하여 신호등 검출을 수행하였으며, 국내에서 촬영된 자체 데이터 셋에서는 98.14%의 높은 정확도 와 83.52%의 재현율을 보였고, 프랑스의 공인 데이터 셋인 LaRa 데이터 셋에서는 89.90%의 정확도와 74.28%의 재현율을 보였다. 앞으로는 배경이 복잡한 LaRa 데이터 셋과 같은 환경에서의 신호등 검출 성능을 높이기 위한 연구가 수행되어야 할 것이다.
- 본 논문과의 비교를 위하여 동일한 자체 데이터 셋에서 152x507 해상도의 영상에 대하여 처리 속도를 측정한 결과, 평균 57msec가 소요되었다. 이에 반해 제안하는 알고리즘은 평균 26msec가 소요되어 돌출맵을 구성하는 방식에서 신호등 검출에 미치는 영향이 적은 밝기와 방향 정보를 제거함으로써 검출 성능은 높이고 처리 시간을 효과적으로 줄일 수 있음을 확인하였다.
- 신호등 검출을 위하여 기존의 돌출맵에 대하여 신호등이 각 특징에 어떻게 반응하는지를 분석하였으며 이를 통하여 신호등 검출에 적합한 색채 기반의 돌출맵을 구성하였다. 이는 기존의 돌출맵을 구성함에 있어 신호등과 관련 있는 색상 특징을 선택하여 보색이 아닌 신호등의 색상으로 특징을 구성하고 신호등 검출에 적합하지 않은 밝기와 방향 특징을 제거하여 신호등 검출 성능을 향상시켰다는데 의의가 있다. 또한 이를 탑-햇 필터를 이용한 신호등 검출 결과와 결합하여 신호등 검출을 수행하였으며, 국내에서 촬영된 자체 데이터 셋에서는 98.
- 이 두 가지 방법에 의하여 추출된 신호등 후보 영역 중 겹치는 후보를 선택하여 신호등의 색상을 판별하고 최종의 신호등 검출 결과로 출력한다. 이는 신호등의 후보로 점광원(spot light) 검출과 돌출맵을 조합함으로서 효과적인 신호등 검출을 수행할 수 있었다. 또한 Itti의 돌출맵 모델은 입력영상의 크기에 비례하여 계산시간이 길어진다는 단점이 있기 때문에 기존의 방법에서는 이를 신호등 검출에 적용하기 위하여 전체 영상의 크기를 1/3로 줄여 적용함으로써 계산시간을 단축하였다.
- 이렇게 생성된 돌출맵은 영상에서 색상, 밝기, 방향이 모두 고려된 시각적 주의집중 영역을 판단하며 이는 가시성을 높이기 위하여 설계된 신호등의 검출에 적합하다 할 수 있다. 특히 유사한 색상의 객체라 할지라도 발광체이면서 검은 함체로 둘러싸인 신호등은 배경과 더 용이하게 구분되므로 유사 객체에 비하여 돌출맵에서 높은 값을 가지게 된다.
- 본 논문과의 비교를 위하여 동일한 자체 데이터 셋에서 152x507 해상도의 영상에 대하여 처리 속도를 측정한 결과, 평균 57msec가 소요되었다. 이에 반해 제안하는 알고리즘은 평균 26msec가 소요되어 돌출맵을 구성하는 방식에서 신호등 검출에 미치는 영향이 적은 밝기와 방향 정보를 제거함으로써 검출 성능은 높이고 처리 시간을 효과적으로 줄일 수 있음을 확인하였다.
- 전체 신호등 검출 과정은 그림 9에 나타내었다. 이진화된 돌출맵 결과와 탑-햇 필터링 결과가 중첩되는 지역을 라벨링 함으로써 검출 결과를 관리하기 용이하도록 하였으며, 이를 형태학 정보를 이용하여 크기와 가로, 세로 비율을 이용하여 필터링 한 결과 성공적으로 신호등을 검출하였음을 확인할 수 있다.
- 또한 제안하는 알고리즘의 성능에 대한 일반화된 성능 평가를 위하여 LaRa 데이터 셋을 활용한 다른 논문들과의 성능 비교를 수행하였으며, 그 결과를 표 2에 나타내었다. 제안하는 방법은 89.90%의 정확도와 74.28%의 재현율을 나타내었으며, 이는 기존의 연구가 높은 정확도를 위하여 재현율을 낮게 하거나, 높은 재현율을 위하여 정확도를 낮게 한 것과 달리 정확도와 재현율에서 고른 성능을 나타냄을 확인할 수 있다. 자체 데이터 셋에 비하여 LaRa 데이터 셋에서의 성능이 낮은 양상을 띠는데, 이는 LaRa 데이터 셋이 신호등이 공중이 아닌 건물 혹은 가로수와 같이 복잡한 배경 앞에 설치된 경우가 많기 때문이다.
후속연구
- 앞으로는 배경이 복잡한 LaRa 데이터 셋과 같은 환경에서의 신호등 검출 성능을 높이기 위한 연구가 수행되어야 할 것이다. 또한 최근 활발하게 연구되고 있는 딥러닝(deep learning)과 돌출맵을 연계하여 보다 정확한 신호등 검출을 수행할 수 있을 것으로 예상된다.
- 학습에 사용되는 패치만을 비교하였을 때 신호등과 다른 광원을 구분하기가 쉽지 않기 때문이다. 신호등을 검출하기 위해서는 신호등의 가장 큰 특징인 색상과 형태를 기반으로 하면서 유사한 색상과 형태인 다른 객체들과 신호등을 구분할 수 있는 방법이 필요함을 확인할 수 있다. 이런 점에서 시각적 주의집중 영역 검출에 사용되는 돌출맵(saliency map)을 활용한 김종배[16]의 연구는 신호등 검출에 적합하다 할 수 있다.
- 28%의 재현율을 보였다. 앞으로는 배경이 복잡한 LaRa 데이터 셋과 같은 환경에서의 신호등 검출 성능을 높이기 위한 연구가 수행되어야 할 것이다. 또한 최근 활발하게 연구되고 있는 딥러닝(deep learning)과 돌출맵을 연계하여 보다 정확한 신호등 검출을 수행할 수 있을 것으로 예상된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.