교통 표지판 인식(TSR)은 운전자 보조 시스템(ADAS)의 중요한 부분 중의 하나이다. 하지만 일반적인 주간 상황이 아닌 야간, 눈, 비, 안개 등의 열악한 상황에 대한 연구는 주간 상황과 달리 표지판 고유의 색이 정확히 나타나지 않기 때문에 많이 이루어지지 않고 있다. 본 논문에서는, 주간 상황뿐 아니라 열악한 환경에서도 적용 가능한 기계학습 기반의 교통 표지판 인식 알고리즘을 제안한다. 열악한 환경에서는 일반적인 RGB 색 체계 정보를 이용한 방법은 좋은 성능을 보이지 못하므로 표지판의 형태적 특징을 이용하는 HoG 특징점 추출기를 이용하여 표지판의 형태적 특징을 추출하고 SVM 알고리즘을 이용하여 표지판을 검출하였다. 검출한 표지판의 인식에는 Normalized RGB 색 체계의 25개의 참조점을 통한 의사결정트리를 이용하였다. Intel i5 3.4GHz 환경에서 Full HD해상도의 이미지에 대해 실험한 결과 안개 및 야간 등의 열악한 환경에서의 검출률은 96.4%, 인식률은 94%로 본 논문에서 제안하는 학습기반의 알고리즘이 열악한 환경에서의 표지판 검출 및 인식에 효율적으로 적용이 가능함을 알 수 있다.
교통 표지판 인식(TSR)은 운전자 보조 시스템(ADAS)의 중요한 부분 중의 하나이다. 하지만 일반적인 주간 상황이 아닌 야간, 눈, 비, 안개 등의 열악한 상황에 대한 연구는 주간 상황과 달리 표지판 고유의 색이 정확히 나타나지 않기 때문에 많이 이루어지지 않고 있다. 본 논문에서는, 주간 상황뿐 아니라 열악한 환경에서도 적용 가능한 기계학습 기반의 교통 표지판 인식 알고리즘을 제안한다. 열악한 환경에서는 일반적인 RGB 색 체계 정보를 이용한 방법은 좋은 성능을 보이지 못하므로 표지판의 형태적 특징을 이용하는 HoG 특징점 추출기를 이용하여 표지판의 형태적 특징을 추출하고 SVM 알고리즘을 이용하여 표지판을 검출하였다. 검출한 표지판의 인식에는 Normalized RGB 색 체계의 25개의 참조점을 통한 의사결정트리를 이용하였다. Intel i5 3.4GHz 환경에서 Full HD 해상도의 이미지에 대해 실험한 결과 안개 및 야간 등의 열악한 환경에서의 검출률은 96.4%, 인식률은 94%로 본 논문에서 제안하는 학습기반의 알고리즘이 열악한 환경에서의 표지판 검출 및 인식에 효율적으로 적용이 가능함을 알 수 있다.
Traffic Sign Recognition(TSR) is an important element in an Advanced Driver Assistance System(ADAS). However, many studies related to TSR approaches only in normal daytime environment because a sign's unique color doesn't appear in poor environment such as night time, snow, rain or fog. In this pape...
Traffic Sign Recognition(TSR) is an important element in an Advanced Driver Assistance System(ADAS). However, many studies related to TSR approaches only in normal daytime environment because a sign's unique color doesn't appear in poor environment such as night time, snow, rain or fog. In this paper, we propose a new TSR algorithm based on machine learning for daytime as well as poor environment. In poor environment, traditional methods which use RGB color region doesn't show good performance. So we extracted sign characteristics using HoG extraction, and detected signs using a Support Vector Machine(SVM). The detected sign is recognized by a decision tree based on 25 reference points in a Normalized RGB system. The detection rate of the proposed system is 96.4% and the recognition rate is 94% when applied in poor environment. The testing was performed on an Intel i5 processor at 3.4 GHz using Full HD resolution images. As a result, the proposed algorithm shows that machine learning based detection and recognition methods can efficiently be used for TSR algorithm even in poor driving environment.
Traffic Sign Recognition(TSR) is an important element in an Advanced Driver Assistance System(ADAS). However, many studies related to TSR approaches only in normal daytime environment because a sign's unique color doesn't appear in poor environment such as night time, snow, rain or fog. In this paper, we propose a new TSR algorithm based on machine learning for daytime as well as poor environment. In poor environment, traditional methods which use RGB color region doesn't show good performance. So we extracted sign characteristics using HoG extraction, and detected signs using a Support Vector Machine(SVM). The detected sign is recognized by a decision tree based on 25 reference points in a Normalized RGB system. The detection rate of the proposed system is 96.4% and the recognition rate is 94% when applied in poor environment. The testing was performed on an Intel i5 processor at 3.4 GHz using Full HD resolution images. As a result, the proposed algorithm shows that machine learning based detection and recognition methods can efficiently be used for TSR algorithm even in poor driving environment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
검출된 표지판 영역은 영상에서 빛이 들어온 각도나 시간, 혹은 기상상황에 따라 픽셀 별로 밝기 값이 다르게 나타날 수 있는데 이러한 영상은 가독성이 떨어져 인식률이 떨어지는 결과를 나타낼 수 있다. 그러한 점을 보완하기 위하여 본 논문에서는 히스토그램 평활화를 사용하여 문제점을 보완하였다. 히스토그램 평활화는 영상의 밝기 값의 분포를 나타내어 주는 지표인 히스토그램을 전 픽셀에 걸쳐서 균일한 빈도를 보일 수 있도록 변환을 하는 것을 말한다.
본 논문에서는 일반적인 주간 상황 뿐 아니라 열악한 환경에서도 사용가능한 TSR 알고리즘을 구현하였다. 기존에 구현되어 있는 TSR 알고리즘과 달리 주간 상황뿐 아니라 열악한 상황에서도 표지판을 검출 및 인식이 가능하며 적외선 카메라와 같이 다른 장치를 이용하지 않고 기계학습 방법을 이용하여 해결이 가능하다는 점에서 실제 적용 시 비용 절감에 유리하다는 장점이 있다.
일반적으로 사용되는 TSR 알고리즘으로는 열악한 상황에서의 검출 및 인식이 어렵지만 이를 해결하기 위한 연구는 아직까지 활발히 이루어지지 않았다. 이를 해결하기 위하여, 본 논문에서는 열악한 환경에서 표지판의 형태적 특징을 추출한 후 미리 학습된 데이터와 비교하여 분류하는 SVM을 통한 표지판 검출방법을 이용하고 검출된 표지판들을 의사결정트리를 이용하여 표지판을 인식한다.
제안 방법
8%의 인식률을 보였다. Japanese Puzzle이나 신경망회로와 달리 다른 종류의 표지판에 대해 각각 훈련을 하지 않고 하나의 트리를 이용하여 훈련과 인식을 실시하여 위와 같은 결과를 얻을 수 있었다.
분할 단계에서는 RGB 컬러 체계에서 HSI 컬러 체계로 변환하여 특정 임계값 이상의 픽셀들을 추출한 후 클러스터링 기법을 통하여 잡음을 제거한다. 검출 단계에서는 분할된 픽셀 영역들에 HoG (Histogram of Oriented Gradient) 특징점 추출기를 이용하여 표지판의 형태적 특징을 추출하며 SVM 분류기를 통하여 검출한다.
그림 4는 인식과정에 대한 흐름도이다. 검출된 표지판 영역을 이용하여 영상의 가독성을 높이기 위해 히스토그램 평활화를 실시하고 특징점 추출을 위하여 25개의 점 중 두 점을 선택해 해당 점 주위 네 개의 픽셀을 Nomalized RGB체계에서 처리를 한 후 의사결정트리를 이용하여 최종적으로 인식을 실시한다.
본 논문에서는 25개의 참조점 중 두 개를 선택하여 각 점의 주변 4픽셀의 NRGB 값을 합하여 두 점의 차이로 하나의 특징을 나타내는 수치로 사용한다. 그림 7은 본 논문에서 사용한 노드 결정 방법과 정지 조건을 이용한 의사결정트리를 형성하는 과정을 나타낸 흐름도이다.
그림 6의 b에서 왼쪽 위에 있는 검은 부분이 기준점이며 그것을 기준으로 4픽셀을 결정한 것을 나타낸다. 본 논문에서는 참조점 하나만이 아닌 주변 4픽셀을 이용하고 두 지점간의 값의 차를 통해 특정한 수치를 만들어낸다. 그 이유는 하나의 참조점만을 이용해 학습이나 분류를 위한 변수로 삼는 것보다 주변 4픽셀을 이용하면 더 정확한 값을 얻을 수 있고 한 지점을 이용하는 것 보다 두 개의 지점의 차이를 이용하면 NRGB가 밝기 성분에 대한 보정을 해주는 것과 같이 영상 전체적으로 퍼져있는 빛의 영향을 조금 더 줄일 수 있기 때문이다.
본 논문의 구성으로는 2장에서 TSR 시스템의 분할 및 검출 단계에서 열악한 환경에 적용하기 위하여 사용한 색 체계와 특징점을 검출하는 법 및 SVM을 통한 검출 방법을 보여준다. 3장에서는 인식 단계에서의 영상의 전처리와 의사결정트리를 통한 인식 방법을 설명한다.
영상을 셀로 분할하여, 각 셀 단위로 엣지들의 방향에 대한 히스토그램을 구한 후 블록 단위로 히스토그램 정규화하여 벡터 특징값을 이용한다.[4][5] HoG는 엣지의 방향정보를 이용하기 때문에 빛에 강건한 특징을 가지고 있어 열악한 환경에서 표지판의 윤곽선 특징을 추출하기에 적합한 추출기이다.
위와 같은 단점을 극복하기 위하여 본 논문에서는 Normalize RGB (NRGB) 색 체계를 통하여 색 정보를 정규화 하였다. NRGB값의 정의는 다음과 같다.
이렇게 전체 관심영역에 대하여 수행할 경우 소요시간이 오래 걸리고 오검출이 되는 영역들이 많이 나타나게 되었다. 이러한 문제점을 해결하기 위하여 해상도를 줄이고 추출되는 HoG 특징수를 줄였다. 640x360과 320x180 해상도에서는 마스크 및 HoG 크기와 특징점 추출 개수를 줄여 수행시간이 크게 줄었지만, 320x180 해상도에서는 표지판뿐만 아니라 표지판이 아닌 신호등과 같은 표지판과 유사한 형태들도 표지판으로 오검출된다.
그림 5의 a와 b를 비교하면 히스토그램 평활화 실행 후의 영상이 그 전의 영상보다 더 가독성이 좋은 영상으로 바뀐 것을 확인할 수 있다. 이렇게 가독성이 더 좋아진 영상을 이용하여 표지판 인식을 실행한다.
즉, 알고리즘의 처리 속도를 높이기 위하여, 320x180 해상도에서 SVM을 이용하여 표지판 후보군을 검출한 후, 검출된 후보군들을 640x360 해상도에서 재분류하여 최종 표지판을 검출하는 방법을 이용하였다.
대상 데이터
주간 상황에서 표지판 인식을 실험한 영상은 일반적으로 교통표지판 인식에 많이 사용하는 벤치마크 영상인 스웨덴 교통표지판 이미지 100장으로 진행하였다. 그리고 열악한 환경에서는 검출과 같이 블랙박스 촬영 영상 50장을 사용하였다. 그림 12는 열악한 환경에서 실시한 최종 인식 결과를 보여주는 창이다.
결괏값의 추출에는 총 25개의 참조점을 사용하였으며 하나의 특징점이 아닌 한 점 주변 4개의 점의 NRGB값을 합하여 다른 점의 값과의 차를 이용하여 밝기 값에 둔감한 변수를 구할 수 있었다. 두 개의 점의 차를 통해 만들어진 변수의 수는 25C2로 총 300개이다. 그림 6은 하나의 표지판에서 참조점을 고르고 그 점을 기준으로한 주변의 4픽셀을 선택하는 것을 보여준다.
본 논문에서 제안하는 알고리즘의 성능 검증을 위하여 야간 혹은 안개 낀 상황 등의 열악한 환경 이미지 50장을 사용하여 실험을 진행하였다. 실험에 사용된 이미지는 실제 블랙박스 촬영 영상을 이용하여 실험을 진행하였다.
본 논문에서 제안하는 알고리즘의 성능 검증을 위하여 야간 혹은 안개 낀 상황 등의 열악한 환경 이미지 50장을 사용하여 실험을 진행하였다. 실험에 사용된 이미지는 실제 블랙박스 촬영 영상을 이용하여 실험을 진행하였다. 실험 프로세서는 Intel i5 3.
그림 1은 본 논문에서 구현한 분할 및 검출 흐름도이다. 입력 영상은 차량용 블랙박스를 통하여 열악한 환경에서 촬영된 1920x1080 해상도의 영상을 이용한다. 분할 단계에서는 RGB 컬러 체계에서 HSI 컬러 체계로 변환하여 특정 임계값 이상의 픽셀들을 추출한 후 클러스터링 기법을 통하여 잡음을 제거한다.
주간 상황에서 표지판 인식을 실험한 영상은 일반적으로 교통표지판 인식에 많이 사용하는 벤치마크 영상인 스웨덴 교통표지판 이미지 100장으로 진행하였다. 그리고 열악한 환경에서는 검출과 같이 블랙박스 촬영 영상 50장을 사용하였다.
SVM에서 학습의 의미는 이 초평면을 구하는 것을 의미하며 분류하고자 하는 대상들의 샘플을 수백 개 학습시켜 구해낸다. 표지판 검출기로서 SVM을 이용하기 때문에 열악한 환경에서 촬영된 표지판 영상 120장과 표지판이 아닌 영상 120장을 학습 샘플로 구성하였다.
데이터처리
또한 본 논문에서 제안하는 의사결정트리를 이용한 TSR 시스템의 인식률의 향상을 살펴보기 위해 Japanese Puzzle을 이용한 방법[8]과 신경망회로를 이용한 방법[9]과의 비교를 하였으며 비교한 실험값은 표 2와 같다.
이론/모형
의사결정트리는 트리모형의 형성을 위해 그 목적과 데이터의 종류에 따라 알맞은 분리기준 (split criterion)과 정지규칙 (stopping rule)을 지정한다. 의사결정트리의 알고리즘에는 ID3, CART, C4.5 등이 있으며, 본 논문에서는 J. Ross Quinlan에 의해 제안된 C4.5 알고리즘을 이용해 의사결정트리를 생성한다. C4.
성능/효과
Japanese Puzzle을 이용한 방법은 규제표지를 인식했을 때 최소 84.29%의 인식률을 보이고 지시표지를 인식했을 때 최대 95.22%까지 인식률을 보였으며 평균 91.4%의 인식률을 나타내었다. 신경망회로를 이용한 방법에서는 지시표지를 인식했을 때 최소 93.
그러나 본 논문에서 제안한 방법은 픽셀의 가장자리 성분을 이용한 특징점을 이용한 기계학습법을 사용하여 검출하기 때문에 열악한 환경에서도 표지판 검출이 가능하다. 검출률 또한 96.4%로 상당히 높은 수준의 검출률임을 확인할 수 있다. 또한 분할 및 검출 부분을 수행하는데 소요되는 시간은 25ms로 매 프레임마다 검출을 할 필요가 없는 실제 주행 상황에서 실시간 처리를 하기에 충분함을 알 수 있다.
결괏값의 추출에는 총 25개의 참조점을 사용하였으며 하나의 특징점이 아닌 한 점 주변 4개의 점의 NRGB값을 합하여 다른 점의 값과의 차를 이용하여 밝기 값에 둔감한 변수를 구할 수 있었다. 두 개의 점의 차를 통해 만들어진 변수의 수는 25C2로 총 300개이다.
그러나 본 논문에서 제안한 방법은 픽셀의 가장자리 성분을 이용한 특징점을 이용한 기계학습법을 사용하여 검출하기 때문에 열악한 환경에서도 표지판 검출이 가능하다. 검출률 또한 96.
기존의 허프 변환을 이용한 검출법[2]을 열악한 환경에 적용했을 때 검출률은 약 3.5%로 거의 인식하지 못하는 것을 확인할 수 있다. 그 이유는 표지판의 고유의 색으로 영역을 분할한 후 원형 혹은 삼각형 표지판을 검출하는데 열악한 환경에서는 표지판 고유의 색이 정확히 분할되지 않아 표지판을 검출하지 못한다.
4%로 상당히 높은 수준의 검출률임을 확인할 수 있다. 또한 분할 및 검출 부분을 수행하는데 소요되는 시간은 25ms로 매 프레임마다 검출을 할 필요가 없는 실제 주행 상황에서 실시간 처리를 하기에 충분함을 알 수 있다. 그림 11은 열악한 환경에서 최종 검출된 표지판 영역을 나타낸다.
8%의 인식률을 나타내었다. 본 논문에서 제안하는 의사결정트리를 이용한 방법은 지시, 규제, 주의표지판에 대해서 99.8%의 인식률을 보였다. Japanese Puzzle이나 신경망회로와 달리 다른 종류의 표지판에 대해 각각 훈련을 하지 않고 하나의 트리를 이용하여 훈련과 인식을 실시하여 위와 같은 결과를 얻을 수 있었다.
본 논문에서는 히스토그램 평활화를 HSI 색 체계에서 색 정보를 나타내는 H 값은 평활화를 실시하지 않고 채도 값인 S와 밝기 값인 I를 평활화를 하여 H값을 평활화하였을 때 그림 5의 c와 같이 나타날 수 있는 색의 번짐을 막을 수 있었다.
4%의 인식률을 나타내었다. 신경망회로를 이용한 방법에서는 지시표지를 인식했을 때 최소 93.3%의 인식률을 보이고 주의표지를 인식했을 때 최대 97.5%까지 인식률을 보였으며 평균 95.8%의 인식률을 나타내었다. 본 논문에서 제안하는 의사결정트리를 이용한 방법은 지시, 규제, 주의표지판에 대해서 99.
의사결정트리를 이용한 인식에 걸리는 시간은 주간 및 열악한 상황 모두 최대 1ms로 충분히 실시간 처리가 가능함을 확인할 수 있었다.
기존에 구현되어 있는 TSR 알고리즘과 달리 주간 상황뿐 아니라 열악한 상황에서도 표지판을 검출 및 인식이 가능하며 적외선 카메라와 같이 다른 장치를 이용하지 않고 기계학습 방법을 이용하여 해결이 가능하다는 점에서 실제 적용 시 비용 절감에 유리하다는 장점이 있다. 제안한 검출 알고리즘의 소요시간은 25ms로 시속 70km로 주행하는 차량의 경우 25ms 당 0.5m를 이동하고 또한 교통 표지판을 인식하기 위하여 매 프레임마다 표지판의 검출 및 인식을 하여야할 필요가 없으므로 실제 주행 상황에 적용하기에 타당하다. 하지만 영상의 해상도가 증가하거나 다른 기능을 복합적으로 처리해야 하는 경우에는 하드웨어 설계를 하여 처리속도를 높여야할 필요도 있다.
히스토그램 평활화를 하지 않고 표지판 인식을 실행하게 되면 오인식이나 미인식하는 경우가 종종 발생하였으나 히스토그램 평활화를 한 후 인식을 실행하면 오인식 및 미인식의 숫자를 줄여 표지판 인식률을 약 15% 향상시키는 결과를 얻었다.
질의응답
핵심어
질문
논문에서 추출한 답변
분할 단계에는 무슨 방법이 있는가?
분할 단계에서는 표지판의 고유의 색을 통한 방법과 모양을 통하여 구별하는 방법이 있다. 색을 통한 방법은 표지판의 종류마다 테두리에 고유의 색을 갖는 특징을 이용하여 임계값을 통해 표지판 후보군을 추출한다.
교통 표지판 인식 시스템은 무엇으로 나뉘어지는가?
교통 표지판 인식 시스템 (Traffic Sign Recognition : TSR)은 크게 분할 (Segmentation)과 검출 (Detection), 인식 (Recognition)의 세 단계로 나누어진다.
검출단계에서 허프 변환의 단점은 무엇인가?
허프 변환은 원 또는 선 허프 변환이 있으며 이를 통하여 원, 삼각, 사각형 등의 표지판 형태를 검출할 수 있다. 정확성이 높아 많이 이용되나 처리속도가 오래 걸리는 단점이 있다. 인식 단계에서는 표지판 후보군과 데이터 셋을 비교하여 상관도를 이용하는 템플릿 매칭 (Template Matching) 방식과 특징을 통한 기계학습 알고리즘인 SVM (Support Vector Machine), 신경망 (Neural Network), 의사결정트리 (Decision Tree)등의 방식이 이용된다.
참고문헌 (9)
Carrasco Pascual and Juan Pablo, "Advanced Driver Assistance System based on Computer Vision using Detection, Recognition and Tracking of Road Signs", Universidad Carlos III de Madrid. Departamento de Ingenieria de Sistemas y Automatica, 2009
Mogelmose, Andreas, Mohan M. Trivedi, and Thomas B. Moeslund. "Vision-based traffic sign detection and analysis for intelligent driver assistance systems: Perspectives and survey." Intelligent Transportation Systems, IEEE Transactions on 13.4 (2012): 1484-1497.
Jong-Beom Park, "A Study on the Revised Method using Normalized RGB Features in the Moving Object Detection by Background Subtraction," The Journal of The Korea Institute of Intelligent Transport Systems Vol. 12, No. 6, pp.108-115, Korea Intelligent Transport System, 2013
Zaklouta, Fatin, and Bogdan Stanciulescu. "Real-time traffic-sign recognition using tree classifiers." Intelligent Transportation Systems, IEEE Transactions on 13.4 (2012): 1507-1514.
Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. Vol. 1. IEEE, 2005.
Mi-Jin Jun, Joon Jae Lee, "Image Histogram Equalization Based on Gaussian Mixture Model", Journal of Korea Multimedia Society Vol. 15 No. 6, pp.748-760, Korea Mutimedia Society, 2012
J. R. Quinlan.,"C4.5: programs for machine learning," San Mateo: Morgan Kaufmann Publishers, Burlington, Massachusetts, 1993
Young-Sun Sohn, "A Recognition of Traffic Safty Signs Using Japanese Puzzle", J. Korean Inst. Intell. Syst. Vol. 18, No. 3, pp. 416-421, Korean Institute of Intelligent Systems, 2008
Min-Chul Shin, Sang-Il Na, Jung-Ho Lee, Jun-Ho Jeong, Dong-Seok Jeong, "Traffic Sign Recognition Using Color Information and Neural Networks", 32nd Fall Conference Vol. 32, No. 2, Korea Institute of Information Scientists and Engineers, 2005
※ AI-Helper는 부적절한 답변을 할 수 있습니다.