In this paper, we propose a method to classify road weather conditions into rain, fog, and sun using a SVM (Support Vector Machine) classifier after extracting weather features from images acquired in real time using an optical sensor installed on a roadside post. A multi-dimensional weather feature...
In this paper, we propose a method to classify road weather conditions into rain, fog, and sun using a SVM (Support Vector Machine) classifier after extracting weather features from images acquired in real time using an optical sensor installed on a roadside post. A multi-dimensional weather feature vector consisting of factors such as image sharpeness, image entropy, Michelson contrast, MSCN (Mean Subtraction and Contrast Normalization), dark channel prior, image colorfulness, and local binary pattern as global features of weather-related images was extracted from road images, and then a road weather classifier was created by performing machine learning on 700 sun images, 2,000 rain images, and 1,000 fog images. Finally, the classification performance was tested for 140 sun images, 510 rain images, and 240 fog images. Overall classification performance is assessed to be applicable in real road services and can be enhanced further with optimization along with year-round data collection and training.
In this paper, we propose a method to classify road weather conditions into rain, fog, and sun using a SVM (Support Vector Machine) classifier after extracting weather features from images acquired in real time using an optical sensor installed on a roadside post. A multi-dimensional weather feature vector consisting of factors such as image sharpeness, image entropy, Michelson contrast, MSCN (Mean Subtraction and Contrast Normalization), dark channel prior, image colorfulness, and local binary pattern as global features of weather-related images was extracted from road images, and then a road weather classifier was created by performing machine learning on 700 sun images, 2,000 rain images, and 1,000 fog images. Finally, the classification performance was tested for 140 sun images, 510 rain images, and 240 fog images. Overall classification performance is assessed to be applicable in real road services and can be enhanced further with optimization along with year-round data collection and training.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이상의 연구사례를 살펴볼 때 국외에서는 기상을 검지하는 방법으로 기계학습 또는 딥러닝 기반의 영상처리를 이용한 기상 검지 방법이 제안되고 있으며, 국내에서는 안개 검지 방법이 제안되고 있으나, 아직 영상을 이용하여 도로기상을 안개, 비, 맑음으로 분류하는 방법은 없는 실정이다. 따라서, 본연구에서는 Choi[2]와 Kang[1]이 사용한 기상 특징 외에 추가적으로 맑음과 비를 구분하는 기상 특징을 정의하여 도로 기상을 맑음, 비, 안개 영상으로 구분하는 방법을 제안한다.
본 논문에서는 도로 노변에 설치된 광학 영상수집 장치를 이용하여 실시간으로 영상을 맑음, 비, 안개로 구분하는 알고리즘을 제안하였고, 실험을 통해 현장 적용 가능성을 확인하였다. 아직 국내에서는 영상을 이용하여 날씨를 구분하는 방법이 제안되지 않고 있어, 본 연구를 통해 개발된 도로 기상관측 방법이 실제 도로에 적용이 가능할 경우 기존 도로 노변에 설치되어 있는 광학식 영상 수집 장치를 활용할 수 있고, 이는 비단 도로 기상뿐만 아니라 국지기상 관측에도 활용될 수 있을 것으로 예상한다.
이러한 사고를 예방하기 위해서는 기상청에서 시정계를 이용하여 안개를 검출한 후 도로이용자 또는 도로 관리 주체에게 알림 서비스를 제공해야 하나 시정 계는 고가의 설치비용과 설치장소의 제약으로 널리 보급되지 못하고 있는 실정이다. 이로 인해 최근 도로에 설치된 광학센서를 이용하여 영상을 이용한 날씨 검지 연구가 진행되고 있으며, 본 논문에서는 노변 지주물에 설치된 광학 검지 장치를 이용하여 영상처리 방법을 이용한 날씨 검지 방법을 제안한다.
제안 방법
즉, 8개의 이웃 화소를 가지는 3 by 3 커널을 이용할 경우 하나의 영상에 대해 총 256개의 숫자로 표현하는 것이 가능해지고 이는 하나의 영상에 대해 256차원의 특징 벡터를 생성함을 의미한다. 기본 LBP는 수차례의 개선과정을 거쳐 현재는 10개의 특징만으로도 영상의 질감을 표현하면서 영상의 회전에도 강건한 Rotation-invariant LBP (RLBP)가 널리 이용되고 있고, 본 연구에서도 Rotation-invariant LBP를 활용하여 10개의 특징을 기상 특징 벡터로 활용하였다. 정리하자면, 영상을 맑음, 비, 안개로 구분하기 위해 본 연구에서 사용되는 특징 벡터는 Table 1과 같다.
본 논문에서는 Choi와 Kang이 제안한 안개 특징에 추가적으로 맑음과 비를 구분하는 특징을 이용하여 날씨를 분류한다. 우선, 영상의 local MSCN(Mean Subtracted Contrast Normalized Coefficeints)는 식(1), 식(2), 식(3)을 통해 구할 수 있다.
즉, 맑음과 나머지 영상을 구분하는 분류기, 비와 나머지 영상을 구분하는 분류기, 안개와 나머지 영상을 구분하는 3개의 이진 분류기를 생성하여 loop 문을 통해 각 기상별 class 에 대한 구분이 가능하다. 본 연구에서는 open source로 제공하고 있는 기본 형태의 SVM 코드를 이용해 python으로 구현하였다.
객체 영상은 미세 질감의 구성으로 볼 수 있기 때문에 LBP를 사용하면 얼굴, 차량, 보행자 등의 질감 설명이 가능하다. 본 연구에서는 강우시 영상에 나타나는 빗줄기에 의한 영상의 질감변화를 이용하여 맑음과 비 영상으로 구분하는 기상 특징으로 LBP를 사용한다. 기본 LBP의 연산과정은 Figure 2에서 설명된다.
영상의 크기는 폭 1, 520 pixel, 높이 2, 688 pixel 이며, 전체 class는 맑음, 비, 안개로 구분되고, 보도블록 등의 잡음을 배제하고 경관 영상만을 처리하기 위해 ROI(Region of Interest)를 설정하여 학습을 위한 샘플을 취득하였다. 분류는 각각의 class마다 맑음 영상 700장, 비 영상 2, 000장, 안개 영상 1, 000장에 대해 22개의 기상 특징을 추출하고 기계학습을 수행하였다.
수행되었다. 영상의 크기는 폭 1, 520 pixel, 높이 2, 688 pixel 이며, 전체 class는 맑음, 비, 안개로 구분되고, 보도블록 등의 잡음을 배제하고 경관 영상만을 처리하기 위해 ROI(Region of Interest)를 설정하여 학습을 위한 샘플을 취득하였다. 분류는 각각의 class마다 맑음 영상 700장, 비 영상 2, 000장, 안개 영상 1, 000장에 대해 22개의 기상 특징을 추출하고 기계학습을 수행하였다.
대상 데이터
기상 분류 모델의 성능을 평가하기 위해 사용된 시험 영상은 맑음 140장, 비 510장, 안개 240 장에 대해 기 생성된 SVM 모델을 적용하여 3개 class에 대한 분류를 수행하였다.
자료 수집은 세종특별자치시 한누리대로 아람찬교 노변에 설치된 8m 높이의 지주물에 도로 기상 검지를 위해 새롭게 개발된 광학센서를 설치하고 2020년 9월부터 2020년 11월까지 수행되었다. 영상의 크기는 폭 1, 520 pixel, 높이 2, 688 pixel 이며, 전체 class는 맑음, 비, 안개로 구분되고, 보도블록 등의 잡음을 배제하고 경관 영상만을 처리하기 위해 ROI(Region of Interest)를 설정하여 학습을 위한 샘플을 취득하였다.
이론/모형
비를 구분하는 중요한 단서가 된다. 본 논문에서 noise 특징은 Tai[8]가 제안한 fast noise estimation 방법을 사용하며, 3 by 3의 Laplace noise estimation 템플릿을 이용하여 계산하였다.
성능/효과
한편, SVM은 기본적으로 이진 분류기이다. 따라서, 본 연구에서 기상을 맑음, 비, 안개로 구분하기 위해서는 다중 class에 대한 SVM 분류를 수행해야 하며, 이는 1대 다수의 이진 분류를 3단계 수행하여 3개의 SVM 분류기를 생성함으로써 다중 class 분류가 가능해진다. 즉, 맑음과 나머지 영상을 구분하는 분류기, 비와 나머지 영상을 구분하는 분류기, 안개와 나머지 영상을 구분하는 3개의 이진 분류기를 생성하여 loop 문을 통해 각 기상별 class 에 대한 구분이 가능하다.
후속연구
한편, 비와 맑음 영상의 분류와 관련하여 영상이 현재보다 고해상도로 취득이 된다면 비 객체에 대한 정밀 관측이 가능하여 noise 특징 및 LBP 특징을 이용한 비 영상 구분의 정확도가 향상될 것이라 예상한다. 끝으로, 본 연구에서는 비록 하절기 기상 영상만을 이용하여 기상 상황을 맑음, 비, 안개의 3가지로 구분하는 알고리즘을 제안하였지만, 동절기 강설 영상에 대한 취득이 가능해지면, 강설과 관련된 특징 벡터를 추가한 후 SVM을 이용한 강설 class에 대한 분류가 가능해질 것으로 기대한다.
통해 현장 적용 가능성을 확인하였다. 아직 국내에서는 영상을 이용하여 날씨를 구분하는 방법이 제안되지 않고 있어, 본 연구를 통해 개발된 도로 기상관측 방법이 실제 도로에 적용이 가능할 경우 기존 도로 노변에 설치되어 있는 광학식 영상 수집 장치를 활용할 수 있고, 이는 비단 도로 기상뿐만 아니라 국지기상 관측에도 활용될 수 있을 것으로 예상한다.
이는 Choi와 Kang 이 제안한 안개 특징 벡터가 기상 구분시 주요한 특징으로 적절히 작용하고 있음을 의미한다. 한편, 비와 맑음 영상의 분류와 관련하여 영상이 현재보다 고해상도로 취득이 된다면 비 객체에 대한 정밀 관측이 가능하여 noise 특징 및 LBP 특징을 이용한 비 영상 구분의 정확도가 향상될 것이라 예상한다. 끝으로, 본 연구에서는 비록 하절기 기상 영상만을 이용하여 기상 상황을 맑음, 비, 안개의 3가지로 구분하는 알고리즘을 제안하였지만, 동절기 강설 영상에 대한 취득이 가능해지면, 강설과 관련된 특징 벡터를 추가한 후 SVM을 이용한 강설 class에 대한 분류가 가능해질 것으로 기대한다.
L. K. Choi, J. You, and A. C. Bovik, "Referenceless perceptual fog density prediction model," in IS&T/SPIE Electronic Imaging, pp. 90140H-90140H-12, (2014).
Li Q., Kong Y. and Xia S, "A Method of Weather Recognition based on Outdoor Images", in Proceedings of the 9th International Conference on Computer Vision Theory and Applications (VISAPP-2014), pp. 510-516, (2014).
Xunshi Yan, Yupin Luo, and Xiaoming Zheng, in "Weather Recognition Based on Images Captured by Vision System in Vehicle", ISNN 2009, Part III, LNCS 5553, pp. 390-398, (2009).
Garg, K., Nayar, S.K, "Detection and Removal of Rain from Videos", in Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 528-535. IEEE Press, New York, (2004).
Kurihata, H., Takahashi, T., Mekada, Y., Ichiro, I., Murase, H., Tamatsu, Y., Miyahara, T, "Raindrop Detection from In-Vehicle Video Camera Images for Rain fall Judgment", in The First International Conference on Innovative Computing, Information and Control, pp. 544-547. IEEE Press, New York, (2006)
Kurihata, H., Takahashi, T., Ide, I., Mekada, Y., Murase, H., Tamatsu, Y., Miya hara, T, "Rainy Weather Recognition from In-Vehicle Camera Images for Driver Assistance", in 2005 IEEE Intelligent Vehicles Symposium, pp. 205-210. IEEE Press, New York, (2005).
Tai S., Yang S., "A fast method for image noise estimation using laplacian operator and adaptive edge detection", in Commnications, Control and Signal Processing, pp. 1077-1081, (2008).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.