선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 이러한 지도 학습의 데이터셋을 모으는 어려움을 완화하고, 도로노면 파손 탐지 기술의 성능을 개선하고자 수도 레이블링(pseudo labeling)을 활용한 준지도 학습(semi-supervised learning) 기반의 도로 노면 파손 탐지 기술을 제안하고자한다 (Cholaquidis et al., 2018). 준지도 학습이란 레이블된 데이터셋과 레이블 되지 않은 데이터셋을 적절하게 혼합하여 활용하는 방식으로 본 논문에서는 준지도 학습 기법 중에서 수도 레이블 이미지 데이터를 활용하여 도로노면 파손 탐지 기술의 성능을 개선하고자 한다.
- 반환율 혹은 재현율이라고도 불리며, Fn와 밀접한 관련이 있다. 본 논문의 경우에는 도로노면 파손 부분을 얼마만큼 도로노면 파손 부분이라고 잘 분할하였는가를 제시하는 수치이다. 정밀도의 경우에는 실제 예측한 positive의 수에서 얼마만큼의 Tp가 존재하는지를 나타내는 지표로, Fp와 관련성이 높다.
- , 2018). 준지도 학습이란 레이블된 데이터셋과 레이블 되지 않은 데이터셋을 적절하게 혼합하여 활용하는 방식으로 본 논문에서는 준지도 학습 기법 중에서 수도 레이블 이미지 데이터를 활용하여 도로노면 파손 탐지 기술의 성능을 개선하고자 한다. 먼저, 레이블된 데이터를 활용하여 도로노면 파손을 탐지할 수 있는 신경망 모델을 학습한다.
- 지도 학습의 입력 및 레이블 데이터셋을 모으는 어려움을 완화하고자, 본 논문에서는 수도 레이블 데이터 셋을 활용한 준지도 학습 기반의 도로노면 파손 탐지 기술을 제안하였다. 이를 위하여, 레이블된 데이터셋 만을 활용하여 도로노면 파손을 탐지할 수 있는 신경망 모델을 학습하였다.
제안 방법
- 본 논문의 경우에는 도로노면 파손이라고 분할해야 하는 곳을 정확하게 분할하였을 경우가 Tp에 해당된다. 각각의 전문가는 학습된 모델이 도로노면 파손이라고 탐지한 결과 이미지를 보고, Tp, Tn, Fp, Fn 중에서 하나의 경우로 평가하였다. 네 개의 지표를 통하여 최종적으로 민감도(recall), 정밀도(precision), 정확도(accuracy), F1-score로 도출할 수가 있다 (Goutte and Gaussier, 2005).
- 수도 레이블된 데이터셋 55,000장에 대해서 에러가 존재하는 데이터를 수작 업을 통하여 보정하면 더 좋은 성능을 보일 수 있지만, 이러한 작업은 레이블링하는 작업과 마찬가지로 시간과 노동력이 필요하므로 본 논문에서는 수도 레이블된 데이터셋을 그대로 활용하였다. 대신에 수도 레이블 데이터셋을 활용하여 새롭게 학습된 모델들이 기존 모델들과 성능을 비교하는 방법으로는 검증 데이터셋을 총 1,000장으로 고정하고 이에 대한 손실값(loss value) 및 정확도(accuracy)를 비교하여 성능이 좋아지는지 검증하였다. 만일, 손실값이 높아지거나 정확도가 떨어지는 방향으로 모델이 학습될 경우에는 5,000장의 수도 레이블된 데이터셋은 활용하지 않았다.
- 이러한 과정을 반복적으로 수행하면서 많은 양의 수도 레이블된 데이터를 확보 및 활용하여 도로노면 파손 탐지 기술의 성능을 개선한다. 또한, 동일한 데이터셋을 활용하여 레이블된 데이터셋만을 활용하여 학습한 신경망 모델과 수도 레이블된 데이터셋까지 활용하여 학습한 신경망 모델의 성능을 비교한다.
- 준지도 학습이란 레이블된 데이터셋과 레이블 되지 않은 데이터셋을 적절하게 혼합하여 활용하는 방식으로 본 논문에서는 준지도 학습 기법 중에서 수도 레이블 이미지 데이터를 활용하여 도로노면 파손 탐지 기술의 성능을 개선하고자 한다. 먼저, 레이블된 데이터를 활용하여 도로노면 파손을 탐지할 수 있는 신경망 모델을 학습한다. 여기서, 여러 개의 모델을 학습하여 앙상블을 형성하고, 레이블링 되지 않은 이미지 데이터들에 대하여 도로노면 파손 탐지를 수행한다.
- 2]는 도로노면 파손을 탐지하기 위하여 본 논문에서 제안하는 수도 레이블을 활용한 준지도 학습 방법에 대한 블록 다이어그램이다. 먼저, 레이블된 데이터를 활용하여 합성곱 신경망 기반의 도로노면의 파손 탐지를 수행할 수 있는 모델을 학습한다. 여기서의 학습 모델은 바이너리 의미론적 분할 형태로 학습하였고, 자세한 모델의 신경망 구조 및 학습 방법은 (Chun et al.
- K개의 데이터셋 중에서 검증 데이터셋을 어떤 데이터셋으로 활용하는지에 따라서 총 K개의 모델이 생성 가능하다. 본 논문에서는 검증 데이터셋이 20%로 분배되도록 K를 5로 설정하였으며, 이에 따라 총 5개의 모델을 생성하였다. 이렇게 생성된 5개의 모델로 앙상블을 형성하였다.
- 여기서, 여러 개의 모델을 학습하여 앙상블을 형성하고, 레이블링 되지 않은 이미지 데이터들에 대하여 도로노면 파손 탐지를 수행하였다. 신경망 모델이 나타난 결과 이미지를 수도 레이블된 데이터로 간주하고, 레이블된 데이터와 수도 레이블된 데이터를 모두 활용하여 다시 한 번 신경망 모델을 학습하였고, 이러한 과정을 반복적으로 수행하면서 많은 양의 수도 레이블된 데이터를 확보 및 활용하여 도로노면 파손 탐지 모델을 계속하여 업데이트하였다. 학습된 모델의 성능을 주관적으로 평가하였을 때, 기존 모델에 비하여 정밀도 성능이 크게 향상되었고, 민감도 성능은 소폭 감소하였다.
- 신경망 모델이 나타난 결과 이미지를 수도 레이블된 데이터로 간주하고, 레이블된 데이터와 수도 레이블된 데이터를 모두 활용하여 다시 한 번 신경망 모델을 학습한다. 이러한 과정을 반복적으로 수행하면서 많은 양의 수도 레이블된 데이터를 확보 및 활용하여 도로노면 파손 탐지 기술의 성능을 개선한다.
- 앙상블이란 여러 개의 학습한 모델 중에서 최적의 성능을 보이는 단 하나의 모델만을 활용하는 것이 아니라, 여러 개의 다양한 모델로부터 얻은 결과를 조합해서 활용 하는 것을 가리킨다. 심층신경망 이외의 다양한 기계학습 방법들을 조화롭게 쓰는 것도 가능하지만, 본 논문 에서는 제시한 신경망 구조를 반복적으로 학습하여 얻어진 모델들만을 활용하여 앙상블을 형성하였다. 구체 적으로는 K-fold cross validation 기법을 통하여 앙상블을 형성하였고, 여기서의 K는 5로 설정하였다.
- 이를 위하여, 레이블된 데이터셋 만을 활용하여 도로노면 파손을 탐지할 수 있는 신경망 모델을 학습하였다. 여기서, 여러 개의 모델을 학습하여 앙상블을 형성하고, 레이블링 되지 않은 이미지 데이터들에 대하여 도로노면 파손 탐지를 수행하였다. 신경망 모델이 나타난 결과 이미지를 수도 레이블된 데이터로 간주하고, 레이블된 데이터와 수도 레이블된 데이터를 모두 활용하여 다시 한 번 신경망 모델을 학습하였고, 이러한 과정을 반복적으로 수행하면서 많은 양의 수도 레이블된 데이터를 확보 및 활용하여 도로노면 파손 탐지 모델을 계속하여 업데이트하였다.
- 먼저, 레이블된 데이터를 활용하여 도로노면 파손을 탐지할 수 있는 신경망 모델을 학습한다. 여기서, 여러 개의 모델을 학습하여 앙상블을 형성하고, 레이블링 되지 않은 이미지 데이터들에 대하여 도로노면 파손 탐지를 수행한다.
- 신경망 모델이 나타난 결과 이미지를 수도 레이블된 데이터로 간주하고, 레이블된 데이터와 수도 레이블된 데이터를 모두 활용하여 다시 한 번 신경망 모델을 학습한다. 이러한 과정을 반복적으로 수행하면서 많은 양의 수도 레이블된 데이터를 확보 및 활용하여 도로노면 파손 탐지 기술의 성능을 개선한다. 또한, 동일한 데이터셋을 활용하여 레이블된 데이터셋만을 활용하여 학습한 신경망 모델과 수도 레이블된 데이터셋까지 활용하여 학습한 신경망 모델의 성능을 비교한다.
- 총 5,000장의 레이블된 데이터셋을 활용하여 학습된 모델들의 결과로부터 또 다른 5,000장의 레이블되지 않은 이미지 데이터셋을 입력으로 넣어서 예측된 출력 이미지 데이터셋을 획득한다. 이렇게 획득한 신경망 모델이 수도 레이블한 이미지 데이터셋으로 간주하고, 총 10,000장의 이미지 데이터셋을 통하여 다시 한 번 신경망 모델을 학습한다. 마찬가지로 여기에서도 총 5개의 모델을 생성하고, 이에 대하여 앙상블을 형성하였다.
- 지도 학습의 입력 및 레이블 데이터셋을 모으는 어려움을 완화하고자, 본 논문에서는 수도 레이블 데이터 셋을 활용한 준지도 학습 기반의 도로노면 파손 탐지 기술을 제안하였다. 이를 위하여, 레이블된 데이터셋 만을 활용하여 도로노면 파손을 탐지할 수 있는 신경망 모델을 학습하였다. 여기서, 여러 개의 모델을 학습하여 앙상블을 형성하고, 레이블링 되지 않은 이미지 데이터들에 대하여 도로노면 파손 탐지를 수행하였다.
- 수도 레이블 데이터셋까지 활용한 모델에서는 오탐 하는 부분이 존재하기는 하지만 기존 레이블 데이터셋 만을 활용한 모델에 비해서는 그 빈도수와 영역의 크기가 작은 것을 확인 가능 하다. 이에 대한 정성적인 성능을 비교하기 위하여 주관적인 성능평가를 수행하였다. (Chun et al.
- 본 논문에서의 도로노면 파손 부분이 사고로 이어질 수 있거나 보수가 충분히 필요하다고 볼 수 있는 정도를 도로노면 파손 정도로 정의하였고, 평가자 4명 모두 도로교통 쪽에 종사하고 있는 전문가이다. 일반적으로 이러한 성능 비교는 픽셀 단위에서의 객관적인 성능 비교로 이루어지지만, 본 논문에서는 이미지 단위에서의 4명의 평가자를 통하여 주관적인 성능 비교가 수행되었다. 이는 도로노면파손 부분을 정확하게 분할하는 것은 도로교통에 종사하고 있는 전문가라 할지라도 개인차가 크게 나타나며, 정확한 도로노면파손 부분을 분할하는 것보다 전반적인 정밀도나 민감도를 보는 것이 더 중요하다고 판단하였다.
- , 2018)에서 제시한 구조와 동일하다. 입력층을 제외하고 총 6개의 합성곱층(convolutional layer)을 가지며, 이 중에서 3개는 스트라이드(strided) 합성곱층이며, 나머지 3개는 역합성곱층(deconvolutional layer)을 활용하였다. 최대 풀링(max pooling)을 사용하지 않고, 합성 곱층에 스트라이드를 [2 x 2]를 주는 형태로, 자기부호화기 형태가 나타나도록 구성하였으며, 여기서의 커널(kernel) 사이즈는 [5 x 5]로 활용하였다.
대상 데이터
- , 2018). 기연구된 도로노면 파손 탐지의 경우에는 이러한 이미지 데이터를 총 5,000장을 수집하였으며, 여기에서 4,000장은 학습 데이터셋으로 활용하였고, 나머지 1,000장은 검증 데이터셋으로 활용하였다 (Chun et al., 2018). 이러한 데이터셋은 모델 학습을 위하여 하나하나 레이블링 작업을 해줘야하며, 단순 입력 데이터를 모으는 시간에 비하여 굉장히 많은 시간과 노력이 필요하게 된다.
- 대신에 수도 레이블 데이터셋을 활용하여 새롭게 학습된 모델들이 기존 모델들과 성능을 비교하는 방법으로는 검증 데이터셋을 총 1,000장으로 고정하고 이에 대한 손실값(loss value) 및 정확도(accuracy)를 비교하여 성능이 좋아지는지 검증하였다. 만일, 손실값이 높아지거나 정확도가 떨어지는 방향으로 모델이 학습될 경우에는 5,000장의 수도 레이블된 데이터셋은 활용하지 않았다.
- , 2018)에서 수행한 방식과 동일한 방식으로 수행하였으며, 동일한 DB와 동일한 전문가가 성능평가를 수행하였다. 먼저, 도로노면을 촬영하는 도중에 ROI(Region of Interest) 안에 들어올 수 있는 이미지를 450장을 선정하였고, 여기서, 학습에 활용된 데이터셋과 겹치지 않는 이미지 데이터만을 활용하였다. [Fig.
- 이를 5,000장의 레이블 되지 않은 이미지 데이터셋으로 나눠서 반복적으로 수행하였고, 레이블된 데이터 셋을 5,000장 그리고 수도 레이블된 데이터셋을 55,000장을 활용하여 최종적으로는 총 60,000장의 데이터셋을 활용하여 모델을 생성하였다. 수도 레이블된 데이터셋 55,000장에 대해서 에러가 존재하는 데이터를 수작 업을 통하여 보정하면 더 좋은 성능을 보일 수 있지만, 이러한 작업은 레이블링하는 작업과 마찬가지로 시간과 노동력이 필요하므로 본 논문에서는 수도 레이블된 데이터셋을 그대로 활용하였다. 대신에 수도 레이블 데이터셋을 활용하여 새롭게 학습된 모델들이 기존 모델들과 성능을 비교하는 방법으로는 검증 데이터셋을 총 1,000장으로 고정하고 이에 대한 손실값(loss value) 및 정확도(accuracy)를 비교하여 성능이 좋아지는지 검증하였다.
- 활성화 함수로는 Rectified Linear Unit (ReLU)가 사용되었고 (Nair and Hinton, 2010), 합성곱층과 활성화 함수(activation function) 사이에는 배치 정규화(batch normalization)를 수행하였다 (Ioffe and Szegedy, 2015). 이렇게 신경망 구조를 구성하였고, 총 5,000장의 레이블된 데이터셋을 활용하여 모델을 학습한다. 여기서, 모델의 성능을 높이기 위해서 총 5개의 모델을 생성하고, 이에 대하여 앙상블 (ensemble)을 형성하였다 (Maclin and Opitz, 1999).
- 마찬가지로 여기에서도 총 5개의 모델을 생성하고, 이에 대하여 앙상블을 형성하였다. 이를 5,000장의 레이블 되지 않은 이미지 데이터셋으로 나눠서 반복적으로 수행하였고, 레이블된 데이터 셋을 5,000장 그리고 수도 레이블된 데이터셋을 55,000장을 활용하여 최종적으로는 총 60,000장의 데이터셋을 활용하여 모델을 생성하였다. 수도 레이블된 데이터셋 55,000장에 대해서 에러가 존재하는 데이터를 수작 업을 통하여 보정하면 더 좋은 성능을 보일 수 있지만, 이러한 작업은 레이블링하는 작업과 마찬가지로 시간과 노동력이 필요하므로 본 논문에서는 수도 레이블된 데이터셋을 그대로 활용하였다.
- 총 4명의 평가자가 주관적으로 450장의 이미지를 평가하였으며, 여기에서 450장의 이미지 순서는 임의적으로 나타나게 하였다. 한 장의 이미지를 보고 평가자는 [Table 1]에서 보이는 것처럼 가장 근접하다고 생각 되는 항목으로 평가하게 된다.
- 총 5,000장의 레이블된 데이터셋을 활용하여 학습된 모델들의 결과로부터 또 다른 5,000장의 레이블되지 않은 이미지 데이터셋을 입력으로 넣어서 예측된 출력 이미지 데이터셋을 획득한다. 이렇게 획득한 신경망 모델이 수도 레이블한 이미지 데이터셋으로 간주하고, 총 10,000장의 이미지 데이터셋을 통하여 다시 한 번 신경망 모델을 학습한다.
데이터처리
- 먼저, 서론에 이어서 2장에서는 수도 레이블을 활용한 준지도 학습 기반의 도로노면 파손 탐지 기술의 데이터셋 생성 방법과 신경망 구조 및 학습 방법에 대해서 기술한다. 그다음으로 3장에서는 제안된 준지도 학습 기반의 도로노면 파손 탐지 기술의 성능을 검증하였는데, 총 네 명의 전문가가 각각의 결과 이미지를 평가하여 성능을 비교하였다. 마지막으로 4장에서는 본 논문의 결론을 맺는다.
이론/모형
- 이에 대한 정성적인 성능을 비교하기 위하여 주관적인 성능평가를 수행하였다. (Chun et al., 2018)에서 수행한 방식과 동일한 방식으로 수행하였으며, 동일한 DB와 동일한 전문가가 성능평가를 수행하였다. 먼저, 도로노면을 촬영하는 도중에 ROI(Region of Interest) 안에 들어올 수 있는 이미지를 450장을 선정하였고, 여기서, 학습에 활용된 데이터셋과 겹치지 않는 이미지 데이터만을 활용하였다.
- 심층신경망 이외의 다양한 기계학습 방법들을 조화롭게 쓰는 것도 가능하지만, 본 논문 에서는 제시한 신경망 구조를 반복적으로 학습하여 얻어진 모델들만을 활용하여 앙상블을 형성하였다. 구체 적으로는 K-fold cross validation 기법을 통하여 앙상블을 형성하였고, 여기서의 K는 5로 설정하였다. K-fold cross validation 기법이란 [Fig.
- 다량의 레이블되지 않는 데이터셋에 수도 레이블 링을 하여 대량의 데이터셋을 확보하고, 이를 다시 학습할 경우에는 현재 모델이 가지는 한계에 대한 바이어 스를 그대로 나타낼 수 있으므로, 반복적인 수도 레이블링 작업과 데이터셋을 점차적으로 늘려가면서 학습을 수행하는 것이 일반적이다. 본 논문에서는 준지도 학습 중에서 수도 레이블한 데이터셋을 재활용하는 수도 레이블링 기법을 활용한다.
- 최대 풀링(max pooling)을 사용하지 않고, 합성 곱층에 스트라이드를 [2 x 2]를 주는 형태로, 자기부호화기 형태가 나타나도록 구성하였으며, 여기서의 커널(kernel) 사이즈는 [5 x 5]로 활용하였다. 손실 함수는 최소평균제곱오차(Minimum-Mean-Squared-Error, MMSE) 형태로 구성하였으며 (Han et al., 2016), 여기서의 최적화 기법은 adaptive moment estimation (ADAM)을 활용하였다 (Kingma and Ba, 2015). 활성화 함수로는 Rectified Linear Unit (ReLU)가 사용되었고 (Nair and Hinton, 2010), 합성곱층과 활성화 함수(activation function) 사이에는 배치 정규화(batch normalization)를 수행하였다 (Ioffe and Szegedy, 2015).
- 먼저, 레이블된 데이터를 활용하여 합성곱 신경망 기반의 도로노면의 파손 탐지를 수행할 수 있는 모델을 학습한다. 여기서의 학습 모델은 바이너리 의미론적 분할 형태로 학습하였고, 자세한 모델의 신경망 구조 및 학습 방법은 (Chun et al., 2018)에서 제시한 구조와 동일하다. 입력층을 제외하고 총 6개의 합성곱층(convolutional layer)을 가지며, 이 중에서 3개는 스트라이드(strided) 합성곱층이며, 나머지 3개는 역합성곱층(deconvolutional layer)을 활용하였다.
- , 2016), 여기서의 최적화 기법은 adaptive moment estimation (ADAM)을 활용하였다 (Kingma and Ba, 2015). 활성화 함수로는 Rectified Linear Unit (ReLU)가 사용되었고 (Nair and Hinton, 2010), 합성곱층과 활성화 함수(activation function) 사이에는 배치 정규화(batch normalization)를 수행하였다 (Ioffe and Szegedy, 2015). 이렇게 신경망 구조를 구성하였고, 총 5,000장의 레이블된 데이터셋을 활용하여 모델을 학습한다.
성능/효과
- 이는 오탐에 대한 탐지 성능이 크게 개선되었다고 볼 수 있다. Fp의 수치를 보더라도 기존에는 총 193개의 Fp가 존재했지만, 제안된 모델에서는 50으로 감소된 것을 확인 가능하다. 반면에, 민감도 부분에서는 기존의 0.
- 9387로 향상된 것을 확인 가능하다. 또한, 기존 모델의 경우 정밀도의 수치가 0.7012였지만, 제안된 모델의 경우에는 0.9014로 크게 향상되었다. 이는 오탐에 대한 탐지 성능이 크게 개선되었다고 볼 수 있다.
- 이는 도로노면 파손에 대한 탐지가 민감도가 감소된 것으로 Fn가 밀접한 관련이 있다. 실질적으로 Fn 수치가 기존에는 총 36개 존재하였는데, 제안된 모델에서는 61개로 증가하였다. 최종적으로 F1-score를 비교해보면 0.
- 실질적으로 Fn 수치가 기존에는 총 36개 존재하였는데, 제안된 모델에서는 61개로 증가하였다. 최종적으로 F1-score를 비교해보면 0.7982에서 0.8917로 향상된 것을 확인 가능하다. 이는 민감도 부분에서는 성능이 저하되었지만, 정밀도 부분에서 성능이 크게 향상되었기 때문에 전반적으로 F1-score가 기존 모델에 비하여 높은 수치를 받은 것으로 판단할 수 있다.
- 정확도의 경우 전체 데이터셋에서 정확하게 예측한 비율을 가리키며, F1-score의 경우에는 정밀도와 민감도의 조화 평균으로 계산되며, 정밀도와 민감도를 통합한 하나의 측정지표라 할 수 있다. 표에서 나타나는 것처럼, 먼저 정확도 측면에서는 기존 모델의 0.8728에서 제안된 모델이 0.9387로 향상된 것을 확인 가능하다. 또한, 기존 모델의 경우 정밀도의 수치가 0.
- 신경망 모델이 나타난 결과 이미지를 수도 레이블된 데이터로 간주하고, 레이블된 데이터와 수도 레이블된 데이터를 모두 활용하여 다시 한 번 신경망 모델을 학습하였고, 이러한 과정을 반복적으로 수행하면서 많은 양의 수도 레이블된 데이터를 확보 및 활용하여 도로노면 파손 탐지 모델을 계속하여 업데이트하였다. 학습된 모델의 성능을 주관적으로 평가하였을 때, 기존 모델에 비하여 정밀도 성능이 크게 향상되었고, 민감도 성능은 소폭 감소하였다. 하지만, 최종적으로 F1-score는 기존 모델에 비하여 높은 수치를 획득하였다.
후속연구
- 이는 민감도 부분에서는 성능이 저하되었지만, 정밀도 부분에서 성능이 크게 향상되었기 때문에 전반적으로 F1-score 가 기존 모델에 비하여 높은 수치를 받은 것으로 판단할 수 있다. 향후, 다양한 학습 방법 및 양질의 데이터 셋을 확보하여 더욱 더 강건한 형태의 신경망 모델 학습이 필요하겠다.
- 이는 민감도 부분에서는 성능이 저하되었지만, 정밀도 부분에서 성능이 크게 향상되었기 때문에 전반적으로 F1-score가 기존 모델에 비하여 높은 수치를 받은 것으로 판단할 수 있다. 향후, 다양한 학습 방법 및 양질의 데이터셋을 확보하여 더욱 더 강건한 형태의 신경망 모델 학습이 필요하다고 볼 수 있겠다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.