선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 사고는 매년 일어나고 있다. 따라서 본 논문에서는 딥러닝 기술과 라즈베리 파이로 촬영한 영상을 바탕으로 도로 결함을 탐지하고 도로 보수를 하는 지자체들에 게 정보를 제공해줄 수 있는 시스템을 제안한다. 이 모델을 만들기 위해 구글 이미지와 직접 주행 중 도로를 촬영하며 얻은 도로 결함 이미지 데이터 셋을 통해 도로 결함 이미지를 수집하였다.
제안 방법
- 데이터 학습의 클래스는 도로 결함의 유무를 탐지하기 위해 damage로 분류하였다. 4953장의 이미지 데이터를 Training set과 Test set으로 80%와 20%로 데이터를 나누었다.
- 따라서 다른 라즈베리파이 또한 모듈 설치만 완료한다면 적용할 수 있다. 둘째로 전송된 영상을 OpenCV[6]를 이용하여 1초당 30 장 프레임단위로 나눈 뒤, YOLO v3 아키텍처로 학습 시킨 모델을 이용해 라즈베리파이로 촬영한 영상으로부터 도로의 결함을 분석한다. 학습을 위해 수집한 4953장의 도로 결함 이미지는 4장에서 자세히 설명한다.
- 현재 지자체에 시민들이 자발적으로 신고하여 도로 결함을 보수하고 있지만 대부분 사고가 발생하지 않는 이상 신고를 하지 않는다. 따라서 본 논문에서는 라즈베리 파이[2]를 이용하여 도로 위의 영상을 촬영하고 딥러닝 알고리즘중 하나인 YOLOv3[3]로 이를 분석하여 도로 결함을 발견하고 그 위치 정보를 저장하고 지자체에 전송해 쉽게 도로 결함을 보수할 수 있는 시스템을 개발한다.
- 향후에는 도로 결함 중 크랙의 데이터를 확보하여 학습하고 탐지 가능한 시스템으로 발전시킬 예정이다. 또한 라즈베리 파이를 차량에 부착하여 주행 영상을 촬영 후 PC에서 분할 후 탐지를 하여 지도위에 마커를 표시할 수 있도록 진행하였다. 향후에는 영상을 PC로 옮기는 것이 아닌 탐지 보드 자체에서 탐지하여 지도위에 마커를 표시할 수 있는 실시간 탐지를 구현할 계획이다.
- 라즈베리 파이로 촬영한 영상은 PC로 전송된 뒤에 전처리와 분석을 수행한다. 이를 효과적으로 수행하기 위해 Fig.
- 2와 같이 세 부분으로 구성된다. 라즈베리파이를 차량에 부착하여 촬영한 영상과 차량의 이동 경로의 GPS 데이터를 서버로 전송한다. 동영상 촬영을 위해서 Picamera[5]를 사용하였다.
- CNN을 이용하여 도로 결함 탐지로 높은 정확도를 가지고 있지만 해당 탐지 부분에 대한 위치정보를 포함하고 있지 않으며 실시간 처리를 고려하지 않았다. 본 논문에서 제안한 시스템은 라즈베리 파이로 영상을 촬영하고 위치 정보를 저장하여 지도위에 표식을 남기기 때문에 탐지 부분에 대한 위치 정보를 바로 확인할 수 있는 장점이 있다.
- 본 논문의 시스템에서는 딥러닝 기반으로 학습된 도로 결함 탐지 모델을 이용하여 라즈베리파이로 촬영된 도로의 결함을 판단하여 Folium 라이브러리를 사용해 지도위에 마커를 표시해 GPS 좌표와 탐지된 영상을 확인할 수 있는 형식으로 표시된다. 탐지 결과는 Fig.
- 언어용 플러그인이다. 본 시스템에서는 GPU 연산을 활용하기 위하여 자주 이용되는 Windows와 Linux 양쪽 환경에서 모두 프로그램을 지원하기 위하여 PyQt를 이용하여 GUI 플랫폼을 제작했다. GUI 플랫폼에서는 영상 분할, 영상 분석, 지도에 매핑 기능을 수행할 수 있다.
- 부족한 이미지 데이터를 증가시키기 위해 딥러닝 라이브러리인 Keras의 ImageDataGenerator 함수를 사용해 다양한 파라미터를 조절하여 데이터 개수를 확장시킨다. Table 1과 같이 파라미터를 조절하여 원본의 이미지 회전, 좌우 반전, 상하 반전, 일정각도 회전 등을 사용해 원본 이미지 931장을 4953장으로 증가시켰다.
- 학습을 위해 수집한 4953장의 도로 결함 이미지는 4장에서 자세히 설명한다. 세 번째로, 영상 분석이 완료되면 지도 제작을 위해 python 라이브러리인 Folium[7]을 이용해 지도상에 도로 결함이 탐지된 GPS 좌표와 탐지된 이미지를 표시한다. 탐지 결과는 HTML 형식 파일로 출력된다.
- 마커에는 탐지된 영상과 GPS 좌표 정보가 담겨있어 지도위에서 클릭하면 바로 확인할 수 있다. 여기서 중복적으로 지도위에 마커가 처리 되는 것을 예방하기 위해 60프레임 즉 2초의 오차를 두어 첫 번째 이미지가 탐지된 이후 60개의 이미지 중 탐지가 되어도 마커를 생성하지 않도록 하였다. 지도 데이터 생성이 완료되면 해당 코드 파일 위치에 HTML 파일로 저장된다.
- 4953장의 이미지 데이터를 Training set과 Test set으로 80%와 20%로 데이터를 나누었다. 이후 Training set을 나누어 Validation set을 만들었다. 총 4953 장의 이미지 데이터는 Table 3과 같이 Training set, Validation set, Test set 으로 나누어 각각 60%, 20%, 20%로 구성했다.
- 기존 Google API를 사용하면 이미지 데이터를 100개씩 크롤링 해야 한다. 하지만 Selenium을 이용하면 구글 이미지를 자동으로 스크롤링하거나 버튼을 클릭 하는 것이 가능하여 본 시스템은 Chrome 브라우저로 Python을 이용한 Selenium을 사용해 구글 이미지를 크롤링하여 이미지를 수집한다. 도로의 대표적인 결함인 균열, 노면변형, 노면결함, 기타손상 세 가지 중 노면결함에 해당되는 포트홀 이미지 893장을 수집하였다.
- 5와 같은 Early stopping 함수이다. 학습을 조기 종료 시키기 위해선 Validation set을 나누는 것이 중요하다 학습 중 Validation set을 사용해 스스로 평가하면서 validation loss가 더 이상 줄어들지 않는 경우를 판단하여 오버피팅으로 인해 생길 수 있는 문제를 방지하였다.
대상 데이터
- damage로 분류하였다. 4953장의 이미지 데이터를 Training set과 Test set으로 80%와 20%로 데이터를 나누었다. 이후 Training set을 나누어 Validation set을 만들었다.
- Table 1과 같이 파라미터를 조절하여 원본의 이미지 회전, 좌우 반전, 상하 반전, 일정각도 회전 등을 사용해 원본 이미지 931장을 4953장으로 증가시켰다. 이 외의 제공하는 파라미터는 아래 Table 2와 같다.
- 하지만 Selenium을 이용하면 구글 이미지를 자동으로 스크롤링하거나 버튼을 클릭 하는 것이 가능하여 본 시스템은 Chrome 브라우저로 Python을 이용한 Selenium을 사용해 구글 이미지를 크롤링하여 이미지를 수집한다. 도로의 대표적인 결함인 균열, 노면변형, 노면결함, 기타손상 세 가지 중 노면결함에 해당되는 포트홀 이미지 893장을 수집하였다. 라즈베리 파이를 통한 도로 주행을 통해 도로 결함 이미지 38장을 추가로 수집하여 학습에 추가하였다.
- 라즈베리파이를 차량에 부착하여 촬영한 영상과 차량의 이동 경로의 GPS 데이터를 서버로 전송한다. 동영상 촬영을 위해서 Picamera[5]를 사용하였다. 이 카메라는 초당 30프레임의 단위로 촬영할 수 있다.
- 도로의 대표적인 결함인 균열, 노면변형, 노면결함, 기타손상 세 가지 중 노면결함에 해당되는 포트홀 이미지 893장을 수집하였다. 라즈베리 파이를 통한 도로 주행을 통해 도로 결함 이미지 38장을 추가로 수집하여 학습에 추가하였다. Fig.
- 이는 기존의 시스템보다 더욱 빠르고 정확하게 만든다. 본 논문은 YOLOv3를 사용해 도로 결함을 발견한다.
- 따라서 본 논문에서는 딥러닝 기술과 라즈베리 파이로 촬영한 영상을 바탕으로 도로 결함을 탐지하고 도로 보수를 하는 지자체들에 게 정보를 제공해줄 수 있는 시스템을 제안한다. 이 모델을 만들기 위해 구글 이미지와 직접 주행 중 도로를 촬영하며 얻은 도로 결함 이미지 데이터 셋을 통해 도로 결함 이미지를 수집하였다. 수집된 이미지는 YOLO v3 알고리즘을 사용하여 학습하였다.
- 이후 Training set을 나누어 Validation set을 만들었다. 총 4953 장의 이미지 데이터는 Table 3과 같이 Training set, Validation set, Test set 으로 나누어 각각 60%, 20%, 20%로 구성했다.
- 현재 본 시스템은 도로 결함 중 포트홀을 대상을 진행하였다. 현재는 pothole에 대한 탐지만 가능하다.
이론/모형
- 본 연구에서는 YOLO 알고리즘을 사용해 연구를 진행하였다. network architecture는 GoogleNet 모델을 기반으로 한다.
- 이 모델을 만들기 위해 구글 이미지와 직접 주행 중 도로를 촬영하며 얻은 도로 결함 이미지 데이터 셋을 통해 도로 결함 이미지를 수집하였다. 수집된 이미지는 YOLO v3 알고리즘을 사용하여 학습하였다. 개발된 시스템은 96%의 정확도로 도로의 결함을 탐지하고 지도에 GPS 좌표와 탐지된 영상을 표시하여 결함이 발견된 도로를 확인할 수 있다.
- 영상 분석 기능을 수행하면 가장 먼저 전처리된 영상을 입력으로 사용하여 이상이 탐지된 영상을 찾아낸다. 영상 분석에는 Darknet YOLOv3를 이용하여 학습된 모델이 이용된다. 30프레임 단위로 분할된 이미지들이 순차적으로 입력되며 이상이 탐지될 경우 탐지된 이미지의 정보를 기록한다.
성능/효과
- Subdivisione mini-batch를 의미하고 Height와 Width는 입력되는 이미지의 크기를 의미한다. Subdivision 8, Batch size 32, Epoch 41000, Height, Width 416을 사용했을 때 최적의 결과를 보였다. 실제로 도로를 촬영하여 분류해 본 결과 96% 의 정확도를 가진다.
- 수집된 이미지는 YOLO v3 알고리즘을 사용하여 학습하였다. 개발된 시스템은 96%의 정확도로 도로의 결함을 탐지하고 지도에 GPS 좌표와 탐지된 영상을 표시하여 결함이 발견된 도로를 확인할 수 있다. 본 논문에서 제안한 시스템을 통해서 효율적으로 도로 결함을 탐지하여 기존 시행되던 시스템보다 노동력을 절감하여 인력의 효율적인 재배치를 기대할 수 있다.
- 개발된 시스템은 96%의 정확도로 도로의 결함을 탐지하고 지도에 GPS 좌표와 탐지된 영상을 표시하여 결함이 발견된 도로를 확인할 수 있다. 본 논문에서 제안한 시스템을 통해서 효율적으로 도로 결함을 탐지하여 기존 시행되던 시스템보다 노동력을 절감하여 인력의 효율적인 재배치를 기대할 수 있다.
후속연구
- 현재는 pothole에 대한 탐지만 가능하다. 향후에는 도로 결함 중 크랙의 데이터를 확보하여 학습하고 탐지 가능한 시스템으로 발전시킬 예정이다. 또한 라즈베리 파이를 차량에 부착하여 주행 영상을 촬영 후 PC에서 분할 후 탐지를 하여 지도위에 마커를 표시할 수 있도록 진행하였다.
- 또한 라즈베리 파이를 차량에 부착하여 주행 영상을 촬영 후 PC에서 분할 후 탐지를 하여 지도위에 마커를 표시할 수 있도록 진행하였다. 향후에는 영상을 PC로 옮기는 것이 아닌 탐지 보드 자체에서 탐지하여 지도위에 마커를 표시할 수 있는 실시간 탐지를 구현할 계획이다. 위의 2가지 향후 계획을 통해 본 시스템의 효율성을 증대시킬 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.