선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- CNN은 기존의 분류 기법과 다르게 영상에서 특징 벡터를 자동으로 학습하고 영상의 특징을 자동으로 추출할 수 있어 특징 벡터의 추출과 분류를 통합적으로 수행할 수 있다. 따라서 본 논문에서는 이러한 장점을 활용하여 기존의 CNN 구조에 디컨볼루셔널 계층을 결합한 컨볼루셔널 인코더-디코더 네트워크(Convolutional Encoder-Decoder Network)를 사용하여 균열을 검출하는 방법을 제안한다.
- 본 논문에서는 기존의 이러한 과정을 통합적으로 수행하기 위하여 컨볼루셔널 인코더-디코더 네트워크를 이용한 균열 검출 방법을 제안했다. 제안하는 방법은 기존의 방법보다 평균 재현율 +0.
- 본 논문에서는 터널 내부에서 촬영된 영상 내에서 균열을 검출하는 방법을 제안했다. 기존의 방법들은 촬영된 영상의 균열과 비균열 영역의 명도 차에 기반하여 균열 후보 영역을 검출했다.
제안 방법
- 기존의 방법들은 촬영된 영상의 균열과 비균열 영역의 명도 차에 기반하여 균열 후보 영역을 검출했다. 검출된 후보 영역들의 특징 벡터들을 이용하여 균열과 잡음 영역을 분류하여 최종 균열 영역을 획득했다. 하지만 이 방법들은 입력 영상에서의 배경과 균열의 명도차가 크고, 잡음이 적은 영상에 대해서는 좋은 결과를 보였지만, 그렇지 않은 경우 현저하게 성능이 떨어지는 결과를 보였다.
- 네트워크의 학습으로는 Matlab에서 지원하는 프레임 워크인 Matconvnet을 이용하여 학습했다.
- 일반적으로 균열 검출 방법에서 균열 영역이 명확하게 검출되지 않는다면 이후 단계에서는 균열이 잡음으로 오인되기 쉽다. 따라서 제안하는 방법은 균열 검출에 초점을 맞추었다. 네트워크의 성능향상을 위하여 더욱 많은 학습데이터가 필요하며 검출된 균열 후보 영역 중 잡음과 균열 영역을 보다 정확하게 분류하는 단계가 필요하다.
- 제안하는 구조는 인코더(Encoder)와 디코더(Decoder)로 구성된다. 인코더는 다수의 컨볼루셔널 계층(Convolutional layer)으로 이루어진다.
- 제안하는 구조는 패치 영상에 대한 특징 맵의 크기가 인코더에서 1×1이 아닌 16 × 16의 크기에서 디코더로 전달되어 원영상의 크기를 복원한다.
- 균열 후보 영역에는 균열뿐만 아니라 잡음도 포함하고 있다. 제안하는 방법에서는 균열 후보 영역에서 잡음을 제거하기 위해 균열의 특성 중 원형도와 영역의 픽셀 수를 이용한다. 각각의 후보 영역에서 원형도가 높거나 픽셀의 수가 적은 영역들은 잡음으로 간주하고 제거한다.
- 영역 확장 기반의 방법은 필터 기반의 방법보다 잡음에 대한 오검출이 적은 것을 볼 수 있다. 제안하는 방법은 기존의 방법보다 검출된 균열 영역에서 잡음이 많이 제거된 것을 확인할 수 있지만 균열 주위에 붙어있는 잡음까지 균열 영역으로 오검출했다.
- Yamaguchi의 방법은 생성된 시드로부터 균열 영역을 반복적으로 확장하는 방법이므로 생성된 시드의 양이 많을수록 처리 시간이 길어진다. 제안하는 방법은 네트워크 구조의 복잡성에 비례하여 연산 시간이 결정된다. 제안하는 방법은 Adhikari와 Kim의 방법을 제외한 나머지 방법보다 빠른 성능을 보임을 확인할 수 있다.
- 제안하는 방법은 입력 영상을 네트워크의 입력으로 넣어 확률 지도(Probability map)를 획득하는 확률 지도 획득 단계와 확률 지도에서 균열 후보 영역을 생성하기 위한 이진화 단계, 균열 영역 중 잡음 영역을 제거하는 잡음 제거(Removing noise) 단계로 구성된다. 제안하는 방법의 흐름도는 그림 2와 같다.
- 제안하는 방법은 컨볼루셔널 인코더-디코더 네트워크를 이용하여 균열 영역을 검출했다. 제안하는 방법은 기존 방법과의 비교에서 확인할 수 있듯이 입력 영상에 나타난 잡음에 강건하게 균열 영역을 검출할 수 있고, 상대적으로 낮은 대조비 영상에서도 기존의 방법들보다 정확하게 균열을 검출했다.
- 제안하는 방법의 구조는 학습과 예측의 속도, 균열 검출의 정확률과 재현율을 고려하여 실험적으로 정의하였고 패치의 입력 크기 또한 64 × 64, 96 × 96, 128 × 128의 크기로 실험 하였을 때 학습과 예측에 사용된 총 시간과 재현율과 정확률을 고려하여 최적의 크기인 128 × 128로 정의했다.
- 제안하는 방법의 네트워크 구조는 기존의 Noh[21]가 제안한 구조와 다르게 입력 영상이 크고 빠르게 처리해야 하는 균열 검출 시스템 특성에 맞추어 구성되었다. 제안하는 구조는 기존의 구조보다 얕은 층을 구성하여 학습과 예측 시간을 최소화했다.
- 그림 8의 비교 3에 사용된 실험 영상 또한 터널 내부 조명등 사이에서 촬영된 영상으로 균열과 배경의 명도차가 작고 잡음을 포함하고 있다. 필터 기반의 방법과 영역 확장 방법은 균열 영역을 검출하지 못하고 균열 이외의 에지만을 균열 영역으로 오검출했다. 하지만 제안하는 방법은 낮은 대조비 영상에서도 기존의 방법들 보다 균열을 정확하게 검출한 것을 알 수 있다.
대상 데이터
- 그림 6의 비교 1에서 사용된 실험 영상은 터널의 콘크리트 벽면에서 촬영된 영상으로 잡음이 적고 균열 영역이 비교적 깨끗하게 나타난 영상이다. 그림 6에서 볼 수 있듯이 필터 기반의 방법들은 균열 영역과 배경의 명도 차이가 큰 부분은 검출할 수 있었지만, 균열의 폭이 가늘어지는 부분이나 균열과 배경의 명도 차이가 작은 경우에는 균열 영역을 검출하지 못하여 균열의 끊어짐이 발생하는 것을 볼 수 있다.
- 네트워크의 학습 영상으로는 터널 내에서 획득된 원본 영상과 점검자들이 수작업으로 태깅한 정답 영상을 사용했다. 영상의 크기는 2880 × 2880이며 총 장수는 138장이다.
- 영상의 크기는 2880 × 2880이며 총 장수는 138장이다.
- 평가에 사용한 영상으로는 터널에서 획득된 640 × 640 크기의 영상 40장을 이용하였고 대조비가 낮고 잡음을 많이 포함하고 있는 영상 20장과 대조비가 높고 잡음을 적게 포함하는 영상 20장으로 구성된다.
데이터처리
- 획득된 확률지도에서 높은 임계값을 설정할 경우에는 미세한 균열이 사라지고 균열 영역이 끊어지는 현상이 발생하며, 너무 낮은 임계값을 사용할 경우에는 균열이 아닌 영역들이 많이 포함된다. 제안하는 방법에는 이진화에 사용되는 임계값을 각각 재현율과 정확률로 평가하여 실험적으로 0.3을 사용했다.
- 제안하는 방법의 성능을 평가하기 위하여 다양한 기존의 방법들과 비교를 했다[6, 16～17, 19].
이론/모형
- 제안하는 방법의 정량적 평가를 위하여 재현율(Recall), 정확률(Precision), F-척도(F-measure)와 균열 영상의 평균 처리속도를 평가척도로 사용했다.
성능/효과
- 표 2는 터널에서 획득된 실험영상 중 대조비가 낮고 잡음이 많이 포함된 영상 20장을 이용한 테스트 결과이다. Adhikari의 방법은 중간 값 필터와 원본 영상의 차를 이용하는 방법으로 입력 영상에서 균열 영역과 배경 영역의 명도의 차이가 큰 경우에는 비교적 좋은 결과를 보였지만, 대조비가 낮은 영상과 잡음이 많은 영상에 대해서는 재현율과 정확률 모두 현저하게 낮아지는 것을 확인할 수 있었다. 이것은 최대 엔트로피 방법에서 사용되는 이진화 임계값이 차 영상에 나타난 균열 영역의 값보다 크게 정해지기 때문이다.
- 이렇게 추출된 특징 값을 신경망이나, 퍼지모델에 적용하여 균열을 판별한다. Choudhary와 Dey는 이 실험을 통하여 신경망을 이용한 방법이 퍼지 로직을 이용한 방법보다 균열 검출에서 좋은 결과를 보임을 실험적으로 증명했다. Han[19]은 3개의 필터(최솟값, 중간값, 형태학적 연산)를 이용한 균열 검출 방법을 제안했다.
- 이것은 기존의 구조와 비교하면 컨볼루셔널 계층 2개, 디컨볼루셔널 계층 2개를 줄인 것과 같다. 기존의 구조는 영상 분할 및 분류에 맞추어 제안되었지만 본 논문에서 제안하는 구조는 영상 내 균열만의 위치를 찾아내기 위하여 제안되었으므로 기존의 방법보다 필터의 크기와 수, 네트워크의 깊이를 축소할 수 있었다. 제안하는 방법의 구조는 학습과 예측의 속도, 균열 검출의 정확률과 재현율을 고려하여 실험적으로 정의하였고 패치의 입력 크기 또한 64 × 64, 96 × 96, 128 × 128의 크기로 실험 하였을 때 학습과 예측에 사용된 총 시간과 재현율과 정확률을 고려하여 최적의 크기인 128 × 128로 정의했다.
- 이 방법은 균열의 스케일을 고려하였지만, 낮은 대조비 영상과 잡음이 많은 영상에서 좋지 않은 결과를 보였다.
- 가 제안한 구조와 다르게 입력 영상이 크고 빠르게 처리해야 하는 균열 검출 시스템 특성에 맞추어 구성되었다. 제안하는 구조는 기존의 구조보다 얕은 층을 구성하여 학습과 예측 시간을 최소화했다. 제안하는 구조는 패치 영상에 대한 특징 맵의 크기가 인코더에서 1×1이 아닌 16 × 16의 크기에서 디코더로 전달되어 원영상의 크기를 복원한다.
- 제안하는 방법은 네트워크 구조의 복잡성에 비례하여 연산 시간이 결정된다. 제안하는 방법은 Adhikari와 Kim의 방법을 제외한 나머지 방법보다 빠른 성능을 보임을 확인할 수 있다.
- 제안하는 방법은 컨볼루셔널 인코더-디코더 네트워크를 이용하여 균열 영역을 검출했다. 제안하는 방법은 기존 방법과의 비교에서 확인할 수 있듯이 입력 영상에 나타난 잡음에 강건하게 균열 영역을 검출할 수 있고, 상대적으로 낮은 대조비 영상에서도 기존의 방법들보다 정확하게 균열을 검출했다.
- 제안하는 방법은 기존의 방법보다 잡음에 강건함을 보이고 균열 영역이 깨끗하게 검출되는 것을 볼 수 있다.
- 본 논문에서는 기존의 이러한 과정을 통합적으로 수행하기 위하여 컨볼루셔널 인코더-디코더 네트워크를 이용한 균열 검출 방법을 제안했다. 제안하는 방법은 기존의 방법보다 평균 재현율 +0.18, 평균 정확도 +0.41, 평균 F-척도 +0.39의 성능 향상을 보였다.
- 표 1은 잡음을 적게 포함하고 대조비가 높은 실험 영상 20장의 실험 결과이다. 표에서 볼 수 있듯이 기존 방법과 제안하는 방법을 비교하였을 때 최고 대비 재현율 0.12, 정확률 0.24, F-척도 0.37의 성능 향상을 보였다.
- 표 2는 잡음을 포함하고 대조비가 낮은 균열 영상 20 장에 대한 기존의 방법과 제안하는 방법의 결과이다. 표에서 볼 수 있듯이 제안하는 방법이 기존 방법의 최고성능보다 재현율 0.2, 정확도 0.41, F-척도 0.37의 성능 향상을 보인다.
- 표 3은 각 방법별로 실험 영상들의 처리 시간을 평균한 것이다. 표에서 볼 수 있듯이 제안하는 방법이 기존의 방법과 비교 하였을 때 각각 +3.19, +3.05, -4.35, -611.92의 속도차이를 보였다.
- 검출된 후보 영역들의 특징 벡터들을 이용하여 균열과 잡음 영역을 분류하여 최종 균열 영역을 획득했다. 하지만 이 방법들은 입력 영상에서의 배경과 균열의 명도차가 크고, 잡음이 적은 영상에 대해서는 좋은 결과를 보였지만, 그렇지 않은 경우 현저하게 성능이 떨어지는 결과를 보였다. 또한 균열 이외의 물체들(조명등, 전선 등)을 제거하기 위한 별도의 과정을 필요로 한다.
- 필터 기반의 방법과 영역 확장 방법은 균열 영역을 검출하지 못하고 균열 이외의 에지만을 균열 영역으로 오검출했다. 하지만 제안하는 방법은 낮은 대조비 영상에서도 기존의 방법들 보다 균열을 정확하게 검출한 것을 알 수 있다.
후속연구
- 네트워크의 성능향상을 위하여 더욱 많은 학습데이터가 필요하며 검출된 균열 후보 영역 중 잡음과 균열 영역을 보다 정확하게 분류하는 단계가 필요하다. 향후에는 균열 검출을 위하여 학습 기법 연구 및 검출된 균열 영역에서의 잡음 제거 방법을 연구할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.