[논문]XAI 기반의 공공시설물 건전도 안전검사 평가시스템 연구

박예슬; 경선재; 김민준; 오찬미; 이재성; 이재환; 이현승; 이철희; 문현준

문제 정의

모든 이미지는 사이즈가 각기 다른 원본 이미지에서 448x448 사이즈의 이미지로 나누어 생성하였으며 총 60674개의 결함 이미지와 60674 개의 마스크 이미지를 보유중이다. 본 논문은 화산 터널, 덕성 터널, 감천 터널의 데이터를 기반으로 작성되었다. 이미지의 수는 각 데이터의 원본 이미지에 대해서 화산 터널의 최소 8 개부터 감천 터널의 최대 72 개로 상이하며, 원본 이미지는 파노라마 이미지이다.
본 연구에서 핵심은 균열 부위를 정확하게 탐지하기 위해 주변의 노이즈를 제거하는 것이다. 터널 균열과 노이즈는 시각적으로 비슷하게 보이지만, 수학적인 모델링을 통하여 균열이 이어지는 부분을 탐색하여 나머지 노이즈 부분을 제거하는 Morphological Transformation 이미지 형태 전환을 이용하였다.
본 연구에서는 딥러닝 기반 UNet 과 Resnet152 모델을 모두 적용하는 혼합 모델을 이용하여 터널 내부에서 촬영된 영상 내에서 균열을 검출하는 방법을 제안한다. 또한 AI(Artificial Intelligence)보다 발전된 형태의 인공지능인 설명 가능한 인공지능 XAI(eXplainable Artifitical Inteligence)를 기반으로 개발하여 결과 분석 및 오류 수정하는데 드는 시간과 비용이 절약할 수 있다.

제안 방법

Resnet 모델은 기존의 컨볼루젼 뉴럴 네트워크(CNN: Convolution Neural Network)의 layer 증가에 따라 에러율(error rate)이 증가하는 현상을 skip connection 과 초반에 풀링(pooling)을 적용하여 특징 맵을 축소하는 방식을 이용하여 Resnet 의 속도를 개선하였다. 제안된 모델에서는 속도를 높이면서 층의 깊이를 적용한 Resnet152 모델을 이용하였다.
네번째로, 노이즈 제거가 끝난 전처리 된 분할 이미지에 스켈레톤화를 적용시켜서 균열 이미지의 뼈대를 구한다. 뼈대 이미지를 기반으로 균열의 길이, 두께, 위치 등의 정보를 얻을 수 있다.
본 연구에서는 OpenCV의 Opening 연산과 Closing 연산을 이용하여 다음과 같이 노이즈 제거를 진행하였다. 노이즈를 효과적으로 처리하기 위해서 OpenCV 를 기반으로 Opening 연산과 Closing 연산을 마친 후, 컨투어링(contouring) 과정을 통해 남은 노이즈를 제거했다. 먼저, 컨투어링 검출(contouring detection)로 pixel 면적이 가장 큰 컨투어링을 검출하였다.
두번째로, 혼합 모델 (Unet+Resent152)을 생성한 데이터셋 기반으로, 입력으로는 실제 터널 이미지, 훈련 정답으로는 생성한 균열 마스크를 설정한 후 Dice 계수(F1 Score)와 IoU(Intersection over Union) 지표를 손실 함수로 사용하여 결과 이미지가 균열 마스크 이미지와 같게 나오도록 훈련시킨다.
마지막으로, XAI 구현 부분에서는 스켈레톤화가 끝난 뼈대 이미지의 정보를 토대로 균열의 개수, 위치, 두께, 길이 등에 대해 계산을 진행한 후 사용자에게 제시해준다.
노이즈를 효과적으로 처리하기 위해서 OpenCV 를 기반으로 Opening 연산과 Closing 연산을 마친 후, 컨투어링(contouring) 과정을 통해 남은 노이즈를 제거했다. 먼저, 컨투어링 검출(contouring detection)로 pixel 면적이 가장 큰 컨투어링을 검출하였다. 가장 큰 컨투어링 pixel 면적을 계산한 후, 각 컨투어링의 픽셀 면적이 45%이하인 경우에는 노이즈로 간주하여 제거했다.
본 연구는 이전에 인력을 투입하여 균열 탐지 수행 방식과 달리 혼합 모델과 XAI 모델을 이용하여 터널 안전 관리 시스템을 지능화 하였다. 터널 균열 탐지 알고리즘 개발을 위해, Unet 과 ResNet152 을 사용하였고, 높은 정확도를 위해 노이즈 제거 과정인 Morphological Transformation 을 선택하였다.
본 연구에서는 OpenCV의 Opening 연산과 Closing 연산을 이용하여 다음과 같이 노이즈 제거를 진행하였다. 노이즈를 효과적으로 처리하기 위해서 OpenCV 를 기반으로 Opening 연산과 Closing 연산을 마친 후, 컨투어링(contouring) 과정을 통해 남은 노이즈를 제거했다.
세번째로, 훈련된 혼합 모델에서 나온 분할 이미지에 대하여 노이즈 제거 과정을 진행한다. 이 과정에서는 분할 이미지에 대하여 Erosion(침식), Dilation(팽창) 등을 이용하여 열린 모폴로지 연산(Erosion-Dilation), 닫힌 모폴로지 연산(Dilation - Erosion)작업을 진행함으로써 균열의 외부, 내부 노이즈를 제거한 후 이미지상의 크기가 작은 윤곽선까지 제거하여 전처리 된 이미지를 만들어 낸다.
이 연구에서는 morphological operation 을 통해 노이즈 제거를 한 후에 픽셀 단위 균열을 단일 픽셀 너비 표현으로 변환하여 균열 토폴로지를 설명하기위해서 Skeletonizing operations을 한다.
최종적으로, 균열 위상을 설명하기 위해 XAI 의 Skeletonizing operation 을 수행했다. 결과적으로, 테스트 데이터 셋의 검출 결과는 [그림 6]과 같이 Hwasan_P01 _C01_S008 데이터 셋은 Dice 계수 0.
제안된 모델은 [그림 3]의 UNet 구조를 기반으로 하여 Resnet152 모델을 적용하는 구조이다. 터널 결함 검출에는 속도보다 검출 정확도를 향상시키기 위해 기존에 제안된 UNet 모델보다 층이 더 깊은 Resnet152 모델을 제안하였다. Resnet152 는 [그림 2]와 같이 152 개의 레이어로 구성되어 있으며, 이를 UNet 의 contracting path 부분에 152개의 레이어를 적용하며, expansive path 부분에서는 기존의 UNet 모델의 구조를 이용하였다.
본 연구에서 핵심은 균열 부위를 정확하게 탐지하기 위해 주변의 노이즈를 제거하는 것이다. 터널 균열과 노이즈는 시각적으로 비슷하게 보이지만, 수학적인 모델링을 통하여 균열이 이어지는 부분을 탐색하여 나머지 노이즈 부분을 제거하는 Morphological Transformation 이미지 형태 전환을 이용하였다. Morphological Transformation 은 Erosion, Dilation, Opening, Closing 으로, 4 가지 기술을 적절히 적용하고 균열 부위 외의 노이즈를 제거했다.

대상 데이터

터널 결함 검출에는 속도보다 검출 정확도를 향상시키기 위해 기존에 제안된 UNet 모델보다 층이 더 깊은 Resnet152 모델을 제안하였다. Resnet152 는 [그림 2]와 같이 152 개의 레이어로 구성되어 있으며, 이를 UNet 의 contracting path 부분에 152개의 레이어를 적용하며, expansive path 부분에서는 기존의 UNet 모델의 구조를 이용하였다.
UNet 과 Resnet152 모델을 이용하여 수집된 데이터 셋을 학습한다. 제안된 모델은 [그림 3]의 UNet 구조를 기반으로 하여 Resnet152 모델을 적용하는 구조이다.
데이터 셋은 결함 데이터가 포함된 결함 원본 이미지와 결함 원본 이미지에서 결함의 내용을 표시한 마스크 이미지 두 종류로 구성되어 있다. 모든 이미지는 사이즈가 각기 다른 원본 이미지에서 448x448 사이즈의 이미지로 나누어 생성하였으며 총 60674개의 결함 이미지와 60674 개의 마스크 이미지를 보유중이다. 본 논문은 화산 터널, 덕성 터널, 감천 터널의 데이터를 기반으로 작성되었다.
더이상 제거할 수 없을 때까지 각 테두리에서 픽셀을 제거하는 방법을 사용하였다. 본 연구에서는 다른 방법들보다 빠르고 작은균열에 좋은 Medial axis 가 사용되었다.
본 논문은 화산 터널, 덕성 터널, 감천 터널의 데이터를 기반으로 작성되었다. 이미지의 수는 각 데이터의 원본 이미지에 대해서 화산 터널의 최소 8 개부터 감천 터널의 최대 72 개로 상이하며, 원본 이미지는 파노라마 이미지이다. [표 1]은 데이터의 수집 순서, 결함 이미지, 결함 이미지에 결함의 내용을 표시한 마스크 이미지, 데이터를 수집한 장소에 대한 정보를나타낸다.
Resnet 모델은 기존의 컨볼루젼 뉴럴 네트워크(CNN: Convolution Neural Network)의 layer 증가에 따라 에러율(error rate)이 증가하는 현상을 skip connection 과 초반에 풀링(pooling)을 적용하여 특징 맵을 축소하는 방식을 이용하여 Resnet 의 속도를 개선하였다. 제안된 모델에서는 속도를 높이면서 층의 깊이를 적용한 Resnet152 모델을 이용하였다.
UNet 과 Resnet152 모델을 이용하여 수집된 데이터 셋을 학습한다. 제안된 모델은 [그림 3]의 UNet 구조를 기반으로 하여 Resnet152 모델을 적용하는 구조이다. 터널 결함 검출에는 속도보다 검출 정확도를 향상시키기 위해 기존에 제안된 UNet 모델보다 층이 더 깊은 Resnet152 모델을 제안하였다.

이론/모형

이 영상은 노이즈(Noise)들이 많이 포함되어 있어 정확한 결과를 예측하기 어렵다. 따라서 영상에 포함된 노이즈를 제거하기 위해 OpenCV 를 이용하여 이미지 형태 전환(Morphological Transformation)을 사용한다.
본 연구는 이전에 인력을 투입하여 균열 탐지 수행 방식과 달리 혼합 모델과 XAI 모델을 이용하여 터널 안전 관리 시스템을 지능화 하였다. 터널 균열 탐지 알고리즘 개발을 위해, Unet 과 ResNet152 을 사용하였고, 높은 정확도를 위해 노이즈 제거 과정인 Morphological Transformation 을 선택하였다.

성능/효과

최종적으로, 균열 위상을 설명하기 위해 XAI 의 Skeletonizing operation 을 수행했다. 결과적으로, 테스트 데이터 셋의 검출 결과는 [그림 6]과 같이 Hwasan_P01 _C01_S008 데이터 셋은 Dice 계수 0.57, IoU 0.4 이며, Hwasan_P01_C01_S027 데이터 셋은 Dice 계수 0.49, IoU 0.32, Deugseong_P01_C01_S002 데이터 셋은 Dice 계수 0.45, IoU 0.29 로 균열을 검출하였다.
본 연구를 통해 장시간 동안에 누적 발생하는 터널 균열로 인해 생기는 피해를 최소화하기 위해 딥러닝 방식인 혼합 모델과 XAI 모델을 적용하여 터널의 균열을 자동으로 검출함으로써 검사자에 의해 터널 결함을 검출한 것에 비해 객관적인 결과를 얻을 뿐만 아니라 시간과 비용을 절감할 수 있다.

후속연구

XAI 기반 터널 결함 자동 검출 알고리즘 연구가 개발될 경우 건설 부분의 자동화뿐만 아니라 효과적인 유지 보수 및 관리를 통하여 구조물이 오랜 기간 안전하게 기능을 수행할 수 있도록 크게 이바지할 수 있을 것이다.
향후 과제로는 XAI 에 균열의 종류를 수평 구조, 수직 구조, 거미형 구조 세 가지의 균열을 구별하는 기능으로 확장하여 사용자에게 균열에 대한 정보를 제안하는 기능을 보완할 것이다.

핵심어	질문	논문에서 추출한 답변
	본 연구의 데이터 셋은 어떻게 구성되어 있는가?	데이터 셋은 결함 데이터가 포함된 결함 원본 이미지와 결함 원본 이미지에서 결함의 내용을 표시한 마스크 이미지 두 종류로 구성되어 있다. 모든 이미지는 사이즈가 각기 다른 원본 이미지에서 448x448 사이즈의 이미지로 나누어 생성하였으며 총 60674개의 결함 이미지와 60674 개의 마스크 이미지를 보유중이다.
	터널 내부 균열 검사를 담당 점검자들이 내부 촬영 영상을 육안으로 판별하여 점검할 때의 문제점은 무엇인가?	기존의 전통적인 터널 내부 균열 검사의 문제로 지적 될만한 사안은 담당 점검자들이 내부 촬영 영상을 육안으로 판별하여 점검을 시행한다는 것이다. 이는 점검자의 주관적인 판단으로 오류를 범할 수 있고 점검자의 상태에 따라 다른 결과를 도출할 수 있으며 시간과 비용이 많이 들어 비효율적이다.
	시간의 흐름에 따라 터널 내부에는 어떤 문제가 발생하는가?	인간의 편의를 위한 사회간접자본(SOC: social overhead capital) 중 하나인 터널은 현재까지 많이 건설되었고 그 안전 문제는 날이 갈수록 대두되고 있다. 시간의 흐름에 따라 터널 내부에는 노후화, 열에 의한 팽창 및 수축, 사람에 의한 파손, 지형 변화와 같은 다양한 영향으로 인해 터널의 표면과 내부 구조가 파손되어 균열이 발생한다. 터널의 파손 및 균열의 보수나 보강이 없는 상태가 계속 지속되면 위험 요소가 되어 막대한 피해를 주고 심각한 인명 사고까지 발생할 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

XAI 기반의 공공시설물 건전도 안전검사 평가시스템 연구
XAI based public facility safety evaluation system research 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

XAI 기반의 공공시설물 건전도 안전검사 평가시스템 연구 XAI based public facility safety evaluation system research 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

XAI 기반의 공공시설물 건전도 안전검사 평가시스템 연구
XAI based public facility safety evaluation system research 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper