[논문]블레이드의 표면 결함 검출을 위한 Faster R-CNN 딥러닝 모델 구축

장지원; 안효준; 이종한; 신수봉

doi:10.11112/jksmi.2019.23.7.80

블레이드의 표면 결함 검출을 위한 Faster R-CNN 딥러닝 모델 구축
Construction of Faster R-CNN Deep Learning Model for Surface Damage Detection of Blade Systems 원문보기

한국구조물진단유지관리공학회 논문집 = Journal of the Korea Institute for Structural Maintenance and Inspection, v.23 no.7, 2019년, pp.80 - 86

장지원 (인하대학교 사회인프라공학과) , 안효준 (인하대학교 사회인프라공학과) , 이종한 (인하대학교 사회인프라공학과) , 신수봉 (인하대학교 사회인프라공학과)

초록
AI-Helper

컴퓨터 성능 향상으로 다양한 분야에서 딥러닝을 활용한 연구가 활발히 진행되고 있으며 최근에는 구조물 안전성 평가 연구에도 그 적용이 이루어지고 있다. 특히 터빈의 내부 블레이드는 분리가 쉽지 않고 어두운 주변 환경으로 인해 블레이드의 표면 결함 검출은 전문 인력의 경험에 의존하고 있으며, 점검시간도 상당히 소요되고 있는 실정이다. 따라서, 본 연구에서는 딥러닝 기술을 적용하여 터빈 구조의 부재 중 하나인 내부 블레이드에 발생하는 결함을 검출할 수 있는 효율적인 방법을 제시하였다. Faster R-CNN 인공신경망 기법을 활용하여 결함의 이미지 데이터를 학습하였고 부족한 이미지는 필터링과 Image Data Generator를 이용하여 데이터를 확장하였다. 그 결과 블레이드의 결함을 학습한 딥러닝 모델은 평균적으로 약 96.1%의 정확도와 재현율은 95.3%, 정밀도는 96%의 성능을 보였다. 재현율을 통해 제시된 딥러닝 모델이 결함을 탐지하지 못하는 경우는 4.7% 로 나타났다. 재현율의 성능은 여러 환경의 많은 결함 이미지 데이터를 수집하고 확장하여 딥러닝 학습에 적용함으로써 더욱 향상되리라 판단된다. 이러한 실제 블레이드의 결함 이미지 데이터 확보와 학습을 통해 향후 터빈엔진 정비에 적용 가능한 결함 검출 시스템으로 발전할 수 있을 것이다.

Abstract ▼ AI-Helper

As computer performance improves, research using deep learning are being actively carried out in various fields. Recently, deep learning technology has been applying to the safety evaluation for structures. In particular, the internal blades of a turbine structure requires experienced experts and considerable time to detect surface damages because of the difficulty of separation of the blades from the structure and the dark environmental condition. This study proposes a Faster R-CNN deep learning model that can detect surface damages on the internal blades, which is one of the primary elements of the turbine structure. The deep learning model was trained using image data with dent and punch damages. The image data was also expanded using image filtering and image data generator techniques. As a result, the deep learning model showed 96.1% accuracy, 95.3% recall, and 96% precision. The value of the recall means that the proposed deep learning model could not detect the blade damages for 4.7%. The performance of the proposed damage detection system can be further improved by collecting and extending damage images in various environments, and finally it can be applicable for turbine engine maintenance.

주제어

표/그림 (10)

그림 Fig. 1 Blade defect types
그림 Fig. 2. CNN architecture
그림 Fig. 3. R-CNN overview
그림 Fig. 4 Faster R-CNN overview (Ren et al, 2017)
그림 Fig. 5 Actual blades and blade specimens with defects (An et al, 2019)
그림 Fig. 6 Video screen obtained from real blade inspection and images from experimental environment
그림 Fig 7. Example of images expanded using filters
그림 Fig. 8 Example of images expanded using Image Data Generator
그림 Fig. 9 Result of training
표 Table 1 Performance measures of the proposed model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 Faster R-CNN 딥러닝 알고리즘을 활용하여 터빈 구조물의 블레이드에 대한 표면 결함 검출의 효율적인 방법을 실험적 환경에서 제시하였다.
본 연구에서는 중요한 터빈엔진(Turbin engine) 구조 부재 중의 하나인 내부 블레이드(Blade)에 딥러닝 기술을 적용하여 결함을 자동적으로 인식하고 검출할 수 있는 기술을 개발 하였다. 내부에 존재하는 블레이드의 경우 분리가 쉽지 않고 어두운 환경을 가지고 있다.

제안 방법

Dent결함과 Punch결함을 모사한 시편을 제작하고 이미지 데이터를 구축하였다. 만들어진 이미지 데이터만으로는 학습을 진행하기에 부족하므로 이미지 필터링과 Image Data Generator를 진행하여 총 395개의 학습데이터로 확장 생성하여 모델 학습을 수행하였다.
따라서 Dent를 블레이드의 주요 결함 대상으로 정의하고 연구를 진행하였다. Dent 결함은 블레이드의 모서리(Edge)와 내부(Inside)에서 각각 발생할 수 있다.
이러한 블레이드가 위치되어 있는 열악한 환경으로 인해 블레이드의 결함을 검출하기 위해서 많은 훈련과 경험을 가진 인력이 다수 필요로 하고, 검사 시간도 상당히 많이 소요되는 실정이다. 따라서 본 연구에서는 Faster R-CNN 딥러닝 알고리즘을 활용하여 검출 과정을 자동화하고 효율적으로 진행될 수 있게 하였다.
하지만 실험적인 환경에서 데이터양을 직접적으로 만들어 내는 것은 한계가 있다. 따라서 본 연구에서는 기존의 이미지 데이터에 Gaussian blur, Motion blur, Sharpening, Histogram 필터를 적용하여 데이터 확장을 수행하였다. Gaussian blur 필터는 이웃 화소들을 평균 처리하는 방법과 유사하고 블러링(Blurring) 효과 정도를 조절할 수 있는 인자를 가진다.
즉, 검출 모델이 결함을 탐지하지 못하는 것이 이에 해당된다. 따라서 정확도와 함께 재현율, 정밀도, F-1 Score 값을 지표로 사용하여 블레이드 결함 검출 딥러닝 알고리즘 성능을 평가하였다.
블레이드 결함 중 Crack과 Dent 결함이 안전성에 가장 중요 하게 영향을 미치고, Dent결함이 Crack으로 발전하기 전에 검출한다면 Crack을 예방할 수 있다. 따라서, 검출할 결함을 Dent로 설정하고 블레이드 안쪽에 움푹 파인 것을 Punch, 블레이드 모서리가 찢어진 것을 Dent로 분류하고 정의하였다.
Dent결함과 Punch결함을 모사한 시편을 제작하고 이미지 데이터를 구축하였다. 만들어진 이미지 데이터만으로는 학습을 진행하기에 부족하므로 이미지 필터링과 Image Data Generator를 진행하여 총 395개의 학습데이터로 확장 생성하여 모델 학습을 수행하였다. 학습 된 모델은 Punch와 Dent 결함에 대해 평균적으로 약 96.
Dent 결함은 블레이드의 모서리(Edge)와 내부(Inside)에서 각각 발생할 수 있다. 본 연구에서는 블레이드의 모서리에서 찧어지는 결함만을 Dent로, 블레이드의 내부가 움푹 파여 들어가는 결함은 Punch로 구분하여 정의하였다.
실험을 진행하기 위해서는 블레이드 결함에 대한 이미지 데이터를 생성한 후 분류가 필요하다. 블레이드에 발생하는 Dent 와 Punch 이미지 데이터를 수집하기 위해 제작된 시편의 결함 이미지를 바닥과 수평하게 설치한 평면적 환경에서 생성하였다. 최대한 양질의 데이터를 얻기 위해 실험체 블레이드에 빛반사를 최소화할 수 있도록 검은색 바탕 위에서 촬영을 진행하 였다.
필터 적용과 Image Data Generator를 통해서 총 395개의 이미지 데이터를 생성하였다. 생성된 데이터는 Dent, Punch 결함의 레이블링(Labeling) 작업을 수행하여 검출 모델이 결함에 집중하여 학습할 수 있도록 하였다. 레이블링이 완료된 이미지 데이터를 학습하기 위해서는 딥러닝 알고리즘 내에서 학습데이터 셋(Train dataset)과 시험데이터 셋(Test dataset) 의 분류가 필요하다.
학습이 잘 수행되었다면 손실률이 작은 값으로 나오고 학습이 잘 수행되지 않았다면 손실률이 큰 값으로 나올 것이다. 이 검출 모델은 약 7:3 비율로 학습 데이터 셋과 시험데이터 셋을 분류하였고 총 50만 번의 스텝을 실행하였다.
블레이드에 발생하는 Dent 와 Punch 이미지 데이터를 수집하기 위해 제작된 시편의 결함 이미지를 바닥과 수평하게 설치한 평면적 환경에서 생성하였다. 최대한 양질의 데이터를 얻기 위해 실험체 블레이드에 빛반사를 최소화할 수 있도록 검은색 바탕 위에서 촬영을 진행하 였다. 또한 고화질의 데이터로 학습 시 컴퓨터에 과부하가 걸려학습이 중단되는 현상이 발생하므로 1836 × 1836의 해상도를 적용하였다.

대상 데이터

또한 블레이드 결함 검출 모델을 딥러닝 학습하는데 있어서 다음과 같은 고려사항이 존재한다. 본 연구에서는 검출 모델의 학습데이터를 평면적 환경에서의 데이터로 고려하였다. 이는 블레이드의 설치 환경이 변한다면 낮은 성능을 나타낼수 있다.
이러한 실제 블레이드 중 하나를 모사하여 폭 6cm, 높이 10 cm의 크기로 직사각형 모양의 블레이드 시편을 제작하였다. 시편의 재료는 블레이드의 외관과 유사한 알루미늄(Aluminum) 합판을 사용하였다.
이 모델은 총 395개의 적은 이미지 데이터로 학습을 진행하 였다. 한 이미지에 여러 개의 결함이 모사되기는 했지만 적은 이미지 데이터양에 비해 높은 성능이 나온 것으로 보인다.
블레이드 크기는 폭 3 cm, 높이 4 cm 에서부터 블레이드 위치나 터빈 구조물의 크기에 따라 더 작거나 큰 사이즈로 다양 하게 분포한다. 이러한 실제 블레이드 중 하나를 모사하여 폭 6cm, 높이 10 cm의 크기로 직사각형 모양의 블레이드 시편을 제작하였다. 시편의 재료는 블레이드의 외관과 유사한 알루미늄(Aluminum) 합판을 사용하였다.
필터 적용과 Image Data Generator를 통해서 총 395개의 이미지 데이터를 생성하였다. 생성된 데이터는 Dent, Punch 결함의 레이블링(Labeling) 작업을 수행하여 검출 모델이 결함에 집중하여 학습할 수 있도록 하였다.
레이블링이 완료된 이미지 데이터를 학습하기 위해서는 딥러닝 알고리즘 내에서 학습데이터 셋(Train dataset)과 시험데이터 셋(Test dataset) 의 분류가 필요하다. 학습데이터 셋은 딥러닝 알고리즘이 레이블링한 결함을 학습하는데 쓰이는 데이터이고 시험데이터셋은 학습된 알고리즘이 학습하지 않은 데이터를 바탕으로 스스로 시험을 하는 데이터이다. 한 번의 학습 스텝(Step)마다 컴퓨터는 학습과 시험을 진행하고 학습된 정도는 손실률 (Loss)값을 통해 확인하였다.

이론/모형

또한 고화질의 데이터로 학습 시 컴퓨터에 과부하가 걸려학습이 중단되는 현상이 발생하므로 1836 × 1836의 해상도를 적용하였다.

성능/효과

2와같다. Punch 결함의 재현율은 94.5%, 정밀도가 99.1%로 정밀도가 더 높고, Dent 결함의 재현율은 96%, 정밀도가 92.8%로정밀도에 비해 재현율이 더 높게 나오는 것을 보아 결함에 따라 성능차이가 나타나는 것을 알 수 있다.
만들어진 이미지 데이터만으로는 학습을 진행하기에 부족하므로 이미지 필터링과 Image Data Generator를 진행하여 총 395개의 학습데이터로 확장 생성하여 모델 학습을 수행하였다. 학습 된 모델은 Punch와 Dent 결함에 대해 평균적으로 약 96.1%의 정확도와 95.3%의 재현율, 96%의 정밀도로 예상한 것 보다 높은 수준의 성능을 보였다.
학습결과 0.002의 손실률과 Punch 결함에 대해서 96.8%, Dent 결함에 대해 95.4%의 정확도(Accuracy)로 예측하였다. 정확도는 학습된 검출 모델이 결함이라고 판단한 개체의 수에 검출 모델이 올바르게 결함이라고 예측된 수의 단순 비율 이므로 정확도만으로 검출 모델의 성능을 객관적으로 판단 할 수 없다.

후속연구

이는 블레이드의 설치 환경이 변한다면 낮은 성능을 나타낼수 있다. 따라서 향후 실제 블레이드의 설치 환경을 모사한 실험을 수행하여 블레이드의 결함 이미지 데이터를 수집하고 검출 모델을 학습시킨다면 블레이드의 설치 환경을 고려하면 서도 거의 동일한 성능을 보일 수 있을 것이다. 또한 실제 터빈엔진을 정비 하는 환경을 반영한 블레이드의 결함 이미지 데이터를 구축하고 학습시켜 터빈엔진의 정비에 적용 가능한 검출 시스템으로 개발할 수 있을 것으로 판단된다.
따라서 향후 실제 블레이드의 설치 환경을 모사한 실험을 수행하여 블레이드의 결함 이미지 데이터를 수집하고 검출 모델을 학습시킨다면 블레이드의 설치 환경을 고려하면 서도 거의 동일한 성능을 보일 수 있을 것이다. 또한 실제 터빈엔진을 정비 하는 환경을 반영한 블레이드의 결함 이미지 데이터를 구축하고 학습시켜 터빈엔진의 정비에 적용 가능한 검출 시스템으로 개발할 수 있을 것으로 판단된다.
이러한 오검출의확률을 줄이기 위해서는 충분한 양의 학습데이터 확보가 필요하다. 본 연구에서는 395개의 적은 양의 학습데이터를 사용 하였는데 다량의 결함 이미지를 수집하고 확장하여 검출 모델 학습에 적용한다면 정밀도뿐만 아니라 재현율도 향상될수 있을 것으로 판단된다.
교량 구조물 또한 같은 방식을 도입하여 교량 콘크리트 구조물의 외부 결함에 대해 딥러닝을 실시하여 손상 탐지 연구를 진행하였으며, 육안검사보다 더 높은 신뢰성을 가질 수 있음을 보였다 (Jung et al, 2018).이러한 딥러닝의 기술이 구조물의 안전성 평가에 효율적으로 적용한다면 평가에 소요되는 인력과 시간, 비용 등을 낮출 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	딥러닝(Deep learning)이란 무엇인가?	딥러닝(Deep learning)은 컴퓨터의 성능 향상과 함께 인공 신경망(Artificial neural network) 기법을 활용하여 데이터의 예측 모델을 구현하는 것이다. 즉 학습시키고자하는 데이터 (Data)를 입력했을 때 기계는 인공신경망을 거쳐 데이터의 특징을 추출하고 학습함으로써 데이터 입력에 의한 결과를 예측하는 것이다.
	CNN의 이미지 분류 방법은?	CNN은 Fig. 2에 보인 바와 같이 개체(Object)에 Convolutional layer와 Max pooling layer를 번갈아 적용하여 특징(Feature)를추출하고 Fully connected layer를 통해 이미지를 분류한다.
	Fast R-CNN의 장단점은?	Fast R-CNN은 R-CNN에서 이미지 영역 제안을 통해 약 2000번 수행되었던 CNN계산을 1번의 CNN 계산 후 영역 마다 특징을 추출하는 방식이다. CNN 계산 과정이 대폭 줄어들면서 R-CNN의 속도보다 빠르고 정확도 또한 향상되었지만 알고 리즘의 구조적 비효율성이 남아있다는 단점이 있다.

참고문헌 (16)

Zaccone, G., Karim, R., and Menshawy, A. (2017), Deep Learning with Tensorflow, Acorn, Seoul, 33-35.
Choi, S., and Do, M. (2018), Prediction of Asphalt Pavement Service Life using Deep Learning, Journal of Highway Engineering, KSRE, 20(2), 57-65.
Jung, H., Nam, W., Kim, G., Kim, D., Kang, I., and Kim, H. (2018), Deep Learning-based Damage Detection Method for Bridge Condition Evaluation, Magazine of the Korea Institute For Structural Maintenance and Inspection, KSMI, 22(3), 16-22.
Lee, G. (2018), Damage Detection for RC Rahmen Bridge Based on Convolutional Neural Network, Inha University, Incheon, 22-25.
Girshick, R., Donahue, J., Darrell, T., and Malik, J. (2016), Region-based Convolutional Networks for Accurate Object Detection and Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE, 38(1), 142-158.

상세보기
Lee, B. (2017), R-CNNs Tutorial, (https://blog.lunit.io/2017/06/01/r-cnns-tutorial).
Ren, S., He, K., , Girshick, R., and Sun, J. (2017), Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE, 39(6), 1137-1149.

상세보기
Lee, B. (2016), Gas Turbine for Aircraft, Kyungmoon, Seoul, 147-149.
An, H., Jang, J., Lee, J.H., and Shin, S. (2019), Damage Detection Method of Blade Systems using Deep Learning Technique, Proceedings of the Korea Institute For Structural Maintenance and Inspection, KSMI, 23(1), 30-31.
Alasdair, M. (2007), Introduction to Digital Image Processing with Matlab, Cengage Learning, Seoul, 112-122.
Sin, J., Jang, S., and Ji, I. (2008), Introduction to Digital Image Processing, HANBIT Media, Seoul, 183-187.
Kim, T., (2017), Data Augmentation for Convolutional Neural Network, (https://tykimos.github.io/2017/06/10/CNN_Data_Augmentation).
Nakai, E. (2016), Deep Learning Getting Started with TensorFlow, Jpub, Paju, 65-68.
Cho, D. (2017), Performance Evaluation of Classification Model,(https://bcho.tistory.com/1206).
Cho, J. (2018), Performance Measurement of Multiple Classification Models - Performance Measure (ACU, F1 score), (https://nittaku.tistory.com/295).
An, Y., and Jang, K. (2017), Deep Learning-Based Structural Crack Evaluation Technique Through UAV-Mounted Hybrid Image Scanning, Journal of the Korean association for shell and spatial structures, KASS, 17(4), 20-26

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증