[논문]자기애자의 유지 관리를 위한 CNN 기법을 이용한 이미지 분석

최인혁; 신구용; 구자빈; 손주암; 임대연; 오태근; 윤영근

doi:10.4313/jkem.2020.33.3.239

자기애자의 유지 관리를 위한 CNN 기법을 이용한 이미지 분석
Image Analysis by CNN Technique for Maintenance of Porcelain Insulator 원문보기

전기전자재료학회논문지 = Journal of the Korean institute of electronic material engineers, v.33 no.3, 2020년, pp.239 - 244

최인혁 (한국전력공사 전력연구원) , 신구용 (한국전력공사 전력연구원) , 구자빈 (한국전력공사 전력연구원) , 손주암 (한국전력공사 전력연구원) , 임대연 (인천대학교 안전공학과) , 오태근 (인천대학교 안전공학과) , 윤영근 (인천대학교 안전공학과)

Abstract ▼ AI-Helper

This study examines the feasibility of the image deep learning method using convolution neural networks (CNNs) to maintain a porcelain insulator. Data augmentation is performed to prevent over-fitting, and the classification performance is evaluated by training the age, material, region, and pollution level of the insulator using image data in which the background and labelling are removed. Based on the results, it was difficult to predict the age, but it was possible to classify 76% of the materials, 60% of the pollution level, and more than 90% of the regions. From the results of this study, we identified the potential and limitations of the CNN classification for the four groups currently classified. However, it was possible to detect discoloration of the porcelain insulator resulting from physical, chemical, and climatic factors. Based on this, it will be possible to estimate the corrosion of the cap and discoloration of the porcelain caused by environmental deterioration, abnormal voltage, and lightning.

주제어

표/그림 (8)

그림 Fig. 1. Detailed structure of inception V3 model in CNN.
그림 Fig. 2. Three steps of image data classification.
그림 Fig. 3. The augmentation against over-fitting.
표 Table 1. Categorization of images according to age, materials, pollution level and region.
그림 Fig. 4. Confusion matrix for original images using inception V3.
그림 Fig. 5. Comparison of background color for images according to years of age.
표 Table 2. CNN prediction results for original, background removed and label removed images.
그림 Fig. 6. Confusion matrix through CNN prediction for four groups.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구에서는 자기애자를 유지 관리함에 있어 인적 오류에 의한 관리상의 미비점 및 다양한 환경에 의해 금구 및 자기부에 노화 및 열화가 발생한 자기애자의 이미지를 사용하여 설치연도, 소재, 지역, 오손 등급의 분류 및 예측을 통해 유지 관리에 효율성을 높이고자 하며, 이를 위해 합성곱 신경망 중에서 CNN의 inception V3을 사용한 딥러닝 기법을 적용하고자 한다.
본 연구는 자기애자의 외관 촬영 이미지 분석을 통해 현재 유지 관리를 위해 구분하고 있는 경년연수, 소재, 지역, 오손등급에 대해서 분류를 진행하였고, 이미지 딥러닝 방법 적용의 한계점 및 특정 조건에서의 활용 가능성을 확인하였다. 이러한 결과는 향후 환경적 열화, 이상전압, 낙뢰 등에 의해 외관 상태가 노후화및 손상된 경우 자기애자의 유지 관리에 유의미하게 활용될 수 있을 것으로 판단된다.

제안 방법

하지만 본 연구의 데이터는그룹에 따라 클래스가 2~8개이기 때문에 정확도만을사용하여 모델을 평가하는 것은 정확성 검증에 어려움이 있다. 따라서 F1 score를 구하여 분석을 진행하였다. 각 클래스에 대해 TP (true positive)는 올바른 것에 대한 올바른 예측이고, FP (false positive)는 올바른 것에 대한 잘못된 예측이다.
또한, CNN 학습의 과적합을 방지하고 정확도를 높이기 위해 그림 3과 같이 이미지 데이터에 대해 랜덤 으로 -20~20°의 범위에서 회전 및 -3~3 픽셀 범위에서 좌우로 이동하여 데이터의 다양성을 증가시키는 방법이 적용되었다.
온전히 자기애자의 외관에 대해서만 학습하기 위해 원본, 배경 제거, 레이블제거 총 3가지 이미지 데이터를 구축 및 분석하였다. 또한, 랜덤으로 이미지를 회전시키고 픽셀을 좌우로 이동시킨 데이 터를 사용함으로써 CNN 학습의 과적합을 방지하였다.
먼저, 자기애자 이미지에 대한 4가지 그룹의 학습 및분류를 위해 최적의 데이터 세트를 구축하기 위한 분석을 진행하였다. 원본 이미지, 배경을 제거한 이미지, 배경을 제거한 후 레이블 부분을 제거한 이미지를 데이터 세트로 구축한 후 동일한 CNN 조건에서 분석을 진행하였고, 이에 대해 대표적으로 원본 이미지에 대한 예측 결과를 그림 4에 도식하였고, confusion matrix를 사용하여 그림 2의 3가지 조건에 대한 예측결과를 표 2에 제시하였다.
첫 번째, 각 지역에서 촬영된 자기애자의 이미지 원본을 사용하였으며, 두 번째는 자기애자시험편이 각기 다른 장소에서 수집 및 촬영되었기 때문에 촬영한 이미지의 배경이 분석에 영향을 미치는것을 고려하여 자기애자 이미지에서 배경을 제거하고 분석하였다. 배경색의 제거는 MATLAB 2019a image toolbox를 사용하여, 자기의 색과 배경색의 경계를 도출하고 배경 부분을 0으로 치환하는 방식으로 배경을 제거하였다. 세 번째는 배경을 제거한 이미지에서 특징추출 시 글자 인식을 방지하기 위하여 레이블 부분을 제거한 이미지로 처리하였다.
본 연구에서는 inception V3를 사용하여 전이학습 (transfer learning)을 사용하여 [8], 자기애자의 4가지 그룹에 대한 분석을 통해 한계점을 도출하고 이미지 딥러닝의 적용 가능성을 분석하였다.
배경색의 제거는 MATLAB 2019a image toolbox를 사용하여, 자기의 색과 배경색의 경계를 도출하고 배경 부분을 0으로 치환하는 방식으로 배경을 제거하였다. 세 번째는 배경을 제거한 이미지에서 특징추출 시 글자 인식을 방지하기 위하여 레이블 부분을 제거한 이미지로 처리하였다. 이와 같은 다양한 분류를 통해 경년연수, 소재, 오손등급, 지역을 예측하고 각각의 클래스에 대한 예측 정확도 분석 및 이미지에 대한 특성분석을 진행하였다.
본 연구에서는 CNN 방법 중 inception V3 모델을 사용하여 자기애자의 경년연수, 소재, 지역, 오손등급에 대해 학습하고 예측 및 분류하기 위한 이미지 딥러닝 방법을 적용하였다. 온전히 자기애자의 외관에 대해서만 학습하기 위해 원본, 배경 제거, 레이블제거 총 3가지 이미지 데이터를 구축 및 분석하였다. 또한, 랜덤으로 이미지를 회전시키고 픽셀을 좌우로 이동시킨 데이 터를 사용함으로써 CNN 학습의 과적합을 방지하였다.
먼저, 자기애자 이미지에 대한 4가지 그룹의 학습 및분류를 위해 최적의 데이터 세트를 구축하기 위한 분석을 진행하였다. 원본 이미지, 배경을 제거한 이미지, 배경을 제거한 후 레이블 부분을 제거한 이미지를 데이터 세트로 구축한 후 동일한 CNN 조건에서 분석을 진행하였고, 이에 대해 대표적으로 원본 이미지에 대한 예측 결과를 그림 4에 도식하였고, confusion matrix를 사용하여 그림 2의 3가지 조건에 대한 예측결과를 표 2에 제시하였다.
세 번째는 배경을 제거한 이미지에서 특징추출 시 글자 인식을 방지하기 위하여 레이블 부분을 제거한 이미지로 처리하였다. 이와 같은 다양한 분류를 통해 경년연수, 소재, 오손등급, 지역을 예측하고 각각의 클래스에 대한 예측 정확도 분석 및 이미지에 대한 특성분석을 진행하였다.
또한, CNN 학습의 과적합을 방지하고 정확도를 높이기 위해 그림 3과 같이 이미지 데이터에 대해 랜덤 으로 -20~20°의 범위에서 회전 및 -3~3 픽셀 범위에서 좌우로 이동하여 데이터의 다양성을 증가시키는 방법이 적용되었다. 이와 같은 다양한 학습 데이터 구축을 통해 경년연수, 소재, 오손등급, 지역을 예측하고 각각의 클래스에 대한 예측 정확도 분석 및 이미지에 대한 특성 분석을 진행하였다.
자기애자 이미지는 그림 2와 같이 총 3단계로 구분하여 분석되었다. 첫 번째, 각 지역에서 촬영된 자기애자의 이미지 원본을 사용하였으며, 두 번째는 자기애자시험편이 각기 다른 장소에서 수집 및 촬영되었기 때문에 촬영한 이미지의 배경이 분석에 영향을 미치는것을 고려하여 자기애자 이미지에서 배경을 제거하고 분석하였다. 배경색의 제거는 MATLAB 2019a image toolbox를 사용하여, 자기의 색과 배경색의 경계를 도출하고 배경 부분을 0으로 치환하는 방식으로 배경을 제거하였다.

대상 데이터

그림 5는 예측률의 변동이 아주 크거나 거의 없는 4가지 경년에 대한 이미지이며, 같은 경년에 대해서 배경의 밝기, 오염도 등은 유사하였고, 레이블의 위치는 다양한 방향에 걸쳐져 있기 때문에 배경 및 레이블이 CNN의 분류성능에 일정 비율 영향을 미치는 것으로 판단된다. 따라서 4가지 그룹에 대한 분석을 위해 배 경 및 레이블을 제거한 데이터가 활용되었다.
본 연구에서는 자기애자의 다양한 분류를 위한 CNN 학습 및 분류 데이터의 수집은 실제 154 kV 송전탑에 설치되어 사용된 애자를 수거하여 사진 촬영을 통해 자기애자의 이미지를 수집하였다. 분류하고자 하는 자기애자 이미지 데이터는 표 1과 같으며, 경년에 따라 1969~1979년 사이의 7개의 그룹으로 구성되었으며, 소재는 크리스토발라이트 및 알루미나 2가지 그룹으로 구분되며, 오손등급의 경우 청정, A, B, C, D 5가지로 구분하였고, 지역은 강릉, 경남 등 총 8개의 지역으로 구분하여 기본 데이터로 사용하였다.
본 연구에서는 자기애자의 다양한 분류를 위한 CNN 학습 및 분류 데이터의 수집은 실제 154 kV 송전탑에 설치되어 사용된 애자를 수거하여 사진 촬영을 통해 자기애자의 이미지를 수집하였다. 분류하고자 하는 자기애자 이미지 데이터는 표 1과 같으며, 경년에 따라 1969~1979년 사이의 7개의 그룹으로 구성되었으며, 소재는 크리스토발라이트 및 알루미나 2가지 그룹으로 구분되며, 오손등급의 경우 청정, A, B, C, D 5가지로 구분하였고, 지역은 강릉, 경남 등 총 8개의 지역으로 구분하여 기본 데이터로 사용하였다.

이론/모형

본 연구에서는 CNN 방법 중 inception V3 모델을 사용하여 자기애자의 경년연수, 소재, 지역, 오손등급에 대해 학습하고 예측 및 분류하기 위한 이미지 딥러닝 방법을 적용하였다. 온전히 자기애자의 외관에 대해서만 학습하기 위해 원본, 배경 제거, 레이블제거 총 3가지 이미지 데이터를 구축 및 분석하였다.

성능/효과

76으로 산출되었으며, 알루미나가 크리스토발라이트로 예측되는 경우가 많았기 때문에 소재별 적합한 특징의 추출이 어렵다는 것을 의미 하며, 이미지 딥러닝을 활용하여 소재를 구분하는 것은적합하지 않은 것으로 판단된다. 그림 6(c)의 지역은 F1 score가 0.63으로 산출되어 낮은 것으로 분석되었지만, 특정 지역인 경남 지역의 경우 93%로 높은 예 측 정확도를 보였으며, 구리 지역의 경우 80% 이상으로 예측되었다. 다른 지역과 비교하였을 때 경남 지역은 주변에 공장이 많이 있으며, 구리 지역은 공장이거의 없는 청정지역이라는 차이점이 있다.
이에 따라 자기애자가 사용되는 지역의 특성에 따라 금구의 부식및 자기부의 그을림 등 외관의 차이가 발생하며, 이러한 외관의 변화는 이미지 분석을 통해 구분이 가능한것으로 판단된다. 그림 6(d)의 오손등급은 F1 score는 0.61로 산출되었으며, A등급의 경우 86%, D등급 76%, 청정 73%로 일정수준 이상의 예측률을 보였다. 그러나 B, C 등급의 경우 30% 정도의 예측률을 보이며, 해당 클래스에 대한 예측을 거의 하지 못하는 것으로 분석되었다.
1) 원본, 배경 제거, 레이블 제거에 대한 CNN의 분석 결과 분류 정확도가 점차 낮아지는 결과를 통해 배경 및 레이블이 분류 성능에 영향을 미치는것으로 판단된다. 따라서 실제 자기애자의 외관에 대한 분류를 위해서는 배경 및 레이블을 제거하는 방식을 적용하는 것이 가장 현실성이 높은 것으로 사료된다.
2) 배경 및 레이블 제거 데이터를 사용한 경년연수는 가장 낮은 F1 score 값을 가지며, 예측이 어려운 것으로 분석되었고, 소재의 경우 F1 score 는 0.76으로 가장 높았지만 알루미나를 크리스토 발라이트로 예측하는 비율이 높았으며, 지역의 경우 경남 및 구리 지역과 같이 육안으로 차이가식별되는 경우에는 높은 정확도로 구분되는 것을확인하였다. 오손등급의 경우 A, D, E 등급은 B, C 등급보다 비교적 높은 정확도로 구분되는 것이확인되었다.
배경 및 레이블을 제거한 이미지의 예측 결과, 1975년이 93%의 정확도로 분석되었으며, 1969년 데이터는 13%로 예측률이 하락하였고, 배경 제거에서 예측률이 하락하였던 1970년 데이터의 경우 86%로 예측정확도가 증가하는 것으로 분석되었다. 경년연수 분석 결과 원본, 배경 제거, 레이블제거 순으로 분류 정확도가 낮아지는 경향을 보였다. 경년연수를 분석한 결과 원본, 배경 제거, 레이블제거 순으로 분류 정확도가 낮아지는 경향을 보였다.
경년연수 분석 결과 원본, 배경 제거, 레이블제거 순으로 분류 정확도가 낮아지는 경향을 보였다. 경년연수를 분석한 결과 원본, 배경 제거, 레이블제거 순으로 분류 정확도가 낮아지는 경향을 보였다.
1) 원본, 배경 제거, 레이블 제거에 대한 CNN의 분석 결과 분류 정확도가 점차 낮아지는 결과를 통해 배경 및 레이블이 분류 성능에 영향을 미치는것으로 판단된다. 따라서 실제 자기애자의 외관에 대한 분류를 위해서는 배경 및 레이블을 제거하는 방식을 적용하는 것이 가장 현실성이 높은 것으로 사료된다.
배경을 제거한 이미지의 예측 결과, 1975년이 100%의 정확도를 가지는 것으로 분석되었으며, 1969년 데이터는 36%로 가장 낮은 예측률을 보였지만, 원본의 결과와 비교하였을 때 예측률이 일정 수준 상승한 것으로 나타났다. 배경 및 레이블을 제거한 이미지의 예측 결과, 1975년이 93%의 정확도로 분석되었으며, 1969년 데이터는 13%로 예측률이 하락하였고, 배경 제거에서 예측률이 하락하였던 1970년 데이터의 경우 86%로 예측정확도가 증가하는 것으로 분석되었다. 경년연수 분석 결과 원본, 배경 제거, 레이블제거 순으로 분류 정확도가 낮아지는 경향을 보였다.
원본 이미지에 대한 예측 결과, 1975년이 93%의 예측률로 가장 높게 나타났고, 1973년이 83%, 1970년이 70%의 예측률을 가지는 것으로 분석되었으며, 1969년의 경우에는 16%로 가장 정확도가 낮은 것으로 분석 되었다. 배경을 제거한 이미지의 예측 결과, 1975년이 100%의 정확도를 가지는 것으로 분석되었으며, 1969년 데이터는 36%로 가장 낮은 예측률을 보였지만, 원본의 결과와 비교하였을 때 예측률이 일정 수준 상승한 것으로 나타났다. 배경 및 레이블을 제거한 이미지의 예측 결과, 1975년이 93%의 정확도로 분석되었으며, 1969년 데이터는 13%로 예측률이 하락하였고, 배경 제거에서 예측률이 하락하였던 1970년 데이터의 경우 86%로 예측정확도가 증가하는 것으로 분석되었다.
원본 이미지에 대한 예측 결과, 1975년이 93%의 예측률로 가장 높게 나타났고, 1973년이 83%, 1970년이 70%의 예측률을 가지는 것으로 분석되었으며, 1969년의 경우에는 16%로 가장 정확도가 낮은 것으로 분석 되었다. 배경을 제거한 이미지의 예측 결과, 1975년이 100%의 정확도를 가지는 것으로 분석되었으며, 1969년 데이터는 36%로 가장 낮은 예측률을 보였지만, 원본의 결과와 비교하였을 때 예측률이 일정 수준 상승한 것으로 나타났다.

후속연구

본 연구는 자기애자의 외관 촬영 이미지 분석을 통해 현재 유지 관리를 위해 구분하고 있는 경년연수, 소재, 지역, 오손등급에 대해서 분류를 진행하였고, 이미지 딥러닝 방법 적용의 한계점 및 특정 조건에서의 활용 가능성을 확인하였다. 이러한 결과는 향후 환경적 열화, 이상전압, 낙뢰 등에 의해 외관 상태가 노후화및 손상된 경우 자기애자의 유지 관리에 유의미하게 활용될 수 있을 것으로 판단된다.
자기애자의 외관 이미지를 활용하여 이미지 분석을진행한 결과 외관의 상태에 영향을 미치는 다양한 조 건 중에 지역적인 요인에 의해 발생하는 차이가 가장큰 것으로 판단되며, 지역별로 물리적·화학적·기후학적 환경이 다르기 때문에 지역별로 딥러닝 결과를 활용해야 할 필요가 있다고 사료된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	딥러닝은 어떠한 방법으로 발전해 왔는가?	수 년 전부터 딥러닝(deep learning)과 기계 학습(machine learning)에 관한 관심이 증가하고 있으며 특히 딥러닝은 기계 학습에 포함되는 방법으로 컴퓨터가 스스로 데이터를 학습하는 네트워크 모델로 텍스트, 이미지 등을 분류하고 학습 및 예측하는 방법이다. 이러한 발전은 빅데이터의 활용, 고성능 GPU 같은 하드웨어의 발전과 인식알고리즘의 개발에 따라 활용성 높은 기술로 발전 되었다 [3]. 이러한 시점에서 LeCun에 의해 초기 CNN (convolutional neural network) 모델인 LeNet이 개발되 었으며, 최근에는 ILSVRC (imageNet large scale visual recognition challenge)가 개최되면서 수많은 이미지 분석 알고리즘이 개발되고 있다 [4].
	자기애자는 무엇인가?	이로 인해 많은 양의 전력을 안정적으로 공급하기 위해서 송전선로에 높은 수준의 절연이 필요하다. 자기애자는 송전탑과 송전선을 물리적 으로 고정시키고, 절연을 통해 송전선로의 안전성을 유지하는 핵심적인 요소이다 [1].
	전력의 공급 및 수요는 왜 현대에 급증하고 있는가?	전력의 공급 및 수요는 기계 시스템 및 산업의 자동 화, 디지털 사회와 같은 4차 산업혁명의 발달과 지구 온난화, 전기 자동차 등의 환경적인 요인으로 인해 현대에 급증하고 있다. 이로 인해 많은 양의 전력을 안정적으로 공급하기 위해서 송전선로에 높은 수준의 절연이 필요하다.

참고문헌 (8)

G. H. Vaillancourt, J. P. Bellerive, M. St-Jean, and C. Jean, IEEE Trans. Power Del., 9, 208 (1994). [DOI: https://doi.org/10.1109/61.277692]

상세보기
A. Rawat and R. S. Gorur, IEEE Trans. Dielectr. Electr. Insul., 16, 107 (2009). [DOI: https://doi.org/10.1109/TDEI.2009.4784557]

상세보기
Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner, Proc. IEEE, 86, 2278 (1998). [DOI: https://doi.org/10.1109/5.726791]

상세보기
Stanford Vision Lab, Stanford University, Princeton University, LSVRC, Available: www.image-net.org (2016).
A. Krizhevsky, I. Sutskever, and G. E. Hinton, Commun. ACM, 60, 84 (2017). [DOI: https://doi.org/10.1145/3065386]

상세보기
K. He, X. Zhang, S. Ren, and J. Sun, Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE, Las Vegas, USA, 2016) p. 27. [DOI: https://doi.org/10.1109/CVPR.2016.90]
X. Xia, C. Xu, and B. Nan, Proc. 2017 2nd International Conference on Image, Vision and Computing (ICIVC) (IEEE, Chengdu, China, 2017) p. 2. [DOI: https://doi.org/10.1109/ICIVC.2017.7984661]
K. Simonyan and A. Ziserman, 3rd International Conference on Learning Represntaions, Available: https://arxiv.org/abs/1409.1556 (2015).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증