[논문]폴립 가중치 영상 생성을 통한 캡슐내시경 영상의 학습 성능 비교 연구

임창남; 박예슬; 이정원

doi:10.3745/ktsde.2019.8.6.251

[국내논문] 폴립 가중치 영상 생성을 통한 캡슐내시경 영상의 학습 성능 비교 연구
A Study on the Comparison of Learning Performance in Capsule Endoscopy by Generating of PSR-Weigted Image 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.8 no.6, 2019년, pp.251 - 256

임창남 (아주대학교 전자공학과) , 박예슬 (아주대학교 전자공학과) , 이정원 (아주대학교 전자공학과)

초록
AI-Helper

캡슐 내시경은 식도부터 항문까지 소화기관 전체를 한 번에 촬영할 수 있는 의료기기로, 한 번의 검사에서 평균 8~12시간의 길이와 5만장 이상의 프레임으로 구성된 영상을 생성한다. 그러나 생성된 영상에 대한 분석은 전문가에 의해 수작업으로 진행되고 있어서, 질병 영상 진단을 돕기 위한 영상 분석 자동화에 대한 수요가 증가하고 있다. 그 중에서도 본 연구에서는 위장관 내에서 발견될 수 있는 융기성 병변인 폴립 영상 자동 검출에 초점을 맞추었다. 본 연구에서는 멀티 스케일 분석을 통해 폴립 의심 영역을 추출하고, 이것을 원본 영상과 합성하여 폴립 학습을 강화시킬 수 있는 가중치 영상을 생성하는 기법을 제안한다. 수집한 452장의 데이터에 대해 머신 러닝 기법중 하나인 SVM과 RF로 실험한 결과, 원본 영상을 이용한 폴립 검출의 F1점수는 89.3%였지만, 생성된 가중치 영상을 통해 학습한 결과 F1점수가 93.1%로 향상된 것을 확인하였다.

Abstract ▼ AI-Helper

A capsule endoscopy is a medical device that can capture an entire digestive organ from the esophagus to the anus at one time. It produces a vast amount of images consisted of about 8~12 hours in length and more than 50,000 frames on a single examination. However, since the analysis of endoscopic images is performed manually by a medical imaging specialist, the automation requirements of the analysis are increasing to assist diagnosis of the disease in the image. Among them, this study focused on automatic detection of polyp images. A polyp is a protruding lesion that can be found in the gastrointestinal tract. In this paper, we propose a weighted-image generation method to enhance the polyp image learning by multi-scale analysis. It is a way to extract the suspicious region of the polyp through the multi-scale analysis and combine it with the original image to generate a weighted image, that can enhance the polyp image learning. We experimented with SVM and RF which is one of the machine learning methods for 452 pieces of collected data. The F1-score of detecting the polyp with only original images was 89.3%, but when combined with the weighted images generated by the proposed method, the F1-score was improved to about 93.1%.

주제어

표/그림 (15)

그림 Fig. 1. Design of Convolutional Neural Network for Polyp Detection
그림 Fig. 2. Conventional Polyp Detection Method
그림 Fig. 3. Edge Detection Process
그림 Fig. 4. Image Generation of Changed Aspect Ratio and Circle Detection Result
그림 Fig. 5. Circle Analysis Direction
그림 Fig. 6. Circle Analysis Process for a Direction
그림 Fig. 7. Merge Single Suspicious Regions
그림 Fig. 8. PSR Evaluation
그림 Fig. 9. Examples of Images Showing High F1-Score
그림 Fig. 10. Examples of Images Showing Low F1-Score
그림 Fig. 11. PSR Image
그림 Fig. 12. PSR-Weighted Images
표 Table 1. Analysis of Learning Performance for PSR-weighted Image by SVM
표 Table 2. Analysis of Learning Performance for PSR-weighted Image by RF
표 Table 3. Analysis of Learning Performance for PSR-weighted Images as Performance of PSR

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 멀티 스케일에서의 분석을 통한 폴립 의심영역을 추출하고 추출된 영역을 통해 폴립 학습 강화용 영상을 생성하는 기법을 제안하였다. 또한, 이를 기반으로 생성된 PSR 가중치 영상은 수집한 데이터 452장 전체에 대해 실험을 진행하였다.
이를 개선하기 위해 본 논문에서는 폴립 의심 영역을 추출하고, 추출된 영역을 이용해 학습 강화용 영상을 생성하는 기법을 제안한다.
이를 위해, 본 논문에서는 멀티 스케일 분석을 통한 폴립 학습 강화용 영상 생성 기법을 제안한다. 이 기법은 멀티 스케일 분석을 통해 폴립 의심 영역을 설정하고 의심 영역 정보를 통해 원래의 영상에 가중치를 설정한 영상을 생성하는 기법이다.

제안 방법

• PSR의 성능에 따른 PSR 가중치 영상 학습 성능 분석 다음은 PSR의 성능에 따른 PSR 가중치 영상 학습 성능의 변화를 분석해보았다.
• PSR의 성능에 따른 PSR 가중치 영상 학습 성능 분석 다음은 PSR의 성능에 따른 PSR 가중치 영상 학습 성능의 변화를 분석해보았다. PSR을 추출할 때 사용되는 매개변수의 값을 조절하여 정밀도와 재현율을 변화시키며 PSR 가중치 영상의 학습 성능을 측정했다. Table 3은 매개변수의 변화에 따른 PSR의 성능과 이렇게 추출한 PSR을 이용한 PSR 가중치 영상의 학습 성능을 표시한 것이다.
먼저, SVM에 대한 적용이다. SVM을 통한 학습의 경우,118x118의 높은 차원을 축소시키기 위해 각각의 영상에서 HOG 특징을 추출한 후 진행하였다. 테스트 데이터와 트레이닝 데이터의 비율은 2:8로 수행되었으며, 5-Fold 교차 검증(CV, Cross Validation)을 진행하였다.
이로 인해, 행렬의 값을 영상에서 표현할 수 있는 범위로 바꾸는 작업이 필요하다. 각 값의 비율을 유지하기 위해 행렬의 각 값을 행렬의 최댓값으로 나눠준 후 영상에서 표현할 수 있는 최댓값인 255를 곱해주는 방식으로 이작업을 수행하였다. 이렇게 생성된 영상은 Fig.
이 때, 타원형, 일그러진 원형 등의 폴립은 원래의 영상에서 검출하기 힘들기 때문에 서로 다른 종횡비를 가진 영상들을 생성한다. 구체적으로는 1:1의 종횡비를 가진 원본 영상에서 1:2, 1:3, 1:5, 2:1,3:1, 5:1의 비율로 변경한 6개의 영상을 생성하였다(Fig. 4). 이렇게 생성된 각각의 영상에서 허프(Hough) 원 검출 기법을 사용하여 원 형태를 검출한다.
생성된 PSR 가중치 영상의 정확도를 평가하기 위해, 본 논문에서는 두 가지 기계학습 알고리즘(SVM: Support Vector Machine, RF: Random Forest)을 적용해보았다. 기계학습 알고리즘 적용을 위해, 각각의 영상에 대한 HOG(Histogram Oriented Gradient) 특징을 추출하여 SVM 혹은 RF 학습을 진행하였다. 실험 결과, 원본 영상을 사용하였을 때의 평균 F1점수가 89.
이 매개변수의 값은 높을수록 더 정확한 원 형태를 검출하고 낮아질수록 더 많은 원 형태를 검출하는데, 그로 인해 잘못 검출되는 경우 또한 많아지게 된다. 본 논문에서는 이러한 특성을 고려하여 이 매개변수를 변경하면서 여러 번 원 형태를 검출하였고, 높은 매개변수에서 검출된 원일수록 3.4절에서 진행하는 영역 병합 과정에서 높은 가중치를 두어 병합하였다.
1절에서 생성된 PSR영상을 이용해 폴립 학습 강화용 영상(PSR-weighted Image)을 생성하는 과정이다. 영상의 생성은 흑백으로 표현한 원본영상과 PSR영상을 가중치를 주어 중첩시키는 방식으로 진행하였다. 가중치가1:3, 1:1, 3:1일 때 생성된 영상은 Fig.
[4]의 경우 딥러닝 기법을 활용하여 캡슐내시경 영상을 6가지 카테고리로 분류한다. 이 때 영상의 기울기 분석과 같은 고전적인 방법을 적용하여 획득한 라플라시안(Laplacian) 영상, 헤시안(Hessian) 행렬을 함께 학습시킨다. [5]의 경우, [4]의 경우와는 다르게 영상 처리 방법론이 네트워크의 학습 과정에 개입한다.
다음은 추출된 폴립 의심 영역(PSR)에 대한 평가이다. 이 실험에서는 각각의 폴립 영상에서 폴립인 부분을 직접 마스킹하여 정답으로 활용할 수 있는 영상을 만든 후, 추출한 의심영역과 대조하는 방식으로 진행하였다. 평가는 정밀도, 재현율, F1점수로 진행하였다.
이는 크게 잡음을 제거한 윤곽선 검출, 멀티 스케일 원형검출, 단일 의심 영역 추출(PSR, Polyp Suspicious Weight), 단일 의심 영역의 결정 과정으로 이루어진다. 추출된 PSR의 정확도를 평가하기 위해, 폴립이 있는 영역에 masking한 영상과 대조하여 평가를 수행하였다. 평가 결과, 평균적으로 67%,63%, 58%의 정밀도, 재현율, F1점수를 기록하였다.
이 실험에서는 각각의 폴립 영상에서 폴립인 부분을 직접 마스킹하여 정답으로 활용할 수 있는 영상을 만든 후, 추출한 의심영역과 대조하는 방식으로 진행하였다. 평가는 정밀도, 재현율, F1점수로 진행하였다. Fig.

대상 데이터

본 연구에서는 멀티 스케일에서의 분석을 통한 폴립 의심영역을 추출하고 추출된 영역을 통해 폴립 학습 강화용 영상을 생성하는 기법을 제안하였다. 또한, 이를 기반으로 생성된 PSR 가중치 영상은 수집한 데이터 452장 전체에 대해 실험을 진행하였다. 실험 결과, 원본 영상을 이용하였을 때에 비해 F1점수가 평균 3% 향상되는 것을 확인하였다.
RF의 경우, SVM과 다르게 RF를 생성할 때의 생성되는 포레스트의 최대 깊이에 대한 제한을 둘 수 있는 파라미터가 존재한다. 본 논문에서는 최대 깊이 파라미터에 대한 값을 변경하면서 4개의 학습 모델을 획득하였다. 5.
5장에서는 PSR 가중치 영상의 적용을 통한 학습 성능 분석 결과를 제시한다. 실험에 사용한 데이터는 118x118 크기의 폴립 영상 150장, 폴립이 아닌 영상은 302장 중 임의로 뽑은 150장으로 구성되며, SVM, RF 기법을 적용하였다. 가중치 영상을 학습하는 경우에는 테스트 데이터와 트레이닝 데이터 모두 가중치 영상을 생성한 후 가중치 영상으로 진행하였다.

데이터처리

SVM을 통한 학습의 경우,118x118의 높은 차원을 축소시키기 위해 각각의 영상에서 HOG 특징을 추출한 후 진행하였다. 테스트 데이터와 트레이닝 데이터의 비율은 2:8로 수행되었으며, 5-Fold 교차 검증(CV, Cross Validation)을 진행하였다. 원본 영상으로 학습했을 때 정확도, 정밀도, 재현율, F1점수는 각각 평균 91.

이론/모형

[1]에서는 BoF(Bag of Features)기법을 사용한 후 SVM과 FLDA(Fisher’s LinearDiscriminant Analysis)를 사용하여 폴립을 판별하였다.
생성된 PSR 가중치 영상의 정확도를 평가하기 위해, 본 논문에서는 두 가지 기계학습 알고리즘(SVM: Support Vector Machine, RF: Random Forest)을 적용해보았다. 기계학습 알고리즘 적용을 위해, 각각의 영상에 대한 HOG(Histogram Oriented Gradient) 특징을 추출하여 SVM 혹은 RF 학습을 진행하였다.
윤곽선은 가장자리 부근을 나타낸 선으로 영상 내에서 밝기가 급변하는 부분이다. 윤곽선을 검출하는 다양한 기법이 존재하는데, 본 연구에서는 캐니(Canny)윤곽선 검출 기법을 사용하여 윤곽선을 검출하였다. Fig.
4). 이렇게 생성된 각각의 영상에서 허프(Hough) 원 검출 기법을 사용하여 원 형태를 검출한다. 허프 원 검출 기법을 사용할 때 필요한 매개변수 중 누산기의 임계값을 결정하는 매개변수가 존재한다.

성능/효과

본 논문에서는 최대 깊이 파라미터에 대한 값을 변경하면서 4개의 학습 모델을 획득하였다. 5.1절과 마찬가지로 각 모델에 대해 5-Fold 교차 검증을 수행하였으며, 4가지 모델 모두 원본 영상을 적용하였을 때에 비해 PSR 가중치 영상을 적용하였을 때 평균 F1점수가 개선됨을 확인할 수 있었다. 4가지 모델 별 학습 성능을 분석한 결과는 Table 2와 같이 정리된다.
전체 데이터에 대한 평균을 낸 결과 정밀도, 재현율, F1점수의 평균은 각각 67%, 63%, 58%로 나타났다. F1점수가 떨어지는 데이터에 대한 분석을 수행하였을 때, 작은 폴립이 많이 존재하거나 이미지에서 폴립이 차지하는 영역이 큰 이미지에서 결과가 좋지 않게 나왔음을 확인할 수 있었다.
1%로 나타났다. PSR 가중치 영상은 합성비율이 22%일 때가 가장 높은 F1점수를 보였으며 이때의 정확도, 정밀도, 재현율, F1점수는 각각 평균 94.3%, 94.0%,94.7%, 94.3%로 원본 영상으로 학습했을 때에 비해 성능이 개선됨을 확인하였다. 5-Fold 교차 검증에 대한 세부적인 성능 분석 결과는 Table 1과 같다.
기계학습 알고리즘 적용을 위해, 각각의 영상에 대한 HOG(Histogram Oriented Gradient) 특징을 추출하여 SVM 혹은 RF 학습을 진행하였다. 실험 결과, 원본 영상을 사용하였을 때의 평균 F1점수가 89.3%임에 비해, 생성된 영상을 이용해 학습을 진행한 결과 평균 F1 점수가 93.1%로 약 3.8% 정도가 개선되었음을 확인할 수 있었다. 이와 같은 결과는 폴립이 의심되는 영역에 대해 후보 지역을 축소시켜줌에 따라 학습의 정확도를 향상시킨 것으로 판단된다.
또한, 이를 기반으로 생성된 PSR 가중치 영상은 수집한 데이터 452장 전체에 대해 실험을 진행하였다. 실험 결과, 원본 영상을 이용하였을 때에 비해 F1점수가 평균 3% 향상되는 것을 확인하였다. 상승폭이 크지 않은 것은 Fig.
테스트 데이터와 트레이닝 데이터의 비율은 2:8로 수행되었으며, 5-Fold 교차 검증(CV, Cross Validation)을 진행하였다. 원본 영상으로 학습했을 때 정확도, 정밀도, 재현율, F1점수는 각각 평균 91.0%,91.3%, 91.3%, 91.1%로 나타났다. PSR 가중치 영상은 합성비율이 22%일 때가 가장 높은 F1점수를 보였으며 이때의 정확도, 정밀도, 재현율, F1점수는 각각 평균 94.
PSR Weighted F1은 추출된 PSR을 이용해 생성한 가중치 영상으로 학습했을 때의 F1 점수이며, Original F1은 원본 영상으로 학습했을 때의 F1점수이다. 전반적으로 원본 영상만을 이용하여 학습했을 때에 비해 F1점수가 향상된 것을 확인할 수 있으며, 평균 3% 성능이 향상된 것을 확인할 수 있다. PSR의 정밀도, 재현율 그리고 F1의 변화와 해당 PSR을 이용하여 PSR 가중치 영상으로 학습했을 때의 F1 점수와의 뚜렷한 상관관계가 보이지 않는데, 이는 PSR 평가 방법의 한계점으로 인한 것이다.
10과 같다. 전체 데이터에 대한 평균을 낸 결과 정밀도, 재현율, F1점수의 평균은 각각 67%, 63%, 58%로 나타났다. F1점수가 떨어지는 데이터에 대한 분석을 수행하였을 때, 작은 폴립이 많이 존재하거나 이미지에서 폴립이 차지하는 영역이 큰 이미지에서 결과가 좋지 않게 나왔음을 확인할 수 있었다.
추출된 PSR의 정확도를 평가하기 위해, 폴립이 있는 영역에 masking한 영상과 대조하여 평가를 수행하였다. 평가 결과, 평균적으로 67%,63%, 58%의 정밀도, 재현율, F1점수를 기록하였다. 다음은 이와 같이 추출된 단일 의심 영역 행렬을 영상화하는 과정과, PSR 가중치 영상을 생성하는 과정을 거친다.

후속연구

반대의 경우에는 폴립 주변의 영역까지 PSR로 추출하게 되어 정밀도가 낮아지고 재현율이 높아지게 된다. 따라서 PSR의 정밀도, 재현율과 PSR 가중치 영상을 이용한 학습 결과의 연관성이 관찰되지 않는 것으로 보이며, PSR 행렬의 값과 폴립의 중심 부분의 위치 등을 고려하여 평가하는 방법이 필요할 것으로 보인다. 또한 PSR의 재현율이 낮아져도 폴립의 중앙 부분이 PSR로 추출되었기 때문에 PSR 가중치 영상을 이용하여 학습한 경우가 원본 영상만을 이용하여 학습했을 때보다 성능이 향상된 것으로 판단된다.
추후 연구에서는 이러한 경우에서 PSR을 정확히 추출할 수 있도록 알고리즘의 개선이 필요하다. 또한, 추가적인 데이터 수집을 통해 더욱 강화될 수 있을 것으로 전망하고 있으며, 빅데이터 확보를 통해 향후에는 컨볼루션 신경망(딥러닝)에 적용할 계획이다.
10의 예와 같이 폴립의 크기가 작고 광범위하게 분포한 경우 PSR이 정확하게 추출되지 못하였기 때문으로 판단된다. 추후 연구에서는 이러한 경우에서 PSR을 정확히 추출할 수 있도록 알고리즘의 개선이 필요하다. 또한, 추가적인 데이터 수집을 통해 더욱 강화될 수 있을 것으로 전망하고 있으며, 빅데이터 확보를 통해 향후에는 컨볼루션 신경망(딥러닝)에 적용할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	캡슐내시경이란 무엇인가?	캡슐내시경은 식도에서 항문까지 소화기관 전체를 관찰할 수 있는 의료기기이다. 캡슐은 장의 연동운동에 이동하며 장 내부 영상을 촬영한다.
	캡슐 내시경의 영상 분석 자동화에 대한 수요가 증가하는 이유는 무엇인가?	캡슐 내시경은 식도부터 항문까지 소화기관 전체를 한 번에 촬영할 수 있는 의료기기로, 한 번의 검사에서 평균 8~12시간의 길이와 5만장 이상의 프레임으로 구성된 영상을 생성한다. 그러나 생성된 영상에 대한 분석은 전문가에 의해 수작업으로 진행되고 있어서, 질병 영상 진단을 돕기 위한 영상 분석 자동화에 대한 수요가 증가하고 있다. 그 중에서도 본 연구에서는 위장관 내에서 발견될 수 있는 융기성 병변인 폴립 영상 자동 검출에 초점을 맞추었다.
	의료 영상 분석에 대한 여러 가지 연구 중 대표적인 연구는 무엇인가?	의료 영상 분석에 대한 여러 가지 연구 중 대표적인 연구는 병변 검출에 대한 연구이다. 위장관 내에서 발견될 수 있는 융기성 병변 중 하나인 폴립에 대한 예를 들면, 폴립 검출을 위해 전통적인 방법을 통해 영상에서 특징을 추출하여 그 특징을 기계학습 기법에 적용시키거나[1-3], 기존의 방식과 딥러닝 기법을 적용하여 폴립을 검출하는 연구들이 진행되고 있다[4, 5].

참고문헌 (5)

Yixuan Yuan, Baopu Li, and Max Q-H. Meng, "Improved Bag of Feature for Automatic Polyp Detection in Wireless Capsule Endoscopy Images," IEEE Transactions on Automation Science and Engineering, Vol.13. No.2, pp.529-535, 2016.

상세보기
Mohamed El Ansari and Said Charfi, "Computer-aided System for Polyp Detection in Wireless Capsule Endoscopy Images," Wireless Networks and Mobile Communications (WINCOM), 2017 International Conference on. IEEE, 2017.
Meryem Souaidi, Said Charfi, et al., "New Features for Wireless Capsule Endoscopy Polyp Detection," Intelligent Systems and Computer Vision (ISCV), 2018 International Conference on. IEEE, 2018.
Santi Segui, Michal Drozdzal, et al., "Generic Feature Learning for Wireless Capsule Endoscopy Analysis," Computers in Biology and Medicine, Vol.79, pp.163-172, 2016.

상세보기
Yixuan Yuan and Max Q H. Meng, "Deep Learning for Polyp Recognition in Wireless Capsule Endoscopy Images," Medical Physics., Vol.44. No.4, pp.1379-1389, 2017.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증