[논문]초음파 B-모드 영상에서 FCN(fully convolutional network) 모델을 이용한 간 섬유화 단계 분류 알고리즘

강성호; 유선경; 이정은; 안치영

doi:10.9718/jber.2020.41.1.48

Abstract ▼ AI-Helper

In this paper, we deal with a liver fibrosis classification problem using ultrasound B-mode images. Commonly representative methods for classifying the stages of liver fibrosis include liver biopsy and diagnosis based on ultrasound images. The overall liver shape and the smoothness and roughness of ...

In this paper, we deal with a liver fibrosis classification problem using ultrasound B-mode images. Commonly representative methods for classifying the stages of liver fibrosis include liver biopsy and diagnosis based on ultrasound images. The overall liver shape and the smoothness and roughness of speckle pattern represented in ultrasound images are used for determining the fibrosis stages. Although the ultrasound image based classification is used frequently as an alternative or complementary method of the invasive biopsy, it also has the limitations that liver fibrosis stage decision depends on the image quality and the doctor's experience. With the rapid development of deep learning algorithms, several studies using deep learning methods have been carried out for automated liver fibrosis classification and showed superior performance of high accuracy. The performance of those deep learning methods depends closely on the amount of datasets. We propose an enhanced U-net architecture to maximize the classification accuracy with limited small amount of image datasets. U-net is well known as a neural network for fast and precise segmentation of medical images. We design it newly for the purpose of classifying liver fibrosis stages. In order to assess the performance of the proposed architecture, numerical experiments are conducted on a total of 118 ultrasound B-mode images acquired from 78 patients with liver fibrosis symptoms of F0~F4 stages. The experimental results support that the performance of the proposed architecture is much better compared to the transfer learning using the pre-trained model of VGGNet.

주제어

표/그림 (6)

그림 그림 1. 제안된 신경망 모델의 구조 Fig. 1. The architecture of the proposed neural network model
그림 그림 2. 제안된 신경망 모델에 의해 분류된 Class 0 (F0/F1) 에 대한 결과 Fig. 2. The result classified by the proposed neural network model for Class 0 (F0/F1)
표 표 1. 제안된 신경망 모델에 10-fold 교차 검증을 적용한 결과 Table 1. Accuracy of the proposed neural network model with 10-fold cross-validation
그림 그림 3. 제안된 신경망 모델에 의해 분류된 Class 1 (F2/F3) 에 대한 결과 Fig. 3. The result classified by the proposed neural network model for Class 1 (F2/F3)
그림 그림 4. 제안된 신경망 모델에 의해 분류된 Class 2 (F4) 에 대한 결과 Fig. 4. The result classified by the proposed neural network model for Class 2 (F4)
그림 그림 5. 제안된 신경망 모델에 의해 분류된 Class 1 (F2/F3) 에 대한 결과 (2) Fig. 5. The result classified by the proposed neural network model for Class 1 (F2/F3)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

일반적으로 딥 러닝 기반의 분류 방법의 성능은 많은 양의 영상 데이터를 이용하여 학습을 하여야 높은 정확도의 우수한 성능을 갖게 된다. 본 연구에서는 초음파 B-모드 영상을 사용하여 간 섬유화 단계를 분류하기 위한 딥 러닝 방법을 제안하되, 제한된 양의 비교적 적은 영상 데이터를 가지고 학습하여도 분류 정확도를 최대화하는 신경망 모델을 제안 하였다. 제안된 신경망 모델은 U-net 구조를 기반으로 하며, 초음파 B-모드 영상에서 간의 전체적인 모양과 스페클 패턴을 반영하는 정확한 분할을 통해 분류 성능을 향상 시키도록 설계되었다.

제안 방법

이 연구에서는 영상 분류 CNN 모델로 잘 알려진 VGGNet의 사전 학습된 모델을 재사용하기 위해 전이학습(TL, transfer learning)을 이용하였고, 분류 성능을 향상시키기 위해 VGGNet의 마지막 분류 단계에서 FC(fully connected) 레이어를 추가하였다. 279장의 초음파 B-모드 영상에서 섬유화 단계에 따라 다르게 표현되는 간 조직의 특성을 세개의 카테고리(F0, F1~F3, F4)로 분류하였고, 데이터 보강(data augmentation)에 의해 생성된 1674장의 70%를 간 섬유화 단계 분류를 위해 학습시켰다. 또한 간 섬유화 분류와 유사한 연구로서 CT영상에서 간암 병변 분류를 위한 딥 러닝 연구결과가 발표되었는데[10], VGGNet와 AlexNet의 사전 학습된 모델을 재사용하는 전이학습 방법을 이용하였고, 간에 양성종양과 악성종양이 포함된 3,024장의 CT영상 중 대략 67%의 영상을 학습시킨 후 양성종양과 악성종양을 분류하도록 하였다.
279장의 초음파 B-모드 영상에서 섬유화 단계에 따라 다르게 표현되는 간 조직의 특성을 세개의 카테고리(F0, F1~F3, F4)로 분류하였고, 데이터 보강(data augmentation)에 의해 생성된 1674장의 70%를 간 섬유화 단계 분류를 위해 학습시켰다. 또한 간 섬유화 분류와 유사한 연구로서 CT영상에서 간암 병변 분류를 위한 딥 러닝 연구결과가 발표되었는데[10], VGGNet와 AlexNet의 사전 학습된 모델을 재사용하는 전이학습 방법을 이용하였고, 간에 양성종양과 악성종양이 포함된 3,024장의 CT영상 중 대략 67%의 영상을 학습시킨 후 양성종양과 악성종양을 분류하도록 하였다.
이 연구에서는 데이터 양이 매우 적은 경우 제한된 조건을 극복하기 위한 분류 방법에 초점을 맞추었다. 분할을 위한 딥 러닝 구조로 잘 알려진 U-net 구조를 분할이 아닌 분류를 위한 목적으로 활용하고자 신경망을 재정의하 였으며, 적은 양의 데이터에 대해 높은 정확도를 갖는 우수한 성능의 U-net 구조를 제안하였다. 특히 제안된 모델을 통해 Gradient-weighted Class Activation Mapping (Grad-그림 5.
최근 딥 러닝을 이용한 간 섬유증 진단 방법에 대한 연구가 소개되었는데, 탄성영상이 아닌 초음파 B-모드에 딥 러닝을 적용한 분류 방법을 제안하였다[9]. 이 연구에서는 영상 분류 CNN 모델로 잘 알려진 VGGNet의 사전 학습된 모델을 재사용하기 위해 전이학습(TL, transfer learning)을 이용하였고, 분류 성능을 향상시키기 위해 VGGNet의 마지막 분류 단계에서 FC(fully connected) 레이어를 추가하였다. 279장의 초음파 B-모드 영상에서 섬유화 단계에 따라 다르게 표현되는 간 조직의 특성을 세개의 카테고리(F0, F1~F3, F4)로 분류하였고, 데이터 보강(data augmentation)에 의해 생성된 1674장의 70%를 간 섬유화 단계 분류를 위해 학습시켰다.
본 연구에서는 초음파 B-모드 영상을 사용하여 간 섬유화 단계를 분류하기 위한 딥 러닝 방법을 제안하되, 제한된 양의 비교적 적은 영상 데이터를 가지고 학습하여도 분류 정확도를 최대화하는 신경망 모델을 제안 하였다. 제안된 신경망 모델은 U-net 구조를 기반으로 하며, 초음파 B-모드 영상에서 간의 전체적인 모양과 스페클 패턴을 반영하는 정확한 분할을 통해 분류 성능을 향상 시키도록 설계되었다. 제안된 모델의 성능을 평가하기 위해, 비교적 적은 수의 영상 데이터 셋을 이용하여 VGGNet의사전 학습된 모델을 재사용하는 전이학습 방법에 의해 얻어진 결과와 비교 및 분석하고자 하였다.

대상 데이터

또한, 두 명의 임상 전문가들이 영상 라벨링 소프트웨어(Korea Copyright Commission No. C-2019-012160)를 이용하여 분류한 간 영역 라벨 영상이 제안된 모델의 학습을 위해 분류된 간 섬유증 영상과 함께 사용되었다. 이 연구에서는 제안된 모델의 분류 결과로서 3개의 클래스: Class 0 (F0/F1), Class 1 (F2/F3), Class 2 (F4)를 고려하였다.
특히 VGGNet 모델은 16개와 19개의 층으로 구성된 두가지의 모델이 있는데 이들 모두를 비교하기 위해 사용하였다. 각 모델들의 학습을 위한 데이터 셋으로는, 충남대학교병원에서간 섬유증 증상이 있는 78명의 환자로부터 획득된 총 118장의 B-모드 초음파 영상을 이용하여 수치 실험을 수행하 였다. F0부터 F4단계의 간 섬유증 증상이 있는 경우에 대해서는 생검을 통해 확인되었으며, F0, F1, F2, F3 및 F4 단계의 영상의 수는 각각 20, 20, 21, 34 및 23장이다.

데이터처리

영상 데이터는 훈련과 테스트를 위해 90:10의 비율로 무작위로 나누었고 10-fold로 분할하여 교차 검증(cross-validation)을수행하였다. 훈련된 이미지의 이동(shifting), 회전(rotating) 및 스케일링(scaling)과 같은 일반적인 데이터 보강이 제안된 모델을 훈련시키는데 사용되었다.
이 논문에서는 제안된 신경망 모델의 성능을 확인하기 위해 사전 훈련된 VGGNet 모델을 사용한 전이학습 방법과 비교하였다. 16개의 층으로 구성된 VGGNet 모델과 19개의 층으로 구성된 VGGNet 모델 각각에 대해 전이학습 방법을 적용하여 간 섬유화 단계 분류 성능을 확인하였는데, 두 경우에서는 초음파 B-모드 영상의 수가 부족하여 높은 정확 도의 분류 결과를 얻을 수 없었고 40% 미만의 정확도를 보였다.
제안된 모델의 성능을 검증하기 위해 사전에 훈련된 VGGNet 모델을 사용한 전이학습의 성능과 비교하였다. 특히 VGGNet 모델은 16개와 19개의 층으로 구성된 두가지의 모델이 있는데 이들 모두를 비교하기 위해 사용하였다.
제안된 신경망 모델은 U-net 구조를 기반으로 하며, 초음파 B-모드 영상에서 간의 전체적인 모양과 스페클 패턴을 반영하는 정확한 분할을 통해 분류 성능을 향상 시키도록 설계되었다. 제안된 모델의 성능을 평가하기 위해, 비교적 적은 수의 영상 데이터 셋을 이용하여 VGGNet의사전 학습된 모델을 재사용하는 전이학습 방법에 의해 얻어진 결과와 비교 및 분석하고자 하였다.

이론/모형

훈련된 이미지의 이동(shifting), 회전(rotating) 및 스케일링(scaling)과 같은 일반적인 데이터 보강이 제안된 모델을 훈련시키는데 사용되었다. 앞에서 설명한 것처럼, 손실 함수로서 이진 교차 엔트로피(binary cross entropy) 가 사용되었고, 손실 함수를 최소화하기 위해 ADADELTA Optimizer[13]가 적용되었으며, 총 250 에폭(epoch)이 실행되었다.

성능/효과

이 논문에서는 제안된 신경망 모델의 성능을 확인하기 위해 사전 훈련된 VGGNet 모델을 사용한 전이학습 방법과 비교하였다. 16개의 층으로 구성된 VGGNet 모델과 19개의 층으로 구성된 VGGNet 모델 각각에 대해 전이학습 방법을 적용하여 간 섬유화 단계 분류 성능을 확인하였는데, 두 경우에서는 초음파 B-모드 영상의 수가 부족하여 높은 정확 도의 분류 결과를 얻을 수 없었고 40% 미만의 정확도를 보였다. 이러한 이유로, 데이터의 양을 늘리기 위해 간 전체 영상으로부터 추출된 패치 영상을 사용하였고, 패치 영상을 이용하여 VGGNet의 사전 훈련된 모델을 사용한 전이학습 방법의 경우 간 섬유화 단계 분류의 평균 정확도가 65% 미만으로 나타났다.
5. The result classified by the proposed neural network model for Class 1 (F2/F3) CAM)을 사용하지 않고도 분할된 결과를 통해 분류가 제대로 되었는지 정확도에 대한 식별이 어느 정도 가능함을 확인할수 있었다.
16개의 층으로 구성된 VGGNet 모델과 19개의 층으로 구성된 VGGNet 모델 각각에 대해 전이학습 방법을 적용하여 간 섬유화 단계 분류 성능을 확인하였는데, 두 경우에서는 초음파 B-모드 영상의 수가 부족하여 높은 정확 도의 분류 결과를 얻을 수 없었고 40% 미만의 정확도를 보였다. 이러한 이유로, 데이터의 양을 늘리기 위해 간 전체 영상으로부터 추출된 패치 영상을 사용하였고, 패치 영상을 이용하여 VGGNet의 사전 훈련된 모델을 사용한 전이학습 방법의 경우 간 섬유화 단계 분류의 평균 정확도가 65% 미만으로 나타났다.

후속연구

딥 러닝 방법에 필수적 조건 이라고 할 수 있는 방대한 양의 데이터 셋을 이용하여 학습을 수행하지 않았지만, 적은 양의 데이터 셋의 제한된 조건에 서도 주목할만한 성능을 보여주었다. 제안된 신경망 모델의 학습을 위한 데이터가 추가로 확보가 된다면 확실히 더욱 높은 정확도의 간 섬유화 단계 분류가 가능할 것이라고 판단되며, 이 논문에서는 클래스를 3단계로 나누었지만 향후 에는 4단계 혹은 5단계로 더욱 세분화하여 분류 성능에 대한 실험을 수행하고자 한다.
또한 U-net 구조에 의한 분할 결과가 분류 결과의 성능과 관련되어 있음을 확인한 이번 연구는 U-net 구조의 활용 가능성을 확장시키는데 의미가 있다고 판단된다. 향후 연구에서는 그 관련성을 보다 엄밀하게 분석할 필요가 있다고 판단되며, 이와 더불어 제안된 방법에 대해 임상 적용 가능성 평가를 추가로 수행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	간 섬유화의 원인은 무엇인가?	바이러스 간염이나 알코올 등에 의해 간이 손상을 받게 되면 간 섬유화가 진행된다[1]. 이러한 간 섬유화는 적절한 시기에 진단 및 치료되지 않으면 간경변으로 진행되고 정상 간으로 회복이 어려워진다[2,3].
	U-net이란?	U-net은 의료영상에서 특정 객체를 빠르고 정확하게 분할(segmentation)하기 위한 신경망으로 잘 알려져 있다[11]. 제안된 분류 신경망 모델은 간 섬유증 단계를 분류하기 위해 U-net을 기반으로 설계하였고, 기존 U-net과 비교하여 외형적으로 보기에는 매우 유사해보이나 다음 세 부분에서 차이점을 갖는다.
	간 섬유화의 진단 방법은 무엇이 있는가?	따라서 간 섬유화의 정도를 정확히 진단하는 것은 만성 간질환 환자의 치료 계획에 매우 중요하다[2]. 대표적인 진단 방법으로 MRI, CT 혹은 초음파를 이용한 영상검사와 혈액검사가 있으며, 이와 같은 검사를 통해 정확한 진단이 어려울 경우에 생검을 통한 조직검사까지 수행하여 진단하게 된다. 하지만 생검은 침습적 시술이며 환자에게 통증과 불편함을 주기 때문에 생검을 시행하지 않고 정확하게 진단하는 방법이 지속적으로 요구되고 있다.

참고문헌 (13)

Kennedy P, Wagner M, Castera L, Hong CW, Johnson CL, Sirlin CB, Taouli B. Quantitative Elastography Methods in Liver Disease: Current Evidence and Future Directions. Radiology. 2018;286(3):738-63.

상세보기
Lee JE, Shin KS, Cho JS, You SK, Min JH, Kim KH, Song IS, Cheon KS. Non-invasive Assessment of Liver Fibrosis with ElastPQ: Comparison with Transient Elastography and Serologic Fibrosis Marker Tests, and Correlation with Liver Pathology Results. Ultrasound Med Biol. 2017;43(11):2515-21.

상세보기
Zhuang Y, Ding H, Zhang Y, Sun H, Xu C, Wang W. Twodimensional Shear-Wave Elastography Performance in the Noninvasive Evaluation of Liver Fibrosis in Patients with Chronic Hepatitis B: Comparison with Serum Fibrosis Indexes. Radiology. 2017; 283(3):873-82.

상세보기
Sandrin L, Fourquet B, Hasquenoph JM, Yon S, Fournier C, Mal F, Christidis C, Ziol M, Poulet B, Kazemi F, Beaugrand M, Palau R. Transient elastography: a new noninvasive method for assessment of hepatic fibrosis. Ultrasound Med Biol. 2003;29(12):1705-13.

상세보기
Castera L, Vergniol J, Foucher J, Le Bail B, Chanteloup E, Haaser M, Darriet M, Couzigou P, De Ledinghen V. Prospec-tive comparison of transient elastography, Fibrotest, APRI and liver biopsy for the assessment of fibrosis in chronic hepatitis C. Gastroenterology. 2005;128(2):343-50.

상세보기
Nightingale K, McAleavey S, Trahey G. Shear-wave generation using acoustic radiation force: in vivo and ex vivo results. Ultrasound in Medicine & Biology. 2003;29(12):1715-23.

상세보기
Bercoff J, Tanter M, Fink M. Supersonic shear imaging: a new technique for soft tissue elasticity mapping. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control. 2004;51(4):396-409.

상세보기
Mo JA. Shear wave elastography: a systematic review and meta-analysis. Journal of the Korean Medical Association. 2016;59(7):529-35.

상세보기
Meng D, Zhang L, Cao G, Cao W, Zhang G, Hu B. Liver Fibrosis Classification Based on Transfer Learning FCNet for Ultrasound Images. IEEE Access. 2017;5:5804-10.
Choi BH, Kim YJ, Choi SJ, Kim KG. Malignant and Benign Classification of Liver Tumor in CT according to Data pre-processing and Deep running model. J Biomed Eng Res. 2018; 39(6):229-36.

원문보기 상세보기
Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer. 2015;9351:234-41.
Selvaraju RR, Cogswell M, Das A, Vedantam R, Parikh D, Batra D. Grad-CAM: visual explanations from deep networks via gradient-based localization. International Conference on Computer Vision (ICCV). 2017;618-26.
Zeiler MD. ADADELTA: An adaptive learning rate method. arXiv preprint 2012; arXiv:1212.5701.

이 논문을 인용한 문헌

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

초음파 B-모드 영상에서 FCN(fully convolutional network) 모델을 이용한 간 섬유화 단계 분류 알고리즘
A Fully Convolutional Network Model for Classifying Liver Fibrosis Stages from Ultrasound B-mode Images 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

초음파 B-모드 영상에서 FCN(fully convolutional network) 모델을 이용한 간 섬유화 단계 분류 알고리즘 A Fully Convolutional Network Model for Classifying Liver Fibrosis Stages from Ultrasound B-mode Images 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (6) 모든 표/그림 보기

표/그림 (6) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

초음파 B-모드 영상에서 FCN(fully convolutional network) 모델을 이용한 간 섬유화 단계 분류 알고리즘
A Fully Convolutional Network Model for Classifying Liver Fibrosis Stages from Ultrasound B-mode Images 원문보기

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper