[논문]GAN 기반 고해상도 의료 영상 생성을 위한 연구

고재영; 조백환; 정명진

GAN 기반 고해상도 의료 영상 생성을 위한 연구
GAN-based research for high-resolution medical image generation 원문보기

고재영 (성균관대학교 삼성융합의과학원 디지털헬스학과) , 조백환 (삼성서울병원 스마트헬스케어연구소 AI 연구센터) , 정명진 (삼성서울병원 스마트헬스케어연구소 AI 연구센터)

의료 데이터를 이용하여 인공지능 기계학습 연구를 수행할 때 자주 마주하는 문제는 데이터 불균형, 데이터 부족 등이며 특히 정제된 충분한 데이터를 구하기 힘들다는 것이 큰 문제이다. 본 연구에서는 이를 해결하기 위해 GAN(Generative Adversarial Network) 기반 고해상도 의료 영상을 생성하는 프레임워크를 개발하고자 한다. 각 해상도 마다 Scale 의 Gradient 를 동시에 학습하여 빠르게 고해상도 이미지를 생성해낼 수 있도록 했다. 고해상도 이미지를 생성하는 Neural Network 를 고안하였으며, PGGAN, Style-GAN 과의 성능 비교를 통해 제안된 모델이 양질의 고해상도 의료영상 이미지를 더 빠르게 생성할 수 있음을 확인하였다. 이를 통해 인공지능 기계학습 연구에 있어서 의료 영상의 데이터 부족, 데이터 불균형 문제를 해결할 수 있는 Data augmentation 이나, Anomaly detection 등의 연구에 적용할 수 있다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 의료 데이터 특성상 다른 분야의 데이터에 비해 데이터량이 상대적으로 부족하므로 데이터량이 적은 상태로 학습을 진행할 시 학습이 불안정하게 진행이 될 우려가 크다. 따라서 우리는 본 연구에서 의료 영상 데이터의 근본적 문제인 데이터 불균형 문제와 데이터량 부족 문제를 해결하기 위해 GAN 기반 고해상도 의료 영상 이미지를 생성하는 연구를 진행했다.
본 논문에서는 PA Chest radiograph 데이터를 이용하여 고해상도 이미지를 만들도록 연구를 진행했다. 제안한 모델은 PGGAN 구조에 Self Attention Module 을 적용하여, 기존의 모델에 비해 안정적으로 (그림 5)와 같이 고해상도 의료 영상을 생성하는 것을 확인하였다.
사용된 데이터는 측면 방사선 이미지(Lateral Chest radiograph)와 전면 방사선 영상(Posteroanterior Chest radiograph)으로 구성 되어 있다. 본 연구에서는 전면 방사선 사진만 필요하므로 전면 방사선 사진인 PA Chest radiograph 로만 연구를 진행했다. 최종적으로 본 연구에서는 40,940 개의 데이터로 연구를 진행했다.

제안 방법

본 연구에는 제안한 모델을 사용한 결과는 (그림 4)와 같이 안정적으로 학습이 진행된 것 을 확인할 수 있었다. GAN 모델의 성능을 정량적으로 확인하기 위해 〈표 1〉과 같이 Epoch 마다 FID(Fréchet Inception distance)[8] Score 를 측정하였다. 기존 GAN Model 들에 비해 제안한 Self Attention PGGAN 이 FID Score 가 가장 낮았으며 특히 상대적으로 다른 모델들에 비해 Epoch 이 낮아도 안정적이고 빠르게 데이터 생성을 하고 있다는 것을 확인할 수 있었다.
PGGAN[4]과 Style-GAN 모델을 사용해서 CelebA-HQ 데이터로 학습을 진행한 결과는 (그림 2)와 같이 보다 안정적으로 학습이 진행되었지만 본 연구에서 사용한 PA Chest radiograph 으로 학습을 진한 결과는 (그림 3)와 같이 학습이 불안정하게 학습이 진행되어 학습 영상과 전혀 다른 형태의 영상을 생성하였다.
본 연구에서는 SAGAN[9]에서 Self Attention을 적용한 것과 마찬가지로, PGGAN 모델 구조를 응용해서 각 해상도를 담당하는 중간 계층에 SE Block[2]을 적용시켰다. 그 후 1x1 convolution layer 를 통해 각 해상도 이미지의 Feature 를 추출해서 최종적으로 (그림 1)와 같이 주줄된 Feature 들이 Discriminator 의 입력으로 들어가는 구조로 학습을 진행했다.
. 또한 PGGAN 의 구조를 그대로 사용하기 때문에 Feature vector 를 RGB Color 로 만들어 주는 layer 를 적용하기 위해 Gray Scale 영상을 duplication을 통해 3 채널 영상인 RGB 로 변경하였으며, 메모리를 효율적으로 사용하기 위해 DICOM 이미지를 Pickle 형태로 변환하였다..
방사선 전문가들은 촬영된 방사선 영상을 판독할 때 Histogram 을 조절해서 판독하기 적절한 상태로 변경하여 판독을 진행한다. 본 연구에 사용된 영상도 동일한 효과를 적 용하기 위해 Contrast Limited Adaptive Histogram Equalization 을 이용하여 방사선 영상의 전처리를 진행했다.
방사선 전문가들은 촬영된 방사선 영상을 판독할 때 Histogram 을 조절해서 판독하기 적절한 상태로 변경하여 판독을 진행한다. 본 연구에 사용된 영상도 동일한 효과를 적 용하기 위해 Contrast Limited Adaptive Histogram Equalization 을 이용하여 방사선 영상의 전처리를 진행했다. 또한 원본 방사선 영상 크기의 5%만큼 Random Crop 을 적 용한 후 512x512 크기로 resize를 해주었다.
본 연구에서는 SAGAN[9]에서 Self Attention을 적용한 것과 마찬가지로, PGGAN 모델 구조를 응용해서 각 해상도를 담당하는 중간 계층에 SE Block[2]을 적용시켰다. 그 후 1x1 convolution layer 를 통해 각 해상도 이미지의 Feature 를 추출해서 최종적으로 (그림 1)와 같이 주줄된 Feature 들이 Discriminator 의 입력으로 들어가는 구조로 학습을 진행했다.

대상 데이터

(그림 3) PGGAN 모델에 Chest x-ray 학습 결과 불한정하게 학습 된 GAN 의 512x512 생성 이미지.
삼성서울병원에서 촬영한 흉부 방사선 영상은 40,301명의 환자에서 80,675 개의 데이터로 구성된 DICOM 형식의 익명화된 흉부 방사선 데이터 셋이다. 사용된 데이터는 측면 방사선 이미지(Lateral Chest radiograph)와 전면 방사선 영상(Posteroanterior Chest radiograph)으로 구성 되어 있다. 본 연구에서는 전면 방사선 사진만 필요하므로 전면 방사선 사진인 PA Chest radiograph 로만 연구를 진행했다.
삼성서울병원에서 촬영한 흉부 방사선 영상은 40,301명의 환자에서 80,675 개의 데이터로 구성된 DICOM 형식의 익명화된 흉부 방사선 데이터 셋이다. 사용된 데이터는 측면 방사선 이미지(Lateral Chest radiograph)와 전면 방사선 영상(Posteroanterior Chest radiograph)으로 구성 되어 있다.
본 연구에서는 전면 방사선 사진만 필요하므로 전면 방사선 사진인 PA Chest radiograph 로만 연구를 진행했다. 최종적으로 본 연구에서는 40,940 개의 데이터로 연구를 진행했다.

성능/효과

GAN 모델의 성능을 정량적으로 확인하기 위해 〈표 1〉과 같이 Epoch 마다 FID(Fréchet Inception distance)[8] Score 를 측정하였다. 기존 GAN Model 들에 비해 제안한 Self Attention PGGAN 이 FID Score 가 가장 낮았으며 특히 상대적으로 다른 모델들에 비해 Epoch 이 낮아도 안정적이고 빠르게 데이터 생성을 하고 있다는 것을 확인할 수 있었다.
본 연구에는 제안한 모델을 사용한 결과는 (그림 4)와 같이 안정적으로 학습이 진행된 것 을 확인할 수 있었다. GAN 모델의 성능을 정량적으로 확인하기 위해 〈표 1〉과 같이 Epoch 마다 FID(Fréchet Inception distance)[8] Score 를 측정하였다.
본 연구에서는 4 가지 손실 함수(Minmax Loss, WGAN-GP Loss[l], Hinge Loss, RA-Hinge Loss)를 적용하였고, 전면 흉부 방사선 영상(PA Chest radiograph) 데이터셋에는 RA-Hinge Loss[3] 가 더 빠르고 안정적으로 학습이 진행이 되는 것을 확인하였다.
본 논문에서는 PA Chest radiograph 데이터를 이용하여 고해상도 이미지를 만들도록 연구를 진행했다. 제안한 모델은 PGGAN 구조에 Self Attention Module 을 적용하여, 기존의 모델에 비해 안정적으로 (그림 5)와 같이 고해상도 의료 영상을 생성하는 것을 확인하였다.

후속연구

본 연구에서 사용된 모델은 Data Augmentation, Anomaly Detection 등 의료 영상을 이용한 다양한 인공지능 기계학습 연구에 적용 가능하다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

GAN 기반 고해상도 의료 영상 생성을 위한 연구
GAN-based research for high-resolution medical image generation 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

GAN 기반 고해상도 의료 영상 생성을 위한 연구 GAN-based research for high-resolution medical image generation 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

GAN 기반 고해상도 의료 영상 생성을 위한 연구
GAN-based research for high-resolution medical image generation 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper