[논문]NASNet을 이용한 이미지 시맨틱 분할 성능 개선

김형석; 류기윤; 김래현

doi:10.9713/kcer.2019.57.2.274

[국내논문] NASNet을 이용한 이미지 시맨틱 분할 성능 개선
Improved Performance of Image Semantic Segmentation using NASNet 원문보기

Korean chemical engineering research = 화학공학, v.57 no.2, 2019년, pp.274 - 282

김형석 (서울과학기술대학교 신에너지공학과) , 류기윤 (서울과학기술대학교 화공생명공학과) , 김래현 (서울과학기술대학교 화공생명공학과)

초록
AI-Helper

최근 빅데이터 과학은 사회현상 모델링을 통한 예측은 물론 강화학습과 결합하여 산업분야 자동제어까지 응용범위가 확대되고 있다. 이러한 추세 가운데 이미지 영상 데이터 활용연구는 화학, 제조, 농업, 바이오산업 등 다양한 산업분야에서 활발히 진행되고 있다. 본 논문은 신경망 기술을 활용하여 영상 데이터의 시맨틱 분할 성능을 개선하고자, U-Net의 계산효율성을 개선한 DeepU-Net 신경망에 AutoML 강화학습 알고리즘을 구현한 NASNet을 결합하였다. BRATS2015 MRI 데이터을 활용해 성능 검증을 수행하였다. 학습을 수행한 결과 DeepU-Net은 U-Net 신경망 구조보다 계산속도 향상 뿐 아니라 예측 정확도도 동등 이상의 성능이 있음을 확인하였다. 또한 이미지 시맨틱 분할 성능을 개선하기 위해서는 일반적으로 적용하는 드롭아웃 층을 빼고, DeepU-Net에 강화학습을 통해 구한 커널과 필터 수를 신경망의 하이퍼 파라미터로 선정했을 때 DeepU-Net보다 학습정확도는 0.5%, 검증정확도는 0.3% 시맨틱 분할 성능을 개선할 수 있었다. 향후 본 논문에서 시도한 자동화된 신경망을 활용해 MRI 뇌 영상진단은 물론, 열화상 카메라를 통한 이상진단, 비파괴 검사 진단, 화학물질 누출감시, CCTV를 통한 산불감시 등 다양한 분야에 응용될 수 있을 것으로 판단된다.

Abstract ▼ AI-Helper

In recent years, big data analysis has been expanded to include automatic control through reinforcement learning as well as prediction through modeling. Research on the utilization of image data is actively carried out in various industrial fields such as chemical, manufacturing, agriculture, and bio-industry. In this paper, we applied NASNet, which is an AutoML reinforced learning algorithm, to DeepU-Net neural network that modified U-Net to improve image semantic segmentation performance. We used BRATS2015 MRI data for performance verification. Simulation results show that DeepU-Net has more performance than the U-Net neural network. In order to improve the image segmentation performance, remove dropouts that are typically applied to neural networks, when the number of kernels and filters obtained through reinforcement learning in DeepU-Net was selected as a hyperparameter of neural network. The results show that the training accuracy is 0.5% and the verification accuracy is 0.3% better than DeepU-Net. The results of this study can be applied to various fields such as MRI brain imaging diagnosis, thermal imaging camera abnormality diagnosis, Nondestructive inspection diagnosis, chemical leakage monitoring, and monitoring forest fire through CCTV.

주제어

표/그림 (11)

그림 Fig. 1. U-Net architecture [5].
그림 Fig. 2. Architecture difference between U-Net and DeepU-Net.
그림 Fig. 3. Sample images of BRATS2015 Data Set [9].
그림 Fig. 4. Convert two-dimensional images to three-dimensional images.
그림 Fig. 5. U-Net vs. DeepU-Net Validation Accuracy (sample=10,000).
표 Table 1. Simulation environments
그림 Fig. 6. Comparison of Train Accuracy in Scenarios 1, 2, and 3.
그림 Fig. 7. Comparison of Verification Accuracy in Scenarios 1, 2, and 3 (with loss).
그림 Fig. 8. Comparison of Verification Accuracy in Scenarios 3 and Deep U-Net.
그림 Fig. 9. Scenario 3 architecture.
그림 Fig. 10. Filter and number of channels through NASNet search.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 인공 신경망 구조들의 장점들을 조합해 기존 신경망 성능을 개선했던 구글의 Rainbow 논문[11]과 같이 U-Net과 DeepU-Net을 비교하였고, DeepU-Net의 필터와 채널은 강화학습을 통해 찾은 하이퍼 파라미터를 적용하여, 이미지 시맨틱 분할 성능을 개선하고자 하였다.
본 연구에서는 전 세계적으로 공개된 BRATS2015의 뇌의 자기공명영상(Magnetic Resonance Imaging: MRI) 데이터를 대상으로 정상조직과 암조직의 이미지 시맨틱 분할 성능을 개선하고자 하였다. 이 자료는 전체 274명의 3차원 뇌 MRI 영상이고, 2차원 이미지로는 총 42,470(학습용 25,482, 검증용 16,988)장의 영상자료로 구성되어있다[9].

제안 방법

Table 1에서 제시된 것과 같은 제한된 컴퓨팅 환경에서 NASNet을 사용하고자 메모리 오버플로(Overflow)로 시스템이 정지하더라도 학습이 완료된 단계부터 시작하도록 기존 코드를 수정하여 적용하였다. 또한 과적합 문제를 해소하고 학습시간을 단축하기 위해 기존 DeepU-Net에 드롭아웃 코드를 적용하였다.
U-Net과 DeepU-Net 신경망들의 하이퍼 파라메타를 최적화하여 의료영상 진단의 정확도를 개선하기 위해 구글의 NASNet 강화학습 네트워크 구조를 도입하였다.
NASNet 기본원리는 변수로 지정된 커널과 필터의 수 등 하이퍼파라미터를 처음에는 각 층마다 임의로 설정하여 학습을 진행한다. 그 결과로 얻어진 정확도를 평가하여 보상을 정하고, 그 보상이 커지는 방향으로 하이퍼 파라미터를 다시 설정하고, 다시 학습을 실시하는 방법으로 최적의 필터 수와 커널 수를 찾는다.
Table 1에서 제시된 것과 같은 제한된 컴퓨팅 환경에서 NASNet을 사용하고자 메모리 오버플로(Overflow)로 시스템이 정지하더라도 학습이 완료된 단계부터 시작하도록 기존 코드를 수정하여 적용하였다. 또한 과적합 문제를 해소하고 학습시간을 단축하기 위해 기존 DeepU-Net에 드롭아웃 코드를 적용하였다.
또한 라벨(1: Necrosis, 2: Edema, 3: Enhancing tumor, 4: Non-enhancing tumor)이 붙여진, OT영상도 같은 방법으로 전처리 후 240×240 크기의 이미지 인덱스패치를 제작하였다.
본 연구에서 고려한 신경망 모델 구현과 시뮬레이션 학습 환경은 Python 3.5, cuDNN 9.0, Cudnn 7.5, Tensorflow 1.7, Keras 2.2을 사용하여 수행하였다.
신경망 기술을 활용하여 이미지 시맨틱 분할 성능을 개선하고자, U-Net을 개선한 DeepU-Net 신경망에 AutoML 강화학습 알고리즘인 NASNet을 적용하였다. Fig.
이미지 데이터를 정규화 함으로써 신경망의 성능 향상을 기대할 수 있다. 이에 따라 데이터 형태(HGG, LGG, TEST)와 질병양상별로 각각의 흑백 디지털 이미지(0~255) 범위의 평균과 표준편차를 구해 정규표준편차 형태의 확률분포 공간이 될 수 있도록 정규화 하였다.
전처리가 끝난 데이터는 각각 240×240 크기의 이미지 패치로 4채널(Flair, T1, T1C, T2)로 만들었다.
U-Net이 일반적인 합성곱 신경망 구조와 다른 점은 압축과 확장을 연이어 수행하고, 이때 발생하는 손실을 막기 위해 압축했던 데이터를 복사하여 전치합성곱행렬(Transposed convolution matrix)로 확장하는 층을 서로 이어준다는 점이다. 즉, 좀 더 정확한 이미지 분할 성능을 위해 압축 네트워크에서 추출된 특징을 복사와 잘라내기(Copy and crop)를 실시해 붙임연결(Concat) 하는 구조를 사용한다.
이미지의 히스토그램이 특정 범위에만 집중될 경우 해당 이미지 투과도(image contrast)가 저하되고 신경망 성능에 좋지 않은 영향을 미치게 된다. 히스토그램 균일화를 사용하여 특정 영역에 몰려있는 히스토그램을 이미지의 전 세기 공간에 고루 분포할 수 있도록 보정하였다.

대상 데이터

그리고 각각의 학습에 사용된 영상은 5가지(FLAIR, T1, T1C, T2, OT)로 가공되어 있으며, 실험을 위한 영상은 OT를 제외한 4가지로 제공된다. 여기서(T1 : T1 MRI 강조영상), (T2 : T2 MRI 강조영상), (T1C : 조영제 투여 후 T1 MRI 강조영상), (FLAIR : 180도 반전펄스를 먼저 가해 반전회복(inversion recovery)한 MRI 영상), (OT : 뇌종양에 해당하는 부분이 태그된 MRI 영상)이다.
42% 높다. 본 연구에서 사용한 검증데이터는 전체 데이터 중 40%(16,988장)를 검증용 데이터로 만들어 시험한 결과이다.
하지만 신경망에 입력되는 이미지 세기범위가 일정해야 정확한 예측값을 기대할 수 있다. 본 연구에서는 Medpy의 명암 표준화 패키지[15]를 사용하여 BRATS2015 영상의 명암을 보정하였다.
영상 학습을 위해서 1개의 3차원 이미지를 155개의 240×240의 크기를 가진 2차원 이미지로 나눈 뒤, 아래에 설명한 대로 전처리과정을 거쳐서 학습에 이용했다.
본 연구에서는 전 세계적으로 공개된 BRATS2015의 뇌의 자기공명영상(Magnetic Resonance Imaging: MRI) 데이터를 대상으로 정상조직과 암조직의 이미지 시맨틱 분할 성능을 개선하고자 하였다. 이 자료는 전체 274명의 3차원 뇌 MRI 영상이고, 2차원 이미지로는 총 42,470(학습용 25,482, 검증용 16,988)장의 영상자료로 구성되어있다[9].
또한 라벨(1: Necrosis, 2: Edema, 3: Enhancing tumor, 4: Non-enhancing tumor)이 붙여진, OT영상도 같은 방법으로 전처리 후 240×240 크기의 이미지 인덱스패치를 제작하였다. 이와 같이 MRI 영상데이터를 전처리를 통해(4, 240, 240)의 차원을 가지는 텐서 학습데이터를 자동 생성하였다. 학습데이터와 마찬가지로 라벨데이터도(4, 240, 240)의 차원을 가진다.

이론/모형

2차원 합성곱(Convolution 2D)의 경우 3×3의 합성곱 필터를 사용하고, 활성화 함수로 ReLU(Rectified linear unit) 함수를 사용한다.
기존의 U-Net에서는 학습을 위해 사용된 손실함수는 크로스 엔트로피 손실 함수(Cross entropy loss function)이다. 본 연구에서 학습에 사용한 손실함수는 다이스손실계수(Dice loss coefficient)이고, 메트릭스 함수(Metrics function)는 다이스 계수이다. 다이스 계수는 식 (1)과 같다.
1에서 4, 64, 128, 256, 512, 1024는 채널수이고, 240×240는 입력 이미지 크기를 나타낸다. 압축과 확장하는 정도는 DeVries과 Taylor 등이 제시한 방법을 사용하였다[15]. 이 경우에 U-Net 신경망 층에서 맥스풀링을 한 경우 채널수가 2배로 증가하고, 확장 합성곱으로 확장하게 될 경우 채널수가 반으로 줄어든다.

성능/효과

신경망 기술을 활용하여 이미지 시맨틱 분할 성능을 개선하고자, U-Net을 개선한 DeepU-Net 신경망에 AutoML 강화학습 알고리즘인 NASNet을 적용하였다. Fig. 6, 7에서와 같이 이미지 시맨틱 분할 성능을 개선하기 위해서는 일반적으로 적용하는 드롭아웃 구조를 빼고 DeepU-Net에 강화학습을 통해 구한 커널과 필터 수를 신경망의 하이퍼 파라미터로 선정했을 때 DeepU-Net보다 학습정확도는 0.5%, 검증정확도는 0.3% 이미지 시맨틱 분할 성능을 개선할 수 있었다.
본 논문의 결과로부터 DeepUNet이 U-Net보다 적어도 이미지 시맨틱 분할 성능이 동등이상이라고 평가할 수 있다. 결과적으로 DeepU-Net을 사용할 경우 메모리 사용량은 감소하고, 검증정확도는 동등이상의 성능을 확보할 수 있다.
7에서 보는 바와 같이 본 실험에서는 과적합 문제가 없는 것으로 판단된다. 결과적으로 시나리오 3에서 드롭아웃을 빼고 전합성곱 층을 사용하는 것이 가장 좋은 성능을 얻었다.
두 신경망 중 DeepU-Net 검증정확도(0.76)는 U-Net(0.74) 보다 2.7% 좀 더 좋은 성능을 나타내었다. 본 논문의 결과로부터 DeepUNet이 U-Net보다 적어도 이미지 시맨틱 분할 성능이 동등이상이라고 평가할 수 있다.
7% 좀 더 좋은 성능을 나타내었다. 본 논문의 결과로부터 DeepUNet이 U-Net보다 적어도 이미지 시맨틱 분할 성능이 동등이상이라고 평가할 수 있다. 결과적으로 DeepU-Net을 사용할 경우 메모리 사용량은 감소하고, 검증정확도는 동등이상의 성능을 확보할 수 있다.
3% 더 높다. 본 연구에서 사용한 검증데이터는 전체 데이터 중 40%를 검증용 데이터로 만들어 시험한 결과이다.
8과 같다. 시나리오3은 DeepU-Net보다 학습정확도는 0.5%, 검증정확도는 0.3% 더 높다. 본 연구에서 사용한 검증데이터는 전체 데이터 중 40%를 검증용 데이터로 만들어 시험한 결과이다.

후속연구

향후 본 논문의 결과를 통해 MRI 뇌 영상진단은 물론, 열화상 카메라의 이상진단, 비파괴 검사 진단, 화학물질 누출감시, CCTV를 통한 산불감시 등 다양한 분야에 활용될 수 있을 것으로 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	U-Net은 무엇인가?	U-Net은 의료영상 이미지를 분류하기 위해 만들어진 변형된 합성곱 신경망(Convolutional network) 구조를 말한다. U-Net의 특징으로는 맥스풀링(Maxpooling)을 통해 이미지를 압축하고, 확장 합성곱(Up-convolution)을 통해서 이미지를 다시 확장하게 된다.
	UNet이 일반적인 합성곱 신경망 구조와 다른 점은 무엇인가?	UNet이 일반적인 합성곱 신경망 구조와 다른 점은 압축과 확장을 연이어 수행하고, 이때 발생하는 손실을 막기 위해 압축했던 데이터를 복사하여 전치합성곱행렬(Transposed convolution matrix)로 확장하는 층을 서로 이어준다는 점이다. 즉, 좀 더 정확한 이미지 분할 성능을 위해 압축 네트워크에서 추출된 특징을 복사와 잘라내기 (Copy and crop)를 실시해 붙임연결(Concat) 하는 구조를 사용한다.
	확장 합성곱은 어디에 사용되는가?	U-Net의 특징으로는 맥스풀링(Maxpooling)을 통해 이미지를 압축하고, 확장 합성곱(Up-convolution)을 통해서 이미지를 다시 확장하게 된다. 일반적으로 확장 합성곱은 저해상도 이미지를 고해상도 이미지로 변환할 때 사용되는데, 원본 이미지의 모든 픽셀을 분류하기 위해 디코더(Decoder)에서 원본 이미지 크기를 복원하는데 사용된다. UNet이 일반적인 합성곱 신경망 구조와 다른 점은 압축과 확장을 연이어 수행하고, 이때 발생하는 손실을 막기 위해 압축했던 데이터를 복사하여 전치합성곱행렬(Transposed convolution matrix)로 확장하는 층을 서로 이어준다는 점이다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증