[논문]SinGAN 딥러닝 모델을 이용한 넙치 질병 이미지 증강

손현승; 최한석

doi:10.5392/jkca.2021.21.12.322

SinGAN 딥러닝 모델을 이용한 넙치 질병 이미지 증강
Image Augmentation of Paralichthys Olivaceus Disease Using SinGAN Deep Learning Model 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.21 no.12, 2021년, pp.322 - 330

손현승 (목포대학교 컴퓨터공학과) , 최한석 (목포대학교 컴퓨터공학과)

초록
AI-Helper

수산 양식장에서 어류 질병을 초기에 발견하지 못하는 경우 밀폐된 공간 안에서 확산하기 때문에 집단 폐사로 이어질 확률이 매우 높다. 이런 이유로 질병의 조기 발견은 양식업에서 매우 중요하다. 양식장에서 질병의 확산을 막기 위해서는 초기에 병이 든 어류를 자동식별이 가능한 방법이 필요하다. 최근 딥러닝 기반의 어류 질병 자동식별 방법이 많이 사용되고 있는데, 어류의 질병 이미지가 충분하지 않아 객체 식별에 많은 어려움이 있다. 본 논문은 질병 자동식별 예측을 위한 질병 이미지의 부족 문제를 해결하기 위해서 SinGAN 딥러닝 모델을 이용하여 정상 이미지와 질병 이미지를 합성해 다양한 어류 질병 이미지를 자동 생성하는 방법을 제안한다. 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카병, 비브리오증, 림포시스티스에 대해서 SinGAN 기반으로 질병 이미지를 증강한다. 본 연구에서는 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1,320장의 이미지를 생성할 수 있었다.

Abstract ▼ AI-Helper

In modern aquaculture, mass mortality is a very important issue that determines the success of aquaculture business. If a fish disease is not detected at an early stage in the farm, the disease spreads quickly because the farm is a closed environment. Therefore, early detection of diseases is crucial to prevent mass mortality of fish raised in farms. Recently deep learning-based automatic identification of fish diseases has been widely used, but there are many difficulties in identifying objects due to insufficient images of fish diseases. Therefore, this paper suggests a method to generate a large number of fish disease images by synthesizing normal images and disease images using SinGAN deep learning model in order to to solve the lack of fish disease images. We generate images from the three most frequently occurring Paralichthys Olivaceus diseases such as Scuticociliatida, Vibriosis, and Lymphocytosis and compare them with the original image. In this study, a total of 330 sheets of scutica disease, 110 sheets of vibrioemia, and 110 sheets of limphosis were made by synthesizing 10 disease patterns with 11 normal halibut images, and 1,320 images were produced by quadrupling the images.

주제어

표/그림 (12)

그림 그림 1. GAN에 의해 잘못 생성된 예
표 표 1. 양식어의 질병 종류 및 증상
그림 그림 2. SinGAN의 멀티 스케일 파이프라인[11]
그림 그림 3. SinGAN의 싱글 스케일 생성기[11]
그림 그림 4. SinGAN을 사용한 질병 이미지 증강 방법
그림 그림 5. 학습에 사용된 이미지 예시
그림 그림 6. 학습과정의 Generator와 Discriminator의 에러율
그림 그림 7. 입력에 사용된 이미지와 마스크 예시
그림 그림 8. 이미지 합성에 사용된 각 질병 패턴
그림 그림 9. SinGAN으로부터 자동생성된 질병 이미지 예시
그림 그림 10. 합성이미지와 생성된 이미지 비교
표 표 2. 스케일별 입력 및 생성 이미지

AI 본문요약
AI-Helper

문제 정의

이렇게 학습된 하나의 이미지를 무작위 이미지 생성, 고해상도 이미지 생성, Paint-to-image, 합성, 수정의 작업을 수행할 수 있다. 본 논문에서는 SinGAN의 합성 기능을 사용하여 넙치의 질병 이미지를 생성한다. 본 연구에서는 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카 병, 비브리오증, 림포시스티스에 대해서 SinGAN 기반으로 질병 이미지를 증강한다.
본 논문에서는 기존 GAN의 이러한 문제를 해결하기 위해서 SinGAN을 기반으로 질병 이미지 생성 방법을 제안한다. SinGAN은 여러 이미지를 사용하지 않고 오직 하나의 이미지만으로 학습하는 특징이 있다.
그러나 일반적인 양식장에 질병이 발생한 경우 이를 디지털 정보화하지 않고 바로 제거 해버리기 때문에 질병 이미지에 대한 자료수집이 어렵다. 본 논문에서는 다양한 질병 이미지를 생성하기 위해 SinGAN 딥러닝 모델을 이용한 어류 질병 이미지 증강 기법을 제안하였다. SinGAN 딥러닝 모델은 기존 GAN 모델과는 다르게 여러 이미지를 사용하지 않고 오직 하나의 정상 이미지와 질병 패턴 이미지를 사용하여 학습하는 특징이 있다.
본 논문에서는 SinGAN의 합성 기능을 사용하여 넙치의 질병 이미지를 생성한다. 본 연구에서는 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카 병, 비브리오증, 림포시스티스에 대해서 SinGAN 기반으로 질병 이미지를 증강한다. 본 연구에서는 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.

제안 방법

본 실험에서는 SinGAN을 사용한 질병 이미지 증강 방법을 사용하여 정상 이미지를 학습하였고 학습된 파일을 사용하여 합성된 이미지를 입력으로 생성 이미지를 만들었다. [그림 10]은 합성 이미지와 생성된 이미지의 차이를 보여준다.
본 연구에서는 SinGAN을 사용한 질병 이미지 증강 방법을 사용하여 정상 이미지를 학습하였고 학습된 파일을 사용하여 합성된 이미지를 입력으로 생성 이미지를 만들었다. 본 연구에서 생성된 이미지와 합성 이미지가 비슷해 보이지만 실제로는 미세하게 다르게 생성된 것을 확인할 수 있다.

대상 데이터

본 실험에서는 SinGAN을 통해서 합성된 이미지를 자연스럽게 생성 가능한 점은 확인할 수 있었다. 또한, 넙치 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.
본 논문에서는 질병 이미지를 생성하기 위해서 양식어의 질병의 병원인 기생충, 세균, 바이러스 중에서 대표적인 질병인 스쿠티카병, 비브리오증, 림포시스티스를 중심으로 한다. 이 3가지 질병은 넙치에서 가장 많이 발생하는 대표적인 질병이다.
본 연구에서 생성된 이미지와 합성 이미지가 비슷해 보이지만 실제로는 미세하게 다르게 생성된 것을 확인할 수 있다. 본 연구 실험에서는 넙치 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카 병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.
본 연구에서는 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카 병, 비브리오증, 림포시스티스에 대해서 SinGAN 기반으로 질병 이미지를 증강한다. 본 연구에서는 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.

성능/효과

본 논문에서는 다양한 질병 이미지를 생성하기 위해 SinGAN 딥러닝 모델을 이용한 어류 질병 이미지 증강 기법을 제안하였다. SinGAN 딥러닝 모델은 기존 GAN 모델과는 다르게 여러 이미지를 사용하지 않고 오직 하나의 정상 이미지와 질병 패턴 이미지를 사용하여 학습하는 특징이 있다.
일반적인 GAN에서 생성한 이미지는 병의 위치나 모양의 제어가 어려웠지만 SinGAN을 통해서 우리가 원하는 질병의 이미지를 생성할 수 있었다. 그러나 생성된 이미지들은 해상도가 낮아진다. 또한, 합성하고자 하는 질병 이미지밖에 생성할 수 없고 질병 패턴 이미지의 특성을 잘 반영하지 못하는 한계를 가지고 있다.
본 실험에서는 SinGAN을 통해서 합성된 이미지를 자연스럽게 생성 가능한 점은 확인할 수 있었다. 또한, 넙치 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.
본 연구 실험에서 생성된 질병 이미지는 이미지를 확 대, 자르기, 회전 및 전처리와 같은 기존에 이미지 증강 기법보다 매우 다양한 질병 이미지를 생성해 낼 수 있었다. 그리고 질병의 위치를 매우 다양하게 바꿀 수 있어서 원한다면 더 많은 이미지를 증강할 수 있다.
본 연구에서 제안한 방법을 활용하면 이미지 확대, 자르기, 회전 및 전처리와 같은 기존의 영상 처리 방법보다 더욱 풍부한 이미지를 증강할 수 있다. 일반적인 GAN에서 생성한 이미지는 병의 위치나 모양의 제어가 어려웠지만 SinGAN을 통해서 우리가 원하는 질병의 이미지를 생성할 수 있었다.
또한, 원본 이미지는 학습을 통해서 신경망에 저장되지만, 입력으로 사용되는 합성 이미지의 정보는 학습되지 않기 때문에 잘못된 합성 이미지를 입력시키면 잘못된 질병이지가 생성될 수 있는 문제도 존재한다. 본 연구에서는 실험을 통해서 위 문제들을 도출할 수 있었고 질병 이미지 생성을 위해서는 SinGAN의 학습모델 개선이 필요하다는 것을 알 수 있었다.
본 연구에서 제안한 방법을 활용하면 이미지 확대, 자르기, 회전 및 전처리와 같은 기존의 영상 처리 방법보다 더욱 풍부한 이미지를 증강할 수 있다. 일반적인 GAN에서 생성한 이미지는 병의 위치나 모양의 제어가 어려웠지만 SinGAN을 통해서 우리가 원하는 질병의 이미지를 생성할 수 있었다. 그러나 생성된 이미지들은 해상도가 낮아진다.

후속연구

딥러닝을 통해 다양한 어류의 질병 예측을 수행하기 위해서는 많은 질병 데이터 세트 확보가 필요하다. 그러나 일반적인 양식장에 질병이 발생한 경우 이를 디지털 정보화하지 않고 바로 제거 해버리기 때문에 질병 이미지에 대한 자료수집이 어렵다.
그러나 생성된 이미지들은 해상도가 낮아진다. 또한, 합성하고자 하는 질병 이미지밖에 생성할 수 없고 질병 패턴 이미지의 특성을 잘 반영하지 못하는 한계를 가지고 있다. 저자들은 이러한 부분의 문제를 극복하고자 향후 연구로 생성된 이미지의 품질을 높이기 위해서 SinGAN 딥러닝 모델의 계산구조를 개선하는 연구를 진행하고자 한다.
또한, 합성하고자 하는 질병 이미지밖에 생성할 수 없고 질병 패턴 이미지의 특성을 잘 반영하지 못하는 한계를 가지고 있다. 저자들은 이러한 부분의 문제를 극복하고자 향후 연구로 생성된 이미지의 품질을 높이기 위해서 SinGAN 딥러닝 모델의 계산구조를 개선하는 연구를 진행하고자 한다.

참고문헌 (17)

FAO, "2018 The STATE OF WORLD FISHERIES AND AQUACULTURE," p.85, 2018.
해양수산 대시보드-어업생산 동향조사(2020), https://www.mof.go.kr/statPortal/cate/statView.do?statTypeDASH#
이덕찬, 원경미, 박명애, 최혜승, 정승희, "남해안 양식어류의 대량폐사 원인 분석," 해양정책연구, 제33권, 제1호, pp.1-16, 2018.

상세보기
S. Malik, T. Kumar, and A. Sahoo, "Image processing techniques for identification fish disease," IEEE 2nd International Conference on Signal and Image Processing (ICSIP), pp.55-59, 2017.
신영학, 최정현, 최한석, "스마트 양식을 위한 딥러닝 기반 어류 검출 및 이동경로 추적," 한국콘텐츠학회논문지, 제21권, 제1호, pp.552-560, 2021.

원문보기 상세보기
V. Lyubchenko, R. Matarneh, O. Kobylin, and V. Lyashenko, "Digital image processing techniques for detection and diagnosis of fish diseases," International Journal of Advanced Research in Computer Science and Software Engineering, Vol.6, p.79-83, 2016.
A. Waleed, H. Medhat, M. Esmail, K. Osama, R. Samy, and T. M Ghanim, "Automatic Recognition of Fish Diseases in Fish Farms," 14th International Conference on Computer Engineering and Systems (ICCES), pp.201-206, 2019.
M. S. Ahmed, T. T. Aurpa, and A. K. Azad, "Fish Disease Detection Using Image Based Machine Learning Technique in Aquaculture," Journal of King Saud University - Computer and Information Sciences, 2021.
B. C. Kim, H. H. Cho, J. Y. Kang, H. S. Son, and H. S. Choi, "Object Detection of Paralichthys olivaceus Disease based on Deep Learning," SMA 2021, 2021.
A. Mikolajczyk and M. Grochowski, "Data augmentation for improving deep learning in image classification problem," 2018 international interdisciplinary PhD workshop (IIPhDW), IEEE, pp.117-122, 2018.
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets," NIPS, 2014.
M. Mirza and S. Osindero, "Conditional generative adversarial nets," arXiv:1411.1784, 2014.
J. H. Nam, H. H. Sin, H. S. Son, and H. S. Choi, "Image Generation of Paralichthys olivaceus Disease using pix2pix of CGAN," SMA 2021, 2021.
신현호, 남정혁, 손현승, 최한석, "CycleGAN을 사용한 넙치 질병 이미지 증강," 2021년도 스마트미디어학회 추계학술대회, 2021.
I. Phillip, Z. Jun-Yan, Z. Tinghui, and A E. Alexei, "Image-to-Image Translation with Conditional Adversarial Networks," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1125-1134, 2017.
J. Y. Zhu, T. S. Park, Phillip Isola, and Alexei A. Efros, "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks," arXiv:1703.10593, 2020.
국립수산과학원 해양수산자료실 어류 질병 정보, https://www.nifs.go.kr/fishguard/disease01.do

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증