[논문]딥러닝 기반 넙치 질병 식별 향상을 위한 전처리 기법 비교

강자영; 손현승; 최한석

doi:10.5392/jkca.2022.22.03.071

딥러닝 기반 넙치 질병 식별 향상을 위한 전처리 기법 비교
A Comparison of Pre-Processing Techniques for Enhanced Identification of Paralichthys olivaceus Disease based on Deep Learning 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.22 no.3, 2022년, pp.71 - 80

강자영 (목포대학교 컴퓨터공학과) , 손현승 (목포대학교 컴퓨터공학과) , 최한석 (목포대학교 컴퓨터공학과)

초록
AI-Helper

과거 양식장에서 어류 질병은 세균성이었던 반면 최근은 바이러스성 및 혼합된 형태가 되면서 어류 질병의 빈도가 높아졌다. 양식장이라는 밀폐된 공간에서 바이러성 질병은 확산속도가 높으므로 집단 폐사로 이어질 확률이 매우 높다. 집단 폐사를 방지하기 위해서는 어류 질병의 빠른 식별이 중요하다. 그러나 어류의 질병 진단은 고도의 전문지식이 필요하고 매번 어류의 상태를 눈으로 확인하기 어렵다. 질병의 확산을 막기 위해서는 병이든 어류의 자동식별 시스템이 필요하다. 본 논문에서는 딥러닝 기반의 넙치의 질병 식별 시스템의 성능을 높이기 위해서 기존 전처리 방법을 비교 실험한다. 대상 질병은 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카병, 비브리오증, 림포시스티스를 선정하였고 이미지 전처리 방법으로 RGB, HLS, HSV, LAB, LUV, XYZ, YCRCV를 사용하였다. 실험결과 일반적인 RGB를 사용하는 것보다 HLS가 가장 좋은 결과를 얻을 수 있었다. 간단한 방법으로 질병의 인식률을 향상해 어류 질병 식별 시스템을 고도화 할 수 있을 것으로 예상한다.

Abstract ▼ AI-Helper

In the past, fish diseases were bacterial in aqua farms, but in recent years, the frequency of fish diseases has increased as they have become viral and mixed. Viral diseases in an enclosed space called a aqua farm have a high spread rate, so it is very likely to lead to mass death. Fast identification of fish diseases is important to prevent group death. However, diagnosis of fish diseases requires a high level of expertise and it is difficult to visually check the condition of fish every time. In order to prevent the spread of the disease, an automatic identification system of diseases or fish is needed. In this paper, in order to improve the performance of the disease identification system of Paralichthys olivaceus based on deep learning, the existing pre-processing method is compared and tested. Target diseases were selected from three most frequent diseases such as Scutica, Vibrio, and Lymphocystis in Paralichthys olivaceus. The RGB, HLS, HSV, LAB, LUV, XYZ, and YCRCV were used as image pre-processing methods. As a result of the experiment, HLS was able to get the best results than using general RGB. It is expected that the fish disease identification system can be advanced by improving the recognition rate of diseases in a simple way.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 어류 넙치의 질병의 인식률을 높일 수 있도록 딥러닝 기반의 시스템 구축하고 질병 이미지 전처리가 미치는 영향에 대해서 비교 실험하였다. 대상 질병은 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카 병, 비브리오증, 림포시스티스를 선정하였고 이미지 전처리 방법으로 RGB, HLS, HSV, LAB, LUV, XYZ, YCRCV를 사용하였다.

제안 방법

[그림 6]은 YOLOv4에 이미지 전처리를 수행한 후 학습하는 과정을 도식으로 표현한 것이다. RGB 이미지를 각각 HLS, HSV, LAB, LUV, XYZ, YCRCV로 변환하고 각각을 별개로 학습한다. 그러므로 최종적으로 학습 후에 생성되는 가중치 파일은 RGB를 포함하여 7개이다.
각 질병 어류 이미지를 HLS, HSV, LAB, LUV, XYZ, YCRCV으로 전처리 과정을 진행하고 질병 부위 라벨링 과정이 진행된 이미지를 YOLOv4 모델로 학습하여 가중치 파일을 생성하였다. 생성된 가중치 파일과 전처리 과정이 진행된 이미지를 YOLOv4 모델로 학습 시켜 전처리 결과별 이미지에서 질병 부위를 검출하였다.
각 질병 어류 이미지를 HLS, HSV, LAB, LUV, XYZ, YCRCV으로 전처리 과정을 진행한 이미지와 질병 부위가 라벨링 과정이 된 이미지를 YOLOv4 모델로 학습하여 가중치 파일을 생성하였다. 전처리는 OpenCV 라이브러리를 이용하여 [그림 5]와 같이 파이썬으로 간단하게 작성할 수 있다.
본 논문에서는 SinGAN 딥러닝 모델을 이용하여 어류 질병 이미지를 증강하여 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 생성하고, 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성하였다.
1단계에서는 이미지 학습 단계로 정상적인 어류 이미지를 학습하고 2단계에서는 질병이 합성된 이미지와 마스크 이미지를 SinGAN에 합성하여 질병 이미지를 생성한다. 사용된 넙치의 질병 이미지는 배경을 제거하여 이미지 확대, 회전 및 전처리와 같은 이미지 처리 기법을 사용하여 학습하였다. SinGAN의 학습 환경은 기본 Default를 사용하였고, 네트워크의 Layer 수만 5에서 10으로 변경하였다.

대상 데이터

최종적으로 어류 질병 이미지를 증강하여 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여 스쿠티카 병 110장, 비브리오증 110장, 림포시스티스 110 장으로 총 330장을 생성하고, 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성하였다. 본 논문에서는 생성된 질병 이미지 1, 320장을 사용하여 실험을 진행한다.
본 논문에서는 어류 넙치의 질병의 인식률을 높일 수 있도록 딥러닝 기반의 시스템 구축하고 질병 이미지 전처리가 미치는 영향에 대해서 비교 실험하였다. 대상 질병은 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카 병, 비브리오증, 림포시스티스를 선정하였고 이미지 전처리 방법으로 RGB, HLS, HSV, LAB, LUV, XYZ, YCRCV를 사용하였다.
최종적으로 어류 질병 이미지를 증강하여 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여 스쿠티카 병 110장, 비브리오증 110장, 림포시스티스 110 장으로 총 330장을 생성하고, 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성하였다. 본 논문에서는 생성된 질병 이미지 1, 320장을 사용하여 실험을 진행한다.
이미지 학습에 사용된 기본적인 넙치 이미지는 인터넷 검색을 통해서 수집하였다. 또한, 좋은 결과를 얻기 위해 이미지 배경은 제거하였다.
최종적으로 어류 질병 이미지를 증강하여 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여 스쿠티카 병 110장, 비브리오증 110장, 림포시스티스 110 장으로 총 330장을 생성하고, 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성하였다. 본 논문에서는 생성된 질병 이미지 1, 320장을 사용하여 실험을 진행한다.
어류의 질병을 식별하기 위해 YOLOv4 아키텍처를 활용하였다. 학습을 위한 시스템은 CPU Intel i7-11700K 3.6GHz, Memory 64GB, GPU GeForce RTX 3080 Ti로 구성하였고, 총 1, 320장의 어류 이미지를 학습하는데 소모된 시간은 약 25시간이 사용되었다. 7가지의 전처리 별로 따로 학습해야 수행되므로 학습에 사용된 총 시간은 약 175 시간이 필요하다.

데이터처리

각 질병 어류 이미지를 HLS, HSV, LAB, LUV, XYZ, YCRCV으로 전처리 과정을 진행하고 질병 부위 라벨링 과정이 진행된 이미지를 YOLOv4 모델로 학습하여 가중치 파일을 생성하였다. 생성된 가중치 파일과 전처리 과정이 진행된 이미지를 YOLOv4 모델로 학습 시켜 전처리 결과별 이미지에서 질병 부위를 검출하였다.
질병 검출하기 위해서 [그림 7]과 같이 RGB, HLS, HSV, LAB, LUV, XYZ, YCRCV으로 처리된 이미지와 가중치 파일을 각각 YOLOv4 모델로 실행시켜 전처리결과별 이미지에서 질병 부위를 검출하고 각각의 결과를 확인한다.

이론/모형

딥러닝으로 학습한 데이터를 Precision, Recall, F1-score, Iou, mAP의 객체검출 성능 평가 지표[23] 로 성능 평가하였다.
어류의 질병 예측을 하기 위해서는 어류의 질병 부위를 식별할 필요성이 있다. 어류의 질병을 식별하기 위해 YOLOv4 아키텍처를 활용하였다. 학습을 위한 시스템은 CPU Intel i7-11700K 3.

성능/효과

[표 1]과 [표 2]의 RGB는 전처리하지 않은 원본 이미지이다. 객체검출 알고리즘을 활용한 전처리 성능 평가 결과 Percision는 HSV 0.88, Recall는 HLS 0.31, F1-score는 HLS 0.44, average IoU는 XYZ 59.89%, mAP는 HLS 71.98%의 결과를 얻었다. 이 결과 중에서 HLS가 좋은 결과가 나타났다.
본 논문의 전처리 과정에서 디스플레이 기기에서 색을 표현하는데 특화된 방식인 HLS가 가장 좋은 결과를 산출한다는 것을 알 수 있었다. 실험결과 일반적인 RGB를 사용하는 것보다 HLS가 가장 좋은 결과를 얻을 수 있었다.
실험결과 일반적인 RGB를 사용하는 것보다 HLS가 가장 좋은 결과를 얻을 수 있었다. 본 연구결과로 복잡한 딥러닝 모델의 변경이나 조정 없이 간단한 이미지 전처리방법의 변경만으로도 어류 질병의 인식률을 향상시킬 수 있는 것을 확인할 수 있었다. 이 방법을 어류 질병 식별 시스템에 적용하면 쉽게 질병의 인식률을 향상 가능해 시스템이 고도화되고 국내 수산 양식장에서의 질병 관리에 도움이 될 것으로 예상한다.
생성된 이미지를 딥러닝으로 학습한 데이터를 객체검출 알고리즘의 성능으로 평가한 결과 전처리 과정에서 Percision는 HSV, Recall는 HLS, F1-score는 HLS, average IoU는 XYZ, mAP는 HLS가 가장 좋은 결과가 나타났다.
본 논문의 전처리 과정에서 디스플레이 기기에서 색을 표현하는데 특화된 방식인 HLS가 가장 좋은 결과를 산출한다는 것을 알 수 있었다. 실험결과 일반적인 RGB를 사용하는 것보다 HLS가 가장 좋은 결과를 얻을 수 있었다. 본 연구결과로 복잡한 딥러닝 모델의 변경이나 조정 없이 간단한 이미지 전처리방법의 변경만으로도 어류 질병의 인식률을 향상시킬 수 있는 것을 확인할 수 있었다.

후속연구

본 연구의 한계점은 어류의 질병 인식의 성능 평가를 위하여 사용된 이미지가 실제 수산 양식장에서 획득한 데이터가 아닌 오픈된 이미지 데이터셋을 사용하였고 SinGAN을 이용해서 생성된 이미지를 포함하여 실험하였기 때문에 실제 수산양식장에 그대로 적용하는 데에 한계가 있다. 따라서 향후 연구에서는 실제 양식장 데이터를 적용하는 과정이 필요하고 질병이 이미 확산한 이미지가 아닌 초기 상태에 질병을 식별할 수 있는 방안이 보완되어야 할 것이다.
본 연구의 한계점은 어류의 질병 인식의 성능 평가를 위하여 사용된 이미지가 실제 수산 양식장에서 획득한 데이터가 아닌 오픈된 이미지 데이터셋을 사용하였고 SinGAN을 이용해서 생성된 이미지를 포함하여 실험하였기 때문에 실제 수산양식장에 그대로 적용하는 데에 한계가 있다. 따라서 향후 연구에서는 실제 양식장 데이터를 적용하는 과정이 필요하고 질병이 이미 확산한 이미지가 아닌 초기 상태에 질병을 식별할 수 있는 방안이 보완되어야 할 것이다.
본 연구의 향후 연구 방향 및 기대효과는 국내 스마트 양식장의 실제 어류의 데이터셋을 확보하고 질병을 임의로 조절해서 질병이 진행되는 과정에 대한 이미지확보가 필요하다. 이로 인하여 현재 양식장의 육안 관측 중심이 아닌 딥러닝을 활용한 영상으로 질병을 조기에 진단해 질병의 확산을 예방하고 집단 폐사율을 최소화할 수 있을 것으로 기대한다.
본 연구결과로 복잡한 딥러닝 모델의 변경이나 조정 없이 간단한 이미지 전처리방법의 변경만으로도 어류 질병의 인식률을 향상시킬 수 있는 것을 확인할 수 있었다. 이 방법을 어류 질병 식별 시스템에 적용하면 쉽게 질병의 인식률을 향상 가능해 시스템이 고도화되고 국내 수산 양식장에서의 질병 관리에 도움이 될 것으로 예상한다.
본 연구의 향후 연구 방향 및 기대효과는 국내 스마트 양식장의 실제 어류의 데이터셋을 확보하고 질병을 임의로 조절해서 질병이 진행되는 과정에 대한 이미지확보가 필요하다. 이로 인하여 현재 양식장의 육안 관측 중심이 아닌 딥러닝을 활용한 영상으로 질병을 조기에 진단해 질병의 확산을 예방하고 집단 폐사율을 최소화할 수 있을 것으로 기대한다.

참고문헌 (23)

국가통계포털, 시도.시군구별 양식방법별 어종별 양식현황, https://kosis.kr/statHtml/statHtml.do?orgId101&tblIdDT_1EZ0008&vw_cdMT_ZTITLE&list_idK2_4&seqNo&lang_modeko&languagekor&obj_var_id&itm_id&conn_pathMT_ZTITLE
심재동, 황성돈, 장수영, 김태완, 정지민, "한국 양식넙치 폐사피해 모니터링," 한국어병학회지 제32권 제1호, pp.29-35, 2019.

원문보기 상세보기
국립수산과학원 해양수산자료실 어류 질병 정보, https://www.nifs.go.kr/fishguard/disease01.do
이덕찬, 원경미, 박명애, 최혜승, 정승희, "남해안 양식어류의 대량폐사 원인 분석," 해양정책연구, 제33권 제1호, pp.1-16, 2018.
S. Malik, T. Kumar, and A. Sahoo, "Image processing techniques for identification fish disease," IEEE 2nd International Conference on Signal and Image Processing (ICSIP), pp.55-59, 2017.
V. Lyubchenko, R. Matarneh, O. Kobylin, and V. Lyashenko, "Digital image processing techniques for detection and diagnosis of fish diseases," International Journal of Advanced Research in Computer Science and Software Engineering, Vol.6, pp.79-83, 2016.
A. Waleed, H. Medhat, M. Esmail, K. Osama, R. Samy, and T. M Ghanim, "Automatic Recognition of Fish Diseases in Fish Farms," 14th International Conference on Computer Engineering and Systems (ICCES), pp.201-206, 2019.
M. S. Ahmed, T. T. Aurpa, and A. K. Azad, "Fish Disease Detection Using Image Based Machine Learning Technique in Aquaculture," Journal of King Saud University-Computer and Information Sciences, 2021.
B. C. Kim, H. H. Cho, J. Y. Kang, H. S. Son, and H. S. Choi, "Object Detection of Paralichthys olivaceus Disease based on Deep Learning," SMA 2021, 2021.
신영학, 최정현, 최한석, "스마트 양식을 위한 딥러닝기반 어류 검출 및 이동경로 추적," 한국콘텐츠학회논문지, 제21권, 제1호, pp.552-560, 2021.

원문보기 상세보기
A. Mikolajczyk and M. Grochowski, "Data augmentation for improving deep learning in image classification problem," 2018 international interdisciplinary PhD workshop (IIPhDW), IEEE, pp.117-122, 2018.
손현승, 최한석, "SinGAN 딥러닝 모델을 이용한 넙치 질병 이미지 증강," 한국콘텐츠학회논문지, 제21권, 제12호, pp.322-330, 2021.

원문보기 상세보기
Shaham, Tamar Rott, Tali Dekel, and Tomer Michaeli, "SinGAN: Learning a generative model from a single natural image," Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019.
천인국, OpenCV를 이용한 디지털 영상처리, INFINITY BOOKS, 2019.
OpenCV, "Color conversions documentation," https://docs.opencv.org/4.5.2/de/d25/imgproc_color_conversions.html
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, Generative adversarial nets, NIPS, 2014.
M. Mirza and S. Osindero, "Conditional generative adversarial nets," arXiv preprint arXiv:1411.1784, 2014.
I. Phillip, Z. Jun-Yan, Z. Tinghui, and A E. Alexei, "Image-to-Image Translation with Conditional Adversarial Networks," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1125-1134, 2017.
J. Y. Zhu, T. S. Park, Phillip Isola, and Alexei A. Efros, "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks," Proceedings of the IEEE international conference on computer vision, pp.2223-2232, 2017.
J. H. Nam, H. H. Sin, H. S. Son, and H. S. Choi, "Image Generation of Paralichthys olivaceus Disease using pix2pix of CGAN," SMA 2021, 2021.
신현호, 남정혁, 손현승, 최한석, "CycleGAN을 사용한 넙치 질병 이미지 증강," 2021년도 스마트미디어학회 추계학술대회, 2021.
Bochkovskiy, Alexey, Chien-Yao Wang, and Hong-Yuan Mark Liao, "YOLOv4: Optimal speed and accuracy of object detection," arXiv preprint arXiv:2004.10934, 2020.
https://github.com/rafaelpadilla/Object-Detection-Metrics/blob/master/paper_survey_on_performance_metrics_for_object_detection_algorithms.pdf

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증