소나무 재선충은 한국과 일본, 중국을 포함한 동아시아 지역의 소나무산림에 막대한 피해를 주는 원인이며, 피해목의 조기 발견과 제거는 재선충 확산을 막는 효과적인 방법이다. 본 논문에서는 드론으로 촬영되고 처리된 RGB 정사영상을 딥러닝 분류에 의한 재선충 피해목 탐색방법을 제안한다. 제안된 방법은 학습영상 데이터가 많지 않다는 가정아래 ResNet18을 백본으로 하는 패치기반의 분류기를 구성하고 RGB 정사영상을 분류하고 그 결과를 heatmap 형태로 만든다. 제작된 정사영상의 heat map는 재선충 피해목의 분포를 알아내고 확산해가는 모습을 관찰할 수 있게 하며, 재선충 피해목 지역의 RGB 분포 특징을 추출해낼 수도 있다. 본 연구의 패치기반 분류기 성능은 94.7%의 정확도를 나타내었다.
소나무 재선충은 한국과 일본, 중국을 포함한 동아시아 지역의 소나무산림에 막대한 피해를 주는 원인이며, 피해목의 조기 발견과 제거는 재선충 확산을 막는 효과적인 방법이다. 본 논문에서는 드론으로 촬영되고 처리된 RGB 정사영상을 딥러닝 분류에 의한 재선충 피해목 탐색방법을 제안한다. 제안된 방법은 학습영상 데이터가 많지 않다는 가정아래 ResNet18을 백본으로 하는 패치기반의 분류기를 구성하고 RGB 정사영상을 분류하고 그 결과를 heatmap 형태로 만든다. 제작된 정사영상의 heat map는 재선충 피해목의 분포를 알아내고 확산해가는 모습을 관찰할 수 있게 하며, 재선충 피해목 지역의 RGB 분포 특징을 추출해낼 수도 있다. 본 연구의 패치기반 분류기 성능은 94.7%의 정확도를 나타내었다.
Pine wilt disease is one of the reasons that results in huge damage on pine trees in east Asia including Korea, Japan, and China, and early finding and removing the diseased trees is an efficient way to prevent the forest from wide spreading. This paper proposes a searching method of the damaged pin...
Pine wilt disease is one of the reasons that results in huge damage on pine trees in east Asia including Korea, Japan, and China, and early finding and removing the diseased trees is an efficient way to prevent the forest from wide spreading. This paper proposes a searching method of the damaged pine trees from wilt disease in ortho-images corrected from RGB images, which are captured by unmanned aviation vehicles. The proposed method constructs patch-based classifier using ResNet18 backbone network, classifies the RGB ortho-image patches, and make the results as a heat map. The heat map can be used to find the distribution of diseased pine trees, to show the trend of spreading disease, and to extract the RGB distribution of the diseased areas in the image. The classifier in the work shows 94.7% of accuracy.
Pine wilt disease is one of the reasons that results in huge damage on pine trees in east Asia including Korea, Japan, and China, and early finding and removing the diseased trees is an efficient way to prevent the forest from wide spreading. This paper proposes a searching method of the damaged pine trees from wilt disease in ortho-images corrected from RGB images, which are captured by unmanned aviation vehicles. The proposed method constructs patch-based classifier using ResNet18 backbone network, classifies the RGB ortho-image patches, and make the results as a heat map. The heat map can be used to find the distribution of diseased pine trees, to show the trend of spreading disease, and to extract the RGB distribution of the diseased areas in the image. The classifier in the work shows 94.7% of accuracy.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
제거는 재선충 확산을 막는 효과적인 방법이다. 본 논문에서는 드론으로 촬영되고 처리된 RGB 정사영상에서 딥러닝 분류에 의한 재선충 피해목 탐색 방법을 제안하였다. 제안된 방법은 학습영상 데이터가 많지 않다는 가정아래 ResNetl8 lay er을 백본으로 하는 패치 기반의 분류기를 구성하고 RGB 정사 영상을 분류된 결과를 heat map 형태로 만든다.
본 논문에서는 드론을 통해 획득한 RGB 영상을 보정하여 얻은 정사영상에서 소나무 재선충 피해목을 탐색하는 방법을 제안한다. 제안된 방법에서는 재선충 피해목의 학습데이터가 불충분하기 때문에 이를 극복하기 위해 정사 영상을 패치단위로 분해하여 재선충 패치와 정상 패치를 만들고 패치단위의 딥러닝 분류기를 학습하여 구성하였다 구성된 분류기는 정사영상의 패치들을 입력하여 재선충 피해 정도를 제공하며 이는 heat map 의 형태로 가시화하여 재선충 피해목 정사 영상을 만드는데 활용된다.
가설 설정
정사영상 제작과정을 보여 준다. 본 과정은 정사영상이 주어졌다는 가정 하에 진행되며 64x64 패치를 영상에서 순차적으로 뜯어내어 이를 분류기에 입력하고, 학습된 분류기는 softmax 출력으로 재선충 피해목 패치일 확률을 제공하며 그 결과는 heat map으로 나타낸다 이 과정에서 해상도를 올리기 위해 패치는 중첩되어 뜯어내며 중첩된 부분의 재선충 패해 확률은 평균값을 취해 표시한다.
제안 방법
RGB 정사 영상으로부터 64x64 패치영상을 좌에서 우로 위에서 아래로 중첩하여 추출한 후 분류기를 통해 재선충 피해목 영역 가능성의 확률을 구하며, 그 결과는 그림 1과같이 확률 값에 따라 적색에서부터 청색으로 가시화 하였다.
또한 본 연구에서는 RGB 칼라를 지터링하여 positive sample 영상을 증강시켰다. 즉 영상의 밝기 (brightness), 대조도(contrast), 색상(hue), 그리고 채도(saturation)를 작은 범위에서 랜덤하게 선택하여 변화량을 결정하고 이에 따라 영상 화소 값을 변화 시켜 positive sample을 증강하였다.
본 연구의 분류기는 64x64 패치 영상을 기반으로 재선충 피해 영역을 분별한다. 분류기는 ImageNet 데이터셋에서 사전학습된 ResNetl8 layer의 weight를 학습 초기치로 사용하고, 출력은 softmax에 의해 재선충 피해 영역 여부의 확률 값을 출력한다[9, 1이.
이 과정에서 건너뛰기(stride)는 64일 경우 중첩되는 부분이 없어 64x64 그리드 형태의 모습으로 해상도가 낮은 모습을 보이며, 이를 16, 또는 8로 줄이면 중첩되는 부분이 48, 56이 되어 중첩되는 부분의 확률 결정에 대해 본 연구에서는 중복되어 결정된 확률 값들의 평균치로 각 화소의 확률을 결정하였다. 그림 6은 건너뛰기에 따른 heat map을 보여주고 있다 본 논문에 삽입된 그림의 경우 건너뛰기는 8 이하로 설정하였다.
또한 김명준 등은 2017년 효율적인 예찰 및 방제사업 지원을 실시하기 위해 세종특별자치시를 중심으로 무인항공기를 활용 재선충 선 단지에 대하여 무인촬영을 실시 231본의 피해 의심 목을 추출하였으며, 현장 조사 결과 23본의 피해목을 확인하였다. 이 방법에서는 RGB 정사 영상을 육안으로 관찰하여 피해 의심 목을 2차례에 걸쳐 다단계로 검출하였으며 구글, 네이버, 다음 등에서 제공하는 위성영상 등도 활용하여, 재선충 조사에서 다단계 적용을 통해 산림 내에서의 정확한 위치를 추출하였다 [6]. 뿐만 아니라 2001년 경일대학교 조명희 등은 경남 거제시 지역을 대상으로 IKONOS 고해상도 위성영상을 분석 총 22개의 샘플중에 15개의 실제 피해목을 추출하였다.
제안된 방법에서는 재선충 피해목의 학습데이터가 불충분하기 때문에 이를 극복하기 위해 정사 영상을 패치단위로 분해하여 재선충 패치와 정상 패치를 만들고 패치단위의 딥러닝 분류기를 학습하여 구성하였다 구성된 분류기는 정사영상의 패치들을 입력하여 재선충 피해 정도를 제공하며 이는 heat map 의 형태로 가시화하여 재선충 피해목 정사 영상을 만드는데 활용된다.
본 논문에서는 드론으로 촬영되고 처리된 RGB 정사영상에서 딥러닝 분류에 의한 재선충 피해목 탐색 방법을 제안하였다. 제안된 방법은 학습영상 데이터가 많지 않다는 가정아래 ResNetl8 lay er을 백본으로 하는 패치 기반의 분류기를 구성하고 RGB 정사 영상을 분류된 결과를 heat map 형태로 만든다. 제작된 정사 영상의 heat map는 재선충 피해목의 분포를 알아내고 확산해가는 모습을 관찰할 수 있게 하며, 재선충 피해목 지역의 RGB 분포 특징을 추출해내는데 활용할 수도 있다.
준비된 positive와 negative sample 패치 영상들은 학습과 검증데이터로 분리한 후 80:20의 비율로 학습과 검증데이터를 구성한 후 딥러닝 라이브러리 중 Pytorch를 사용하여 분류기를 구축하였다[13]. 학습 방법은 epoch 60, learning rare 0.
영상을 증강시켰다. 즉 영상의 밝기 (brightness), 대조도(contrast), 색상(hue), 그리고 채도(saturation)를 작은 범위에서 랜덤하게 선택하여 변화량을 결정하고 이에 따라 영상 화소 값을 변화 시켜 positive sample을 증강하였다. 그림 4(b)는 이렇게 만들어진 밝기, 대조도, 채도가 변화되어 증강된 정 예제영상들을 보여준다.
학습 방법은 epoch 60, learning rare 0.0001, momentum 0.9, 그리고 SGD(stochastic gradient descent) 방법을 사용했으며 학습데이터 배치 크기는 400, 검증데이터의 배치는 100으로 설정하였다.
있다. 회전에 의한 데이터 증강 방법은 1-4 상환의 각도를 15도씩 나누어 각 상환에서 랜덤하게 1개의 회전각을 선택하고, 이에 따라 회전 시켜 1개의 정 예제 패치 영상으로부터 4개의 회전 영상을 얻어 증강하였다. 그림 4(a)는 이러한 회전에 의해 얻어진 증강된 정 예제 샘플들을 보여주고 있다.
대상 데이터
본 연구에서는 분류기의 성능을 측정하기 위해 학습과 검증에 사용하지 않은 강원, 경기권역 정사 영상에서 재선충 피해목 지역 638개, 그렇지 않은 지역 3000개의 64x64 패치영상을 구성하여 분류 수행한 결과를 표 2에 제시한다. 또한 식 1-4를 통해 분류기의 성능을 제시한다.
한다. 본 연구에서는 이런 다양성을 유지하기 위해 재선 중 피해목 부분을 제외한 부분에서 랜덤하게 45, 000개의 64x64 패치 영상을 취득하였다. 일반적으로 데이터 수의 불균등(imbalanced)은 학습에 좋지 않은 영향을 줄 수 있기 때문에 동일한 수의 부 예제데이터를 구성하였다.
즉 선 단지를 탐색하고 그 종류와 경향성을 분류하는데 이용할 수 있으며, 재선충 피해목의 RGB 특성을 알아보는데도 활용할 수 있다. 본 연구의 분류기는 ResNetl8 layer을 백본으로 사용하였으며 정확도는 94.7%에 달하였다.
본 연구의 학습데이터는 임업 진흥원에서 제공한 충남, 강원, 경북, 경남, 경기 권역의 재선충 피해목을 포함하고 해상도는 화소 당 6.0cm-12.2cm의 RGB 정상 영상 데이터를 활용하였다. 이들 데이터에서 4095개의 64x64의 재선충 영역이 중앙에 위치하는 패치영상을 획득하여 positive sample로 하였지만 데이터 수가 많지 않아 데이터 증강 방법을 수행하여 45, 000개의 학습데이터를 준비하였다[11].
2cm의 RGB 정상 영상 데이터를 활용하였다. 이들 데이터에서 4095개의 64x64의 재선충 영역이 중앙에 위치하는 패치영상을 획득하여 positive sample로 하였지만 데이터 수가 많지 않아 데이터 증강 방법을 수행하여 45, 000개의 학습데이터를 준비하였다[11].
이론/모형
본 연구에서 구축된 분류기는 정사 영상의 heat map 구성에 활용된다[14]. RGB 정사 영상으로부터 64x64 패치영상을 좌에서 우로 위에서 아래로 중첩하여 추출한 후 분류기를 통해 재선충 피해목 영역 가능성의 확률을 구하며, 그 결과는 그림 1과같이 확률 값에 따라 적색에서부터 청색으로 가시화 하였다.
성능/효과
제작된 정사 영상의 heat map는 재선충 피해목의 분포를 알아내고 확산해가는 모습을 관찰할 수 있게 하며, 재선충 피해목 지역의 RGB 분포 특징을 추출해내는데 활용할 수도 있다. 본 연구의 패치 기반 분류기 성능은 94.7%의 정확도를 나타내었다. 향후에는 드론으로 촬영된 다 분광 영상으로 본 논문의 방법을 확장하여 정확도를 더욱 개선하는 연구를 계속할 예정이다.
857} 도출되었다. 이 결과는 비록 완벽한 성능은 아닐지라도 heat map 구성 시 중첩된 부분에서의 평균 연산으로 인해 분별오류가 완화되어 충분한 정확도를 보장할 수 있는 것으로 판단하였다.
제안한 분류기의 성능은 정확도 94.7%, 재현율 86.5%, 정도 83.8%, 그리고 fl-score 0.857} 도출되었다. 이 결과는 비록 완벽한 성능은 아닐지라도 heat map 구성 시 중첩된 부분에서의 평균 연산으로 인해 분별오류가 완화되어 충분한 정확도를 보장할 수 있는 것으로 판단하였다.
후속연구
제안된 방법은 학습영상 데이터가 많지 않다는 가정아래 ResNetl8 lay er을 백본으로 하는 패치 기반의 분류기를 구성하고 RGB 정사 영상을 분류된 결과를 heat map 형태로 만든다. 제작된 정사 영상의 heat map는 재선충 피해목의 분포를 알아내고 확산해가는 모습을 관찰할 수 있게 하며, 재선충 피해목 지역의 RGB 분포 특징을 추출해내는데 활용할 수도 있다. 본 연구의 패치 기반 분류기 성능은 94.
7%의 정확도를 나타내었다. 향후에는 드론으로 촬영된 다 분광 영상으로 본 논문의 방법을 확장하여 정확도를 더욱 개선하는 연구를 계속할 예정이다. 실제 재선충 피해목 제거 등을 위해서는 지도 정보와 병합이 필요할 수 있다.
참고문헌 (16)
곽태홍외 2인, "CNN 기반 초분광 영상 분류를 위한 PCA 차원축소의 영향 분석," 대한원격탐사학회지, 제35권, 제6호, 959-971, 2019
Milioto, A., P. Lottes, and C. Stachniss, "Real-time semantic segmentation of crop and weed for precision agriculture robots leveraging background knowledge in CNNs," IEEE International Conference on Robotics and Automation (ICRA), 2018.
조명희외 3인, "고해상도 IKNOS 영상을 활용한 소나무재선충 피해지역 추출기법," 한국지리정보학회지, 제4권, 제4호, 72-78쪽, 2001
한국임업진흥원, 드론.AI 기술로 소나무 재선충병관리(2019), https://www.mk.co.kr/news/special-edition/view/2019/08/670046/ (accessed June. 19, 2020)
Pan, Sinno Jialin, and Qiang Yang. "A survey on transfer learning," IEEE Transactions on knowledge and data engineering, vol. 22, no. 10, pp. 1345-1359, 2009.
He K, Zhang X, Ren S, et al, "Deep residual learning for image recognition," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
Shorten C, Khoshgoftaar T M, "A survey on image data augmentation for deep learning," Journal of Big Data, 6(1), 60, 2019.
Paszke A, Gross S, Massa F, et al. Pytorch, "An imperative style, high-performance deep learning library," Advances in neural information processing systems, pp. 8026-8037, 2019.
DiFranco M D, O'Hurley G, Kay E W, et al.,"Ensemble based system for whole-slide prostate cancer probability mapping using color texture features," Computerized medical imaging and graphics, 35(7-8), pp. 629-645, 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.