[논문]다중 경로 특징점 융합 기반의 의미론적 영상 분할 기법

박상용; 허용석

doi:10.9717/kmms.2020.24.1.001

Abstract ▼ AI-Helper

In this paper, we present a new architecture for semantic segmentation. Semantic segmentation aims at a pixel-wise classification which is important to fully understand images. Previous semantic segmentation networks use features of multi-layers in the encoder to predict final results. However, they...

In this paper, we present a new architecture for semantic segmentation. Semantic segmentation aims at a pixel-wise classification which is important to fully understand images. Previous semantic segmentation networks use features of multi-layers in the encoder to predict final results. However, they do not contain various receptive fields in the multi-layers features, which easily lead to inaccurate results for boundaries between different classes and small objects. To solve this problem, we propose a multi-path feature fusion module that allows for features of each layers to contain various receptive fields by use of a set of dilated convolutions with different dilatation rates. Various experiments demonstrate that our method outperforms previous methods in terms of mean intersection over unit (mIoU).

주제어

표/그림 (11)

그림 Fig. 1. Definition of semantic segmentation problem.
그림 Fig. 2. Difference of general convolution filters and di-lated convolution filters. (a) are illustrations of general convolution filters and (b) are illu-strations of dilated convolution filters.
그림 Fig. 3. Structure of atrous spatial pyramid pooling (ASPP).
그림 Fig. 4. Proposed network architecture.
표 Table 1. Results of cityscapes validation dataset using Deeplab-V3+[7] architecture.
그림 Fig. 5. Comparison of each class result between Deeplab-V3+[7] and Deeplab-V3+ with our MFF module.
그림 Fig. 6. Prediction results of Cityscapes validation dataset using Deeplab-V3+[7]. (a) is the input images, (b) is the ground truth images, (c) is baseline[7] prediction images and (d) is our prediction images.
표 Table 2. Results of networks used multi-path features.
표 Table 3. Results of cityscapes validation dataset using BiseNet[14] architecture.
그림 Fig. 7. Without dilated convolution MFF network architecture.
그림 Fig. 8. Prediction results of Cityscapes validation dataset using BiseNet[14]. (a) is the input images, (b) is the ground truth images, (c) is baseline[14] prediction images and (d) is our prediction images.

AI 본문요약
AI-Helper

문제 정의

이러한 이유로 의미론적 영역 분할 네트워크의 특징점들은 다양한 수용영역을 가져야하지만, 기존의 방법들은 낮은 층의 특징점을 사용할 때, 다양한 수용영역을 가지지 않아 특징점들을 효율적으로 활용하지 못하였다. 본 논문에서는 이러한 문제점을 해결하기 위해, 낮은 층의 특징점들을 이용하고 낮은 층의 특징점에서도 다양한 수용 영역을 계산하는 모듈을 제안하고, 기존의 네트워크에 이 모듈을 적용하여, 여러 층의 특징점을 효율적으로 이용하는 네트워크를 제안한다.

제안 방법

일반적으로 의미론적 영상 분할에서는 한 장의 입력 영상으로 성능 평가를 하지 않고, 여러 장의 입력 영상을 이용하여 성능 평가를 하게 되는데, 학습에 사용되지 않은 증명 데이터 셋(Validation dataset)이나 테스트 데이터 셋(Test dataset)의 각자의 모든 입력 영상에 대한 mIoU를 평균 낸 값으로 네트워크의 성능을 평가한다. 본 연구에서는 제안하는 네트워크의 성능을 평가하기 위해 증명 데이터 셋의 각 입력 영상을 의미론적 영상 분할의 결과를 예측하고, 각 영상의 mIoU를 구하였다. 그리고 모든 증명 데이터 셋 영상에 대해 구한 mIoU값의 평균을 계산하였다.

데이터처리

본 연구에서는 제안하는 네트워크의 성능을 평가하기 위해 증명 데이터 셋의 각 입력 영상을 의미론적 영상 분할의 결과를 예측하고, 각 영상의 mIoU를 구하였다. 그리고 모든 증명 데이터 셋 영상에 대해 구한 mIoU값의 평균을 계산하였다. 이 평균값을 네트워크의 성능으로 평가하였다.

이론/모형

본 연구에서 사용한 성능 평가 방법은 의미론적 영상 분할 기법에서 가장 많이 사용되는 방식인 mean intersection over unit(mIoU)를 측정하여 성능을 평가하였다. IoU는 각 클래스별로 정답 영상과 예측 영상의 영역이 겹쳐지는 비율을 이용하여 성능을 평가하는 방법이다.

성능/효과

본 연구는 기존의 Deeplab-V3+에 다중 경로 특징점 융합 모듈을 이용하여 낮은 층의 특징점의 장점과 높은 층의 특징점의 장점을 융합하는 네트워크를 제안했으며, 기존의 네트워크보다 더 나은 정확도를 얻었다. 기존 네트워크에서 잘 사용하지 않는 암호기의 낮은 층의 특징점을 다양한 수용역영을 갖도록 변형 후 사용함으로써, 영상의 경계 부분과 비슷한 클래스들을 더욱 잘 구분할 수 있었으며, 다양한 층의 특징점을 사용함으로써 영상 내의 작은 물체나 기둥과 같은 얇은 구조물을 기존 구조에 비해 강인함을 보였다. 또한, 제안하는 다중 경로 특징점 융합 모듈을 더욱 가벼운 네트워크에 적용했을 때도 효과가 있음을 확인하였다.
기존 네트워크에서 잘 사용하지 않는 암호기의 낮은 층의 특징점을 다양한 수용역영을 갖도록 변형 후 사용함으로써, 영상의 경계 부분과 비슷한 클래스들을 더욱 잘 구분할 수 있었으며, 다양한 층의 특징점을 사용함으로써 영상 내의 작은 물체나 기둥과 같은 얇은 구조물을 기존 구조에 비해 강인함을 보였다. 또한, 제안하는 다중 경로 특징점 융합 모듈을 더욱 가벼운 네트워크에 적용했을 때도 효과가 있음을 확인하였다. 하지만 제안하는 모듈은 기존 네트워크에 추가하는 방식으로 기존의 네트워크에 비해 더 많은 학습 파라미터, 연산량이 필요하다.
본 연구는 기존의 Deeplab-V3+에 다중 경로 특징점 융합 모듈을 이용하여 낮은 층의 특징점의 장점과 높은 층의 특징점의 장점을 융합하는 네트워크를 제안했으며, 기존의 네트워크보다 더 나은 정확도를 얻었다. 기존 네트워크에서 잘 사용하지 않는 암호기의 낮은 층의 특징점을 다양한 수용역영을 갖도록 변형 후 사용함으로써, 영상의 경계 부분과 비슷한 클래스들을 더욱 잘 구분할 수 있었으며, 다양한 층의 특징점을 사용함으로써 영상 내의 작은 물체나 기둥과 같은 얇은 구조물을 기존 구조에 비해 강인함을 보였다.

후속연구

하지만 제안하는 모듈은 기존 네트워크에 추가하는 방식으로 기존의 네트워크에 비해 더 많은 학습 파라미터, 연산량이 필요하다. 또한, 암호기의 여러 층의 특징점에 대해 더욱 다양한 수용영역을 가지면서, 각 층의 특징점들의 장점을 더욱 잘 이용할 수 있는 방법에 대한 연구가 필요하다.
또한, 제안하는 다중 경로 특징점 융합 모듈을 더욱 가벼운 네트워크에 적용했을 때도 효과가 있음을 확인하였다. 하지만 제안하는 모듈은 기존 네트워크에 추가하는 방식으로 기존의 네트워크에 비해 더 많은 학습 파라미터, 연산량이 필요하다. 또한, 암호기의 여러 층의 특징점에 대해 더욱 다양한 수용영역을 가지면서, 각 층의 특징점들의 장점을 더욱 잘 이용할 수 있는 방법에 대한 연구가 필요하다.

참고문헌 (16)

J. Long, E. Shelhamer, and T. Darrell, "Fully Convolutional Networks for Semantic Segmentation," Proceedings of the IEEE Conference on Computer Vision and P attern Recognition, pp. 3431-3440, 2015.
H. Noh, S. Hong, and B. Han, "Learning Deconvolution Network for Semantic Segmentation," Proceedings of the IEEE International Conference on Computer Vision, pp. 1520-1528, 2015.
O. Ronneberger, P. Fischer, and T. Brox, "Unet: Convolutional Networks for Biomedical Image Segmentation," Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention, pp. 234-241, 2015.
V. Badrinarayanan, A. Kendall, and R. Cipolla, "Segnet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 12, pp. 2481-2495, 2017.

상세보기
S.K. Kim and C.W. Lee, "Segmentation Image Semantic Combining Image-level and Pixel-level Classification," Journal of Korea Multimedia Society, Vol. 21, No. 12, pp. 1425-1430, 2018.

원문보기 상세보기
H. Zhao, J. Shi, X. Qi, X. Wang and J. Jia, "Pyramid scene parsing network," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2881-2890, 2017.
L. C. Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, "Encoder-decoder with Atrous Separable Convolution for Semantic Image Segmentation," Proceedings of the European Conference on Computer Vision, pp. 801-818, 2018.
G. Ghiasi and C. C. Fowlkes, "Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation," Proceedings of European Conference on Computer Vision, pp. 519-534, 2016.
G. Lin, A. Milan, C. Shen and I. Reid, "Refine Net: Multi-path Refinement Networks for High-Resolution Semantic Segmentation," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1925-1934, 2017.
K. Simonyan and A. Zisserman. "Very Deep Convolutional Networks for Large-scale Image Recognition," Proceedings of 3rd International Conference on Learning Representations, 2015.
K. He, X. Zhang, S. Ren., and J. Sun, "Deep Residual Learning for Image Recognition," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2018.
F. Chollet, "Xception: Deep learning with depthwise separable convolutions." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1251-1258, 2017.
M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, et al., "The Cityscapes Dataset for Semantic Urban Scene Understanding," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3213-3223, 2016.
C. Yu, J. Wang, C. Peng, C. Gao, G. Yu, and N. Sang, "Bisenet: Bilateral Segmentation Network for Real-time Semantic Segmentation," Proceedings of the European Conference on Computer Vision, pp. 325-341, 2018.
L. C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille, "Deeplab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 40, No. 4, pp. 834-848, 2018.

상세보기
P. Adam, S. Gross, F. Massa, A. Lerer, J. Bradbury, G. Chanan et. al, "Pytorch:An imperative style, high-performance deep learning library," Proceedings of the Advances in Neural Information Processing Systems, pp. 8026- 8037, 2019.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

다중 경로 특징점 융합 기반의 의미론적 영상 분할 기법
Multi-Path Feature Fusion Module for Semantic Segmentation 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (11)

표/그림 (11)

AI 본문요약
AI-Helper

문제 정의

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

다중 경로 특징점 융합 기반의 의미론적 영상 분할 기법 Multi-Path Feature Fusion Module for Semantic Segmentation 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (11) 모든 표/그림 보기

표/그림 (11) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

허용석 (4)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

다중 경로 특징점 융합 기반의 의미론적 영상 분할 기법
Multi-Path Feature Fusion Module for Semantic Segmentation 원문보기

표/그림 (11)

표/그림 (11)

AI 본문요약
AI-Helper