[논문]영상수준과 픽셀수준 분류를 결합한 영상 의미분할

김선국; 이칠우

doi:10.9717/kmms.2018.21.12.1425

영상수준과 픽셀수준 분류를 결합한 영상 의미분할
Semantic Image Segmentation Combining Image-level and Pixel-level Classification 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.21 no.12, 2018년, pp.1425 - 1430

김선국 (Dept. of Electronic and Computer Engineering, Graduate School, Chonnam National University) , 이칠우 (Dept. of Electronic and Computer Engineering, Chonnam National University)

Abstract ▼ AI-Helper

In this paper, we propose a CNN based deep learning algorithm for semantic segmentation of images. In order to improve the accuracy of semantic segmentation, we combined pixel level object classification and image level object classification. The image level object classification is used to accurately detect the characteristics of an image, and the pixel level object classification is used to indicate which object area is included in each pixel. The proposed network structure consists of three parts in total. A part for extracting the features of the image, a part for outputting the final result in the resolution size of the original image, and a part for performing the image level object classification. Loss functions exist for image level and pixel level classification, respectively. Image-level object classification uses KL-Divergence and pixel level object classification uses cross-entropy. In addition, it combines the layer of the resolution of the network extracting the features and the network of the resolution to secure the position information of the lost feature and the information of the boundary of the object due to the pooling operation.

주제어

표/그림 (4)

그림 Fig. 1. The network architecture proposed in this paper. (a) Convolutional network for extracting features of an image, (b) a segmentation network for increasing the resolution of the lower resolution layer to the resolution of the original image, (c) a network for performing image level object classification, (d) a layer for combining with the layer of the convolution network in the segmentation network.
그림 Fig. 2. A comparison of existing research results with images.
표 Table 1. Comparing Accuracy with Existing Studies
표 Table 2. Comparing the accuracy of each object

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 이미지에 존재하지 않은 물체거나 비율이 낮은 물체의 특징이 많이 추출된다면 정상적인 특징 추출이 이루어지지 않음을 알 수 있다. 따라서 이미지의 특징을 정확하게 추출하여 픽셀수준 물체분류의 정확도를 향상시키기 위해 사용한다.
본 논문에서는 CNN기반의 딥러닝 알고리즘을 사용하여 영상의 픽셀수준 객체분류를 수행하는 새로운 네트워크 구조를 제안하였다. 제안한 구조는 이미지를 해석하는 두 가지 문제인 영상수준 물체분류와 픽셀수준 물체분류를 동시에 사용하여 픽셀단위 물체분류 문제의 정확도를 향상시키기 위한 네트워크구조이다.
따라서 비슷한 특징이 있거나 주변 물체에 비해 뚜렷한 특징이 없는 경우에도 정확도를 향상시키기 위한 알고리즘의 개선이 필요하다. 본 논문에서는 기본적인 픽셀단위 물체분류와 영상수준 물체분류(Imagelevel Object Classification)가 가능한 알고리즘을 제안한다. 영상수준 물체분류란 하나의 이미지 전체가 나타내는 물체를 찾는 것이다.
본 논문에서는 실내 영상을 대상으로 한 의미분할 알고리즘에 대해 기술한다. 실외 영상의 경우(예를 들어 자동차, 도로, 건물 등) 물체마다 다른 패턴과 속성을 지니고 있으므로 비교적 의미분할이 쉽다.

제안 방법

1과 같다. 네트워크 구조는 크게 세 개의 부분으로 나누었으며, 콘볼루션 네트워크, 의미분할 네트워크(Semantic Segmentation Network), 풀리커넥티드 계층(Fully Connected Layer)으로 구성된다.
보통 네트워크가 복잡하고 깊은 구조를 갖을수록 손실함수의 영향력이 줄어들기 때문에 본 논문에서는 네트워크 중간에 학습의 정확도를 높이기 위한 손실함수를 추가했다. 또 영상 전체를 분석하기 위해 영상수준 물체분류에 대한 손실함수를 추가하여 픽셀수준 물체분류에 대한 손실함수와 같이 사용한다.
본 논문에서는 두 개의 문제인 픽셀수준 물체분류와 영상수준 물체분류에 대해 각각의 손실함수를 적용한다. 픽셀수준 물체분류의 손실함수는 식 (2)와 같이 정의하며, 크로스엔트로피를 사용한다.
영상수준 물체분류에 대한 손실함수는 쿨벡-라이블러 분산을 사용하였고 픽셀수준 물체분류에 대한 손실함수는 크로스엔트로피를 사용한다. 영상수준 물체분류를 사용하여 이미지의 특징을 정확하게 추출하였고 연쇄계층을 사용하여 풀링으로 인해 손실된 특징의 위치정보와 물체의 경계에 대한 정보를 보완하였다. 실험결과에서 볼 수 있듯이 뚜렷한 특징이 없거나 주변 픽셀과 비슷한 패턴을 갖는 경우에도 서로 다른 물체로 인식하고 물체의 경계를 잘 표현하는 것을 확인할 수 있었다.
하지만 분할된 영역이 어떤 의미를 지니고 있는지 판단하기 어렵다. 이를 해결하기 위한 방법으로 심층신경망을 이용했다. 심층신경망을 이용한 영상 의미분할 연구의 대표적인 모델은 FCN[8]과 SegNet[9]이 있다.
SegNet[9]은 인코더-디코더의 아키텍처를 사용하였다. 인코더 부분은 콘볼루션 네트워크를 사용하여 이미지의 특징을 추출했고, 디코더 부분은 디콘볼루션 네트워크(Deconvolution Network)를 사용하여 낮은 해상도를 높여 원본 이미지의 해상도로 키우는 역할을 한다. 풀링한 횟수만큼 해상도를 단계적으로 높이며, 풀링하는 과정에서 최댓값의 인덱스 정보를 저장했다가 해상도를 높일 때 최댓값의 인덱스 픽셀에만 값을 부여한다.
본 논문에서는 CNN기반의 딥러닝 알고리즘을 사용하여 영상의 픽셀수준 객체분류를 수행하는 새로운 네트워크 구조를 제안하였다. 제안한 구조는 이미지를 해석하는 두 가지 문제인 영상수준 물체분류와 픽셀수준 물체분류를 동시에 사용하여 픽셀단위 물체분류 문제의 정확도를 향상시키기 위한 네트워크구조이다. 영상수준 물체분류에 대한 손실함수는 쿨벡-라이블러 분산을 사용하였고 픽셀수준 물체분류에 대한 손실함수는 크로스엔트로피를 사용한다.
1(b)이며, 의미분할 네트워크는 콘볼루션 네트워크의 마지막 계층인 저해상도 특징맵(Low Feature Map)을 원본 이미지의 해상도로 복원하여 픽셀수준 물체분류를 수행하기 위해 사용한다. 해상도를 높이는 방법은 이미지를 하나의 픽셀을 4개의 픽셀로 늘리는 방법을 선택했고, 콘볼루션 네트워크의 풀링 횟수와 동일하게 단계적으로 높인다.

대상 데이터

본 논문에서는 평가방법으로 MIoU(Mean Intersection-over-union)와 Mean을 사용하고 데이터 셋은 SUN RGB-D 데이터 셋[12]을 사용하였다. 데이터 셋은 총 5285개의 학습 데이터와 5050개의 실험데이터로 해상도는 224*224이다.
본 논문에서는 평가방법으로 MIoU(Mean Intersection-over-union)와 Mean을 사용하고 데이터 셋은 SUN RGB-D 데이터 셋[12]을 사용하였다. 데이터 셋은 총 5285개의 학습 데이터와 5050개의 실험데이터로 해상도는 224*224이다.

이론/모형

FCN[8]은 물체분류 모델인 VGG[3]을 기반으로 설계했다. 이 방법은 전단에 이미지의 특징을 추출하는 컨볼루션 네트워크(Convolution Network)와 콘볼루션 네트워크의 마지막 층은 풀링(Pooling)을 이용했기 때문에 해상도가 낮다.
이 방법은 전단에 이미지의 특징을 추출하는 컨볼루션 네트워크(Convolution Network)와 콘볼루션 네트워크의 마지막 층은 풀링(Pooling)을 이용했기 때문에 해상도가 낮다. 낮은 해상도를 원본이미지의 해상도로 크기를 키우는 과정에서 특징의 위치 정보와 물체의 영역에 대한 정보를 보완하기 위해서 스킵 아키텍처(Skip Architecture)를 사용한다. 스킵 아키텍처는 콘볼루션 네트워크의 계층을 이용하며 해상도에 따라 여러 개 존재한다.
크로스엔트로피는 미분 가능하며, 확률의 정도에 따른 가중치를 적용할 수 있기 때문에 유사한 연구에서 널리 사용되고 있다. 또 하나의 픽셀에서 물체의 분류에 대한 확률을 계산하기 위해 소프트맥스(Softmax) 함수를 사용한다. 소프트맥스는 한 픽셀의 인덱스를 지수함수에 적용하여 0보다 큰 값으로 만들며 식 (1)과 같다.
제안한 구조는 이미지를 해석하는 두 가지 문제인 영상수준 물체분류와 픽셀수준 물체분류를 동시에 사용하여 픽셀단위 물체분류 문제의 정확도를 향상시키기 위한 네트워크구조이다. 영상수준 물체분류에 대한 손실함수는 쿨벡-라이블러 분산을 사용하였고 픽셀수준 물체분류에 대한 손실함수는 크로스엔트로피를 사용한다. 영상수준 물체분류를 사용하여 이미지의 특징을 정확하게 추출하였고 연쇄계층을 사용하여 풀링으로 인해 손실된 특징의 위치정보와 물체의 경계에 대한 정보를 보완하였다.
영상수준 물체분류에 대한 참값은 식 (3)과 같이 정의하였고, 추정값은 영상수준 물체분류에 대한 확률이다. 참값과 추정값의 확률분포가 유사하도록 학습하기 위해서 쿨벡-라이블러 발산(KL-Divergence)[11]을 사용한다. 쿨벡-라이블러 발산을 사용한 이유는 참값과 추정값의 확률 분포가 유사한 형태를 갖도록 하기 위해서 이다.
픽셀수준 객체분류의 평가 방법은 MIoU와 Mean이다. MIoU는 객체별 참값의 영역과 추정값의 영역의 교집합을 합집합으로 나눈 값을 의미한다.

성능/효과

영상수준 물체분류를 사용하여 이미지의 특징을 정확하게 추출하였고 연쇄계층을 사용하여 풀링으로 인해 손실된 특징의 위치정보와 물체의 경계에 대한 정보를 보완하였다. 실험결과에서 볼 수 있듯이 뚜렷한 특징이 없거나 주변 픽셀과 비슷한 패턴을 갖는 경우에도 서로 다른 물체로 인식하고 물체의 경계를 잘 표현하는 것을 확인할 수 있었다. 향후 연구과제로는 입력데이터로 깊이데이터를 사용하지 않고 깊이를 추정하는 네트워크를 추가하여 의미분할과 깊이추정을 동시에 수행하는 네트워크 구조를 제안하고자 한다.
두 개의 평가 방법인 Mean과 MIoU를 이용해 기존 모델과 정확도를 비교한 결과이다. 인코더디코더 모델인 SegNet[9]과 유사한 구조를 사용했기 때문에 정확도를 비교하면, 영상수준 물체분류를 사용했을 때 정확도가 향상됨을 확인할 수 있다.
기존의 논문 중에는 의자의 다리와 같이 주변 물체의 특징에 비해 뚜렷하지 않아 사라지는 경우가 발생하였고 주변 물체와 비슷한 패턴을 갖고 있어서 정확하게 분할하지 못하는 경우가 발생한다. 하지만 본 논문에서 제안하는 네트워크 구조의 결과이미지를 보면 뚜렷한 패턴이 없는 경우에도 주변 물체와 분할된 모습을 볼 수 있고 의자의 다리와 같이 주변 물체의 특징에 사라지는 물체의 경우에도 표현할 수 있는 것을 볼 수 있다.

후속연구

실험결과에서 볼 수 있듯이 뚜렷한 특징이 없거나 주변 픽셀과 비슷한 패턴을 갖는 경우에도 서로 다른 물체로 인식하고 물체의 경계를 잘 표현하는 것을 확인할 수 있었다. 향후 연구과제로는 입력데이터로 깊이데이터를 사용하지 않고 깊이를 추정하는 네트워크를 추가하여 의미분할과 깊이추정을 동시에 수행하는 네트워크 구조를 제안하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	컴퓨터비전 분야에서 픽셀단위 의미분할이란?	컴퓨터비전 분야에서 픽셀단위 의미분할(pixellevel semantic segmentation)이란 영상의 각 픽셀들이 특정 물체 또는 어떤 의미를 지닌 영역에 속하는지를 구분해주는 작업을 말한다. 예를 들면 영상에 의자와 책상이 포함되어 있을 때 의자 부분에 속한 픽셀들은 의자라는 물체를 나타내는 기호(대개는 숫자 아이디)로, 책상 영역에 속한 픽셀들은 책상을 나타내는 기호로 분류될 때 이를 픽셀단위 의미분할 또는 픽셀단위 물체분류(Pixel-level Object Classification)라고 한다.
	실외 영상에서 의미분할이 쉬운 이유는?	본 논문에서는 실내 영상을 대상으로 한 의미분할 알고리즘에 대해 기술한다. 실외 영상의 경우(예를 들어 자동차, 도로, 건물 등) 물체마다 다른 패턴과 속성을 지니고 있으므로 비교적 의미분할이 쉽다. 반면 실내 영상에 포함된 물체, 즉 의자, 책상, 침대, 커튼 등은 비슷한 형상과 특징을 갖는 경우가 많아서 실외데이터에 비해서 의미분할이 용이하지 않다.
	CNN 기반의 심층신경망 기술을 이용하여 정확한 의미분할을 얻고자 하는 연구가 진행되는 이유는?	이를 위해서 기존 연구에서는 단순히 주변 픽셀과 밝기, 색상 등이 비슷한 픽셀들을 군집화한 후에 분류기를 통해서 영역을 분할하거나 슈퍼픽셀을 이용하여 의미분할을 수행한다[1]. 하지만 종래의 방법들은 비슷한 색상정보를 갖고 서로 근접한 픽셀을 단순히 결합 또는 분리하였을 뿐 해당 픽셀이 어떤 물체의 영역 혹은 영상 전체의 배경, 전경 등 고수준의 의미를 고려한 분할은 불가능하였다. 이런 문제를 해결하기 위해서 최근에는 CNN 기반의 심층신경망 기술을 이용하여 정확한 의미분할을 얻고자 하는 많은 연구가 진행되고 있다[2,3,4,5,6,7,8,9].

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증