[논문]딥러닝을 이용한 Semantic Segmentation 기술 동향 분석

박상용; 허용석

딥러닝을 이용한 Semantic Segmentation 기술 동향 분석 원문보기

박상용 (아주대학교 전자공학과) , 허용석 (아주대학교 전자공학과)

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 딥러닝을 의미론적 분할 문제에 적용한 기법들의 일반적인 특징과, 각 기법이 가지고 있는 장점을 간략하게 설명하였다. 의미론적 분할 문제는 영상이 복잡해지거나 분류하기 위한 클래스가 많아지면 정확도가 떨어지는 것이 일반적이다.
본 논문에서는 이러한 딥러닝 네트워크를 이용한 의미론적 영상 분할 기술 동향을 소개 한다. 2장에서는 이러한 기술들에 대한 개요를 소개하고, 3장에서는 각 기법들을 간략하게 설명한다.

제안 방법

U-Net[8]은 FCN[6]이나 Deeplab[5]과는 다르게 암호기-복호기(Encoder-Decoder)의 형식을 가진 네트워크를 구성한다. FCN[6]과 Deeplab[5]의 구조는 합성곱 층을 통해 얻은 특징점 지도를 원본 이미지 크기와 같게 만들어 주기 위하여 단순 up-sampling을 하는 구조를 사용하였지만, U-Net은 특징점 지도의 up-sampling을 단계적으로 수행하는 디코더의 구조를 제안하였다. 일반적으로, 암호기는 넓은 영역의 특징점을 효과적으로 추출하기 위하여 특징점 지도의 해상도가 층이 깊어질수록 점차 작아지는 네트워크 구조를 가진다.
기존의 ResNet[12]에서 fully connected 층을 제거하고, 대신에 pooling 크기를 다르게 하여 4가지의 특징점 지도를 구하고, 1x1 합성곱을 이용하여 특징점 지도의 차원을 조정한다. 그리고 선형 up-sampling을 통해 pooling하기 전의 원본 영상의 해상도로 키워서 각 특징점 지도들을 원본 영상 크기로 만들어서 결합한다. 마지막으로, 이렇게 생성된 특징점 지도를 1x1 합성곱을 하여 확률 지도를 얻어 결과를 구하는 방식이다.
이러한 FCN은 특징점을 추출하는 네트워크의 앞부분은 기존에 제안되었던 vggNet[7]의 구조에서 fully connected 층만 제거하고 기존에 영상 분류를 위해 학습된 네트워크의 구조와 가중치를 사용하였다. 이러한 특징점 추출 네트워크는 일반적으로 합성곱을 수행 시에 stride와 pooling의 영향으로 층이 깊어질수록 특징점 지도의 해상도가 줄어드는 특징이 있다.
해상도를 원본 이미지 크기로 정밀한 복원을 위하여 이 기법에서는 [그림 3]과 같이 특징점을 추출하는 각 층에서의 특징점을 이미지 해상도를 키우는 역할을 하는 네트워크 층의 입력 정보로 결합하여 사용하는 skip connection 네트워크 구조를 제안하였다. 이를 위해 3가지 방식을 제안하였는데, 가장 기본이 되는 첫번째 방식은 [그림 3]에서와 같이 conv7의 출력 특징점을 원본 영상 해상도로 복원하기 위해서 직접 32배 up-sampling하는 방식 (그림 3 제일 오른쪽 층의 상위 결과)이다. 두번째로, conv7의 출력 특징점을 2배 up-sampling하고 conv4를 pooling하여 얻는 출력 특징점을 결합(concatenation)하여 얻은 새로운 특징점을 16배 만큼 up-sampling하는 방식(그림 3 제일 오른쪽 층의 중간 결과)이 있다.
즉, 얕은 단계 층(low level layer)에서 추출한 특징점의 고 주파수 정보 (low frequency)와 깊은 단계 층(high level layer)에서 추출한 특징점의 저 주파수 정보의 장점만을 취할 수 있게 네트워크를 구성하였다. 이를 위해서 [그림 11]에서와 같이 얕은 단계 층의 특징점으로 부터는 물체의 경계 부분의 정보를 취할 수 있도록 하고, 깊은 단계 층에서 추출한 특징점으로 부터는 물체 경계 이외의 정보를 취하여 서로 결합하는 방식을 제안하였다. 한편, [그림 12]에서와 같이 up-sampling을 할 때, 단순 선형 보간법이 아닌 학습된 재구축(reconstruction) 네트워크를 제안하여서물체 경계 부분의 정확도를 더욱 높였다.
LRR[10]기법은 이러한 이율배반적인 특징을 파악하여, 각 층의 장점만을 취할 수 있는 네트워크를 제안하였다. 즉, 얕은 단계 층(low level layer)에서 추출한 특징점의 고 주파수 정보 (low frequency)와 깊은 단계 층(high level layer)에서 추출한 특징점의 저 주파수 정보의 장점만을 취할 수 있게 네트워크를 구성하였다. 이를 위해서 [그림 11]에서와 같이 얕은 단계 층의 특징점으로 부터는 물체의 경계 부분의 정보를 취할 수 있도록 하고, 깊은 단계 층에서 추출한 특징점으로 부터는 물체 경계 이외의 정보를 취하여 서로 결합하는 방식을 제안하였다.
의미론적 영상 분할 문제와 같이 픽셀 별로 분류를 수행하기 위해서는 이렇게 줄어드는 해상도를 원본 영상의 해상도로 복원해야하는 어려움이 존재한다. 해상도를 원본 이미지 크기로 정밀한 복원을 위하여 이 기법에서는 [그림 3]과 같이 특징점을 추출하는 각 층에서의 특징점을 이미지 해상도를 키우는 역할을 하는 네트워크 층의 입력 정보로 결합하여 사용하는 skip connection 네트워크 구조를 제안하였다. 이를 위해 3가지 방식을 제안하였는데, 가장 기본이 되는 첫번째 방식은 [그림 3]에서와 같이 conv7의 출력 특징점을 원본 영상 해상도로 복원하기 위해서 직접 32배 up-sampling하는 방식 (그림 3 제일 오른쪽 층의 상위 결과)이다.

이론/모형

최근 의미론적 영상 분할 문제에서도 ResNet[12] 모델을 사용하여 우수한 성능을 내는 기법들이 등장하였다. PSPNet[11]은 [그림 13]과 같이 ResNet을 이용하여 특징점 정보를 추출한 후 pooling의 크기를 4가지로 나누어 결합한 특징점 지도를 up-sampling하는 방식을 사용하였다. 기존의 ResNet[12]에서 fully connected 층을 제거하고, 대신에 pooling 크기를 다르게 하여 4가지의 특징점 지도를 구하고, 1x1 합성곱을 이용하여 특징점 지도의 차원을 조정한다.
합성곱 층의 앞부분은 기존 CNN과 같은 커널을 사용하고 뒷부분에는 atrous convolution을 이용한 네트워크를 사용한다. 그리고 CNN의 결과 해상도가 원본 이미지와 같도록 이미지 보간법을 이용하였는데, 물체의 경계 부근의 정보를 보다 정교하게 구별하기 위해 CRF(Conditional Random Field)를 이용하여 후처리를 수행하였다.

성능/효과

이를 위해 3가지 방식을 제안하였는데, 가장 기본이 되는 첫번째 방식은 [그림 3]에서와 같이 conv7의 출력 특징점을 원본 영상 해상도로 복원하기 위해서 직접 32배 up-sampling하는 방식 (그림 3 제일 오른쪽 층의 상위 결과)이다. 두번째로, conv7의 출력 특징점을 2배 up-sampling하고 conv4를 pooling하여 얻는 출력 특징점을 결합(concatenation)하여 얻은 새로운 특징점을 16배 만큼 up-sampling하는 방식(그림 3 제일 오른쪽 층의 중간 결과)이 있다. 세번째로, conv3의 특징점, conv4의 특징점, 그리고 conv7의 특징점을 같은 해상도가 되게 적절한 크기로 up-sampling을 통해서 얻은 결과들을 결합하여 새로운 특징점을 생성한 후에, 이 결과를 이용하여 8배 up-sampling하는 방식(그림 3 제일 오른쪽 층의 아래 결과)이 있다.

후속연구

또한, 픽셀 단위로 분류의 정확도가 요구되기 때문에 일반적인 물체 분류나 물체 검출 기법들에 비하여 많은 양의 계산량과 메모리가 소요되어 높은 정확도로 실시간 동작이 어렵다는 점이 존재한다. 향후에는 이러한 문제들을 해결할 수 있는 연구가 계속되어 다양한 방면에서 활용이 가능한 기술들이 제안될 것으로 예상된다.

핵심어

질문

논문에서 추출한 답변

영상 분할(semantic segmentation)이란?

영상 분할(semantic segmentation)은 픽셀 별로 미리 정의된 몇 개의 클래스에 대하여 분류(classification)를 하는 문제로서 시각적 환경을 완전히 이해하는 데 필요한 핵심적인 컴퓨터 비전 기술 중의 하나이다. 이러한 의미론적 영상 분할은 최근 자율 주행, 실내 및 실외 지역의 의미론적 3D 재구성, 의료 영상 분석, 가상 및 증강 현실 시스템을 비롯한 다양한 응용 분야에서 사용된다.

기존에 CNN이 제안된 이유는?

기존의 우수한 성능을 내는 CNN은 주로 이미지 분류 문제나 물체 검출 문제를 풀기 위하여 제안되었는데, FCN[6]은 이렇게 고안된 기존의 CNN을 픽셀 단위로 분류를 수행하는 의미론적 영상 분할 분야에 처음으로 적용한 기법이다. 기존의 대부분의 영상 분류를 위한 네트워크들은 마지막 층에 fully connected 층으로 구성되어서 분류 문제나 물체 검출 문제에는 적합하지만, 픽셀 단위로 조밀한 분류를 해야 하는 문제에는 적합하지 않다.

FCN의 특징점 추출 네트워크의 특징은?

이러한 특징점 추출 네트워크는 일반적으로 합성곱을 수행 시에 stride와 pooling의 영향으로 층이 깊어질수록 특징점 지도의 해상도가 줄어드는 특징이 있다. 의미론적 영상 분할 문제와 같이 픽셀 별로 분류를 수행하기 위해서는 이렇게 줄어드는 해상도를 원본 영상의 해상도로 복원해야하는 어려움이 존재한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝을 이용한 Semantic Segmentation 기술 동향 분석 원문보기

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝을 이용한 Semantic Segmentation 기술 동향 분석 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper