[논문]공간 클래스 단순화를 이용한 의미론적 실내 영상 분할

김정환; 최형일

doi:10.7472/jksii.2019.20.3.33

공간 클래스 단순화를 이용한 의미론적 실내 영상 분할
Semantic Indoor Image Segmentation using Spatial Class Simplification 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.20 no.3, 2019년, pp.33 - 41

김정환 (School of Media, Soongsil Univ) , 최형일 (School of Media, Soongsil Univ)

초록
AI-Helper

본 논문에서는 실내 공간 이미지의 의미론적 영상 분할을 위해 배경과 물체로 재설계된 클래스를 학습하는 방법을 제안한다. 의미론적 영상 분할은 이미지의 벽이나 침대 등 의미를 갖는 부분들을 픽셀 단위로 나누는 기술이다. 기존 의미론적 영상 분할에 대한 연구들은 신경망을 통해 이미지의 다양한 객체 클래스들을 학습하는 방법들을 제시해왔고, 긴 학습 시간에 비해 정확도가 부족하다는 문제가 지적되었다. 그러나 물체와 배경을 분리하는 문제에서는, 다양한 객체 클래스를 학습할 필요가 없다. 따라서 우리는 이 문제에 집중해, 클래스를 단순화 후에 학습하는 방법을 제안한다. 학습 방법의 실험 결과로 기존 방법들보다 정확도가 약 5~12% 정도 높았다. 그리고 같은 환경에서 클래스를 달리 구성했을 때 학습 시간이 약 14 ~ 60분 정도 단축됐으며, 이에 따라 물체와 배경을 분리하는 문제에 대해 제안하는 방법이 효율적임을 보인다.

Abstract ▼ AI-Helper

In this paper, we propose a method to learn the redesigned class with background and object for semantic segmentation of indoor scene image. Semantic image segmentation is a technique that divides meaningful parts of an image, such as walls and beds, into pixels. Previous work of semantic image segmentation has proposed methods of learning various object classes of images through neural networks, and it has been pointed out that there is insufficient accuracy compared to long learning time. However, in the problem of separating objects and backgrounds, there is no need to learn various object classes. So we concentrate on separating objects and backgrounds, and propose method to learn after class simplification. The accuracy of the proposed learning method is about 5 ~ 12% higher than the existing methods. In addition, the learning time is reduced by about 14 ~ 60 minutes when the class is configured differently In the same environment, and it shows that it is possible to efficiently learn about the problem of separating the object and the background.

주제어

표/그림 (8)

그림 (그림 1) 의미론적 영상 분할 예시 (Figure 1) Example of Semantic image segmentation
그림 (그림 2) 초기 CNN 구조 예시 (Figure 2) Example of CNN Structure
그림 (그림 3) 잔여 학습의 구조 예시 (Figure 3) Example of residual learning structure
표 (표 1) 제안하는 의미론적 영상 분할 알고리즘 (Table 1) Proposed semantic image segmentation algorithm
그림 (그림 4) 제안하는 의미론적 영상 분할 전체 구조 (Figure 4) A brief structure of proposed semantic image segmentation
그림 (그림 5) NYU Depth v2 데이터셋 원본 영상, 정답 값 및 실제 예측 값 예시 (Figure 5) NYU Depth v2 Dataset : Original image, Ground truth and Prediction
표 (표 2) 의미론적 영상 분할 정확도 테스트 결과 비교 (Table 2) Comparison of semantic segmentation accuracy test results
표 (표 3) 클래스 개수별 학습 시간 비교 (Table 3) Comparison of learning time by class number

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

가장 간단한 Up-scale 방법은 양선형 보간법(Bilinear Interpolation)을 수행해 크기를 늘리는 방법이 있으나, 그 방법만을 사용한다면 원본을 복원하기엔 세밀함이 떨어진다. 따라서 FCN에서는 세밀한 정보를 보강하기 위해 각 convolution 계층별로 남아있는 pooling이 수행되기 이전에 조금 더 큰 크기의 중간 결과(특징 맵)를 참고하여 원본의 세밀한 부분을 살려 정교하게 예측하고자 했다. 그러나 이후 원본 크기로 복원한 영상 분할의 세밀함이 부족하다는 문제가 제기되면서 그 이후 해마다 성능을 향상시킨 방법을 제안하는 논문들이 다수 발표되었다.

가설 설정

앞서 언급한 실내 기반 AR 앱에서 서비스 중인 기능들은 대부분 독자적인 알고리즘과 GPS 등에 의한 공간 구조 분석에 의해 이루어진 것으로, 고화질 동영상에 대한 처리 속도나 정확도에 대한 문제가 다소 존재한다. 물론 기계 학습을 적용한 경우에도 같은 문제가 발생할 수 있으나, 실제 적용을 가정해본다면 다르다. 실제 제공 중인 서비스에서 최우선적으로 필요한 요소는 촬영한 화면상에서 무엇이 배경이고 물체인지 빠르고 정확하게 인식하는 것이고, 그 이후에 가상 시뮬레이션을 제공해야 한다.

제안 방법

‘배경’ 클래스에는 천장, 바닥, 벽 클래스를 할당했고, ‘물체’ 클래스에는 배경을 제외한 물체 클래스들, 그리고 그 외에 분류되지 않은 부분을 ‘기타’ 클래스를 할당하여 총 3개의 클래스로 설계했다.
Encoder –Decoder 구조는 Encoder 부분에 CNN을 배치하여 중간에서 최종적 특징 맵을 추출한다. Decoder 부분에는 Encoder와 대칭이 되는 신경망을 배치하고 대칭되는 각 convolution 계층에 남아있던 특징 맵을 참고로 하여 Up-Scale하게 하여 보다 세밀한 영상 분할에 초점을 두었다. 또한 추가적으로 pooling 계층을 일부 삭제해서 특징 맵이 갈수록 줄어드는 부분을 줄였다[11].
[5]에서 발표된 ResNet은 잔여 학습의 제시와 필터의 분리를 효과적으로 활용하여 기존 방법보다 이례적으로 더 많은 계층인 100계층 이상의 신경망 학습이 가능하도록 설계한 구조를 발표했고, 오류율이 3.58% 수준으로 감소하게 되어 뛰어난 성능을 보였고, 본 논문에서는 이 ResNet구조를 활용하여 학습 신경망을 구성했다.
하지만 앞서 설명한 AR 앱의 경우처럼 실내 공간 이미지를 배경과 물체만으로 나누어 응용하는 실내공간 정보 분석 문제의 경우에, 그 물체가 어떤 것인지 알 필요가 없다. 따라서 본 논문에서는 배경과 객체를 분리하는 문제에 집중하여, 클래스를 배경과 물체로 대폭 줄여 학습시킨다.
본 논문에서는 ‘배경’과 ‘객체’의 분리에 집중하여, 이미지 안의 객체의 클래스를 단순화한 후 신경망 학습을 통해 의미론적 영상 분할을 수행하여 기존의 방법보다 특정 경우에 효율적이고 성능을 향상시킬 수 있는 방법을 제안한다.
본 논문에서는 세밀하게 각 객체 별로 분류하는 것이 아닌 객체와 배경으로 구별하는 문제에 집중하여, 실내공간 이미지에 대해 ResNet 기반 Deeplab 구조를 활용한 의미론적 영상 분할 학습 네트워크를 3 클래스로 구성해서 학습을 수행했다. 실험 결과 기존 방법보다 평균 IoU와 픽셀 정확도 수치를 비교했을 때 높은 수치를 보였고, 따라서 제안하는 방법이 수치상으로 기존 방법보다 더 정확하게 의미론적 영상 분할을 수행했음을 보였다.
신경망 구조로는 앞서 설명한 Deeplab 팀의 가장 성능이 좋았던 최신 버전인 v3+ 버전을 활용했다. ResNet의 100 계층 이상 깊은 망을 가진 버전들은 크기가 작은 데 이터셋에 대해 과적합이 발생할 수 있기 때문에 Encoder에 사용되는 CNN 구조는 ResNet의 50 계층 버전을 사용했다.
그 결과로 간단히 깊은 신경망의 최적화가 가능해지고, 깊어진 신경망으로 인해 더 깊고 세밀한 특징 필터를 학습할 수 있게 되었다. 추가적으로 convolution에 사용되는 5x5 크기의 필터를 3x3 크기의 필터 2개로 대체하는 등의 필터를 분해하는 기술을 추가하였는데, 이 또한 연산량을 줄이는 동시에 정확도를 높이는 역할을 했다.
ResNet의 100 계층 이상 깊은 망을 가진 버전들은 크기가 작은 데 이터셋에 대해 과적합이 발생할 수 있기 때문에 Encoder에 사용되는 CNN 구조는 ResNet의 50 계층 버전을 사용했다. 학습에 사용된 Hyper-Parameter인 활성화 함수, 손실 함수, learning rate는 여러 실험을 진행한 결과 본 학습에서는 다른 값들이나 함수와 큰 차이가 없어 이후 표 1의 설명할 부분대로 전반적으로 준수한 성능을 보이는 함수와 값을 사용했다. 표 1은 본 논문에서 제안하고자 하는 의미론적 영상 분할 방법 알고리즘을 순서대로 표현한 것이고, 그림 4는 그 알고리즘 구조를 그림으로 간략하게 표현한 것이다.

대상 데이터

신경망 구조로는 앞서 설명한 Deeplab 팀의 가장 성능이 좋았던 최신 버전인 v3+ 버전을 활용했다. ResNet의 100 계층 이상 깊은 망을 가진 버전들은 크기가 작은 데 이터셋에 대해 과적합이 발생할 수 있기 때문에 Encoder에 사용되는 CNN 구조는 ResNet의 50 계층 버전을 사용했다. 학습에 사용된 Hyper-Parameter인 활성화 함수, 손실 함수, learning rate는 여러 실험을 진행한 결과 본 학습에서는 다른 값들이나 함수와 큰 차이가 없어 이후 표 1의 설명할 부분대로 전반적으로 준수한 성능을 보이는 함수와 값을 사용했다.
한계점으로, 원본 데이터셋 자체에 미 분류된 값이 다소 존재하기 때문에 추후에 궁극적으로 세밀한 영상 분할을 수행하기 위해서는 미 분류된 부분을 알고리즘을 통해 전처리를 하거나, 더욱 세밀한 영상 분할 맵을 정답값으로 가지는 데이터셋을 사용해야 한다. 또한 실험에 사용된 데이터셋의 클래스 수는 894개인데 학습에 사용된 이미지 수는 총 1,449장 중 889장으로, 비교적 적은 데이터 때문에 충분한 학습을 하지 못했을 것이다. 따라서 더 많은 데이터와 충분히 세밀한 영상 분할 맵을 정답 값으로 가진 데이터셋을 추가로 학습한다면 더 좋은 효과를 볼 수 있을 것이다.
실제 학습과 테스트에 사용된 컴퓨터의 CPU는 Intel i5-4690 CPU 3.5GHz, 메모리는 8Gb, VGA는 NVIDIA GeForce GTX 1050 Ti이며, OS는 Windows 10 Pro 64-bit 환경에서 학습을 수행하고 테스트했다.
실험에는 NYU Depth V2 데이터셋[13]을 사용했고, 이 데이터셋은 480x640 크기의 실내 공간 이미지를 벽, 사람, 침대, 컴퓨터 등의 894 클래스로 구분하여 픽셀단위로 의미기반 영상 분할된 이미지를 정답 값으로 가지고 있다. Depth 정보가 있으나, 실험에서는 사용되지 않았다.
Depth 정보가 있으나, 실험에서는 사용되지 않았다. 총 1,449장의 이미지로 구성이 되어 있으며, 실험에서 Training image를 889장, Validation image를 224장, Test image를 336장으로 구성하여 학습했다.
학습과 테스트에 사용된 신경망은 ResNet의 50 Layer구조를 사용한 Deeplab의 v3+ 버전을 사용했고 Tensorflow로 구현한 소스코드를 참조했다. Hyper-Parameter 설정은 이미지 crop size를 256 x 256로 설정하였고, 손실 함수로는 cross_entropy, 활성화 함수를 ReLU, Learning rate는 0.

데이터처리

그 외에 픽셀 정확도는 예측한 영상분할 맵을 정답 영상 분할 맵과 비교해서 올바른 클래스로 분류된 픽셀의 비율을 측정한 정확도이다. 정확도 비교에 참조된 [7, 8, 9, 10]은 NYU Depth v2 데이터셋을 이용해 클래스는 40개로 학습 후 의미론적 영상 분할을 수행한 실험 결과를 발표했고, 각 논문의 가장 성능이 좋았던 결과를 토대로 비교했다.

이론/모형

학습과 테스트에 사용된 신경망은 ResNet의 50 Layer구조를 사용한 Deeplab의 v3+ 버전을 사용했고 Tensorflow로 구현한 소스코드를 참조했다. Hyper-Parameter 설정은 이미지 crop size를 256 x 256로 설정하였고, 손실 함수로는 cross_entropy, 활성화 함수를 ReLU, Learning rate는 0.0001에 Adam 기법을 적용해 학습했다. 참조한 소스 코드의 링크는 다음과 같다.
본 논문에서는 최근까지 계속 업그레이드 하면서 성능을 향상시킨 구조인 Deeplab[11, 12]을 본 논문에서 활용한다. Deeplab은 핵심적으로 Atrous Convolution, ASPP(Atrous Spatial Pyramid Pooling), Encoder–Decoder 구조 등을 이용해 성능을 향상시켜왔다.
표 1의 2번에서는 여러 크기의 필터를 거쳐 얻어진 특징 맵들에는 각 클래스에 해당하는 부분에 값이 크게 남아있다. 이때 각 필터 별로 데이터를 합치는 ASPP 방법이 사용되어, 종합적으로 각 클래스 필터 별로 다르게 색이 칠해진 최종 특징 맵들을 얻는다. 이 최종 특징 맵들을 하나로 합치게 되면 작은 크기의 초기 영상 분할 맵이 생성된다.
표 1의 4번에서는 최종적으로 예측된 영상 분할 맵과 정답 영상 분할 맵을 비교해 오차를 측정하는데, Cross-entropy기법을 사용한다. 첫 번째 수행일 경우 Encoder와 Decoder의 필터들이 학습되어있지 않기 때문에 큰 오차가 발생할 것이다.

성능/효과

‘배경’ 클래스에는 천장, 바닥, 벽 클래스를 할당했고, ‘물체’ 클래스에는 배경을 제외한 물체 클래스들, 그리고 그 외에 분류되지 않은 부분을 ‘기타’ 클래스를 할당하여 총 3개의 클래스로 설계했다. 그 결과로 Encoder와 Decoder에 입출력되는 Feature 맵의 종류가 대폭 감소하기 때문에 기존의 다양한 클래스로 구성하는 방법보다 연산 시간이 감소하는 효과 또한 기대할 수 있다.
Atrous convolution이란 convolution시에 필터 일부분만 사용하고 나머지는 0으로 채워 연산하는 방법으로, 학습시킬 필터의 가중치 개수가 줄어드는 효과를 얻을 수 있다. 그로 인해 기존에 연산량 때문에 적용하지 못했던 큰 크기의 필터를 사용할 수 있는 이점을 얻었다. ASPP는 Atrous convolution을 활용해 여러 크기의 필터를 연산하고 이를 다시 하나의 특징 맵으로 합쳐주는 방법이며, 더 넓은 범위의 특징을 연산의 증가 없이 검출할 수 있게 되었다[10].
본 논문에서는 세밀하게 각 객체 별로 분류하는 것이 아닌 객체와 배경으로 구별하는 문제에 집중하여, 실내공간 이미지에 대해 ResNet 기반 Deeplab 구조를 활용한 의미론적 영상 분할 학습 네트워크를 3 클래스로 구성해서 학습을 수행했다. 실험 결과 기존 방법보다 평균 IoU와 픽셀 정확도 수치를 비교했을 때 높은 수치를 보였고, 따라서 제안하는 방법이 수치상으로 기존 방법보다 더 정확하게 의미론적 영상 분할을 수행했음을 보였다.
이로 인해 앞에 제시된 AR 기술의 경우처럼 ‘객체와 배경의 분리’가 효과적인 실내 공간 정보 분석 문제에서 제안하는 방법이 실험에 비교된 기존 방법보다 더 효율적으로 작용할 것이다.
각각 픽셀 정확도, 평균 IoU, 그리고 학습에 사용된 기반 구조를 포함하고 있으며, 기반 구조의 앞 영문은 사용된 신경망 명칭의 약자이고 뒤의 숫자는 신경망 계층의 수이다. 제안하는 방법으로 클래스를 단순화하여 학습을 수행했을 때 평균 IoU 수치와 픽셀 정확도가 각각 51.9%와 80.5%로 기존 방법들보다 정확도가 높았다.
표 3은 같은 실험 환경에서 클래스를 달리 구성하여 각 1회씩 학습을 했을 경우의 소요 시간을 나타낸다. 클래스의 개수를 원본대로 894개와 기존 연구된 논문들이 구성했던 40개, 본 논문의 클래스 3개로 설정하여 수행한 학습 시간을 비교했을 때, 제안하는 방법이 각각 약 60분, 14분 정도 적게 소요되었다.

후속연구

추후에 연산량 감소 부분이 더 연구된다면 모바일 환경에서의 학습 가능성이 생긴다. 더 나아가 실제사용자가 서비스를 이용하면서, 실시간으로 학습하며 중심 신경망을 보조하는 모바일 환경의 보조 신경망을 구성할 수 있을 것이다.
또한 실험에 사용된 데이터셋의 클래스 수는 894개인데 학습에 사용된 이미지 수는 총 1,449장 중 889장으로, 비교적 적은 데이터 때문에 충분한 학습을 하지 못했을 것이다. 따라서 더 많은 데이터와 충분히 세밀한 영상 분할 맵을 정답 값으로 가진 데이터셋을 추가로 학습한다면 더 좋은 효과를 볼 수 있을 것이다.
따라서 현재 지속적인 성장을 보여주고 있는 기계 학습 기술을 접목시키되, 실내 공간상에서 배경과 물체의 분리에 대해 학습시킨다면 앞의 사례와 같은 경우에 높은 효율을 보일 것이다. 또한 레이아웃 검출에 방해가 되는 물체를 배제할 수 있어서 정확도를 향상시킬 수 있고, 이를 응용해 레이아웃을 3D로 재구축하는 문제에도 효율적으로 작용할 수 있다.
이로 인해 앞에 제시된 AR 기술의 경우처럼 ‘객체와 배경의 분리’가 효과적인 실내 공간 정보 분석 문제에서 제안하는 방법이 실험에 비교된 기존 방법보다 더 효율적으로 작용할 것이다. 추후에 연산량 감소 부분이 더 연구된다면 모바일 환경에서의 학습 가능성이 생긴다. 더 나아가 실제사용자가 서비스를 이용하면서, 실시간으로 학습하며 중심 신경망을 보조하는 모바일 환경의 보조 신경망을 구성할 수 있을 것이다.
한계점으로, 원본 데이터셋 자체에 미 분류된 값이 다소 존재하기 때문에 추후에 궁극적으로 세밀한 영상 분할을 수행하기 위해서는 미 분류된 부분을 알고리즘을 통해 전처리를 하거나, 더욱 세밀한 영상 분할 맵을 정답값으로 가지는 데이터셋을 사용해야 한다. 또한 실험에 사용된 데이터셋의 클래스 수는 894개인데 학습에 사용된 이미지 수는 총 1,449장 중 889장으로, 비교적 적은 데이터 때문에 충분한 학습을 하지 못했을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	‘IKEA Place’이란 AR 앱은 어떤 서비스를 제공하는가?	콘텐츠 분야에서도 글자와 사진, 동영상을 뛰어 넘어 직접 유사 체험이 가능한 AR(Augmented Reality)이나 VR(Virtual Reality)과 같은 기술을 사용한 콘텐츠가 주목받으며 그 중요성이 날이 갈수록 증가되고 있는 추세이다. 다국적 가구 및 인테리어 전문 기업 IKEA에서는 ‘IKEA Place’라는 모바일 AR 앱을 상용화하여 서비스 하고 있는데, 이 앱은 사용자가 실내 공간을 촬영해AR 기술을 사용하여 직접 가상의 가구를 배치하는 시뮬레이션을 수행할 수 있다. 그리고 카메라 화면상에서 다음 방향을 제시해주는 실내 내비게이션 기능의 AR 앱도여럿 존재한다.
	의미론적 영상 분할이란?	본 논문에서는 실내 공간 이미지의 의미론적 영상 분할을 위해 배경과 물체로 재설계된 클래스를 학습하는 방법을 제안한다. 의미론적 영상 분할은 이미지의 벽이나 침대 등 의미를 갖는 부분들을 픽셀 단위로 나누는 기술이다. 기존 의미론적 영상 분할에 대한 연구들은 신경망을 통해 이미지의 다양한 객체 클래스들을 학습하는 방법들을 제시해왔고, 긴 학습 시간에 비해 정확도가 부족하다는 문제가 지적되었다.
	클래스를 단순화 후에 학습하는 방법을 제안한 이유는?	기존 의미론적 영상 분할에 대한 연구들은 신경망을 통해 이미지의 다양한 객체 클래스들을 학습하는 방법들을 제시해왔고, 긴 학습 시간에 비해 정확도가 부족하다는 문제가 지적되었다. 그러나 물체와 배경을 분리하는 문제에서는, 다양한 객체 클래스를 학습할 필요가 없다. 따라서 우리는 이 문제에 집중해, 클래스를 단순화 후에 학습하는 방법을 제안한다.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증