[논문]깊이 슈퍼 픽셀을 이용한 실내 장면의 의미론적 분할 방법

김선걸; 강행봉

doi:10.9717/kmms.2016.19.3.531

깊이 슈퍼 픽셀을 이용한 실내 장면의 의미론적 분할 방법
Semantic Segmentation of Indoor Scenes Using Depth Superpixel 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.19 no.3, 2016년, pp.531 - 538

김선걸 (Dept of media Engineering, Catholic University of Korea) , 강행봉 (Dept of media Engineering, Catholic University of Korea)

Abstract ▼ AI-Helper

In this paper, we propose a novel post-processing method of semantic segmentation from indoor scenes with RGBD inputs. For accurate segmentation, various post-processing methods such as superpixel from color edges or Conditional Random Field (CRF) method considering neighborhood connectivity have been used, but these methods are not efficient due to high complexity and computational cost. To solve this problem, we maximize the efficiency of post processing by using depth superpixel extracted from disparity image to handle object silhouette. Our experimental results show reasonable performances compared to previous methods in the post processing of semantic segmentation.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 아직까지도 실시간에 적용하기에는 부족한 속도이다.그러므로 본 논문에서는 이를 보완하여 더빠른 속도를 가지는 알고리즘을 제안한다.본 논문은 SLIC에 기반을 두었기 때문에 유사하지만, 깊이 영상에 초점을 두었다는 점에서 매우 다르다.
본 논문에서는 기존의 방법보다 빠르고 의미론적 분할에 최적화된 깊이 슈퍼 픽셀 알고리즘을 제안한다. Fig.
이 논문은 슈퍼 픽셀을 3D기하학 정보를 이용하여 강화하는 방법을 사용하여 정확도는 향상되었으나 복잡도가 높아졌다.본 논문에서는 높은 정확도에 초점을 두지 않아도 되기 때문에 복잡도를 낮추고 속도를 향상시키는 방향의 알고리즘을 제안했다.
기존의 방법들은 의미론적 레이블링 방법에 초점을 맞추어 성능 향상을 이루었으나, 분할을 하는 후처리 방법에 초점을 맞춘 논문은 많지 않았다.본 논문에서는 후처리 방법에 초점을 맞추어 효율적인 깊이 슈퍼 픽셀을 제안하였다.깊이 슈퍼 픽셀은 깊이 영상에 단순한 슈퍼 픽셀을 적용하여 컬러 영상에 적용한 슈퍼 픽셀보다 매우 빠르다.
이는 평면에서 대푯값을 이용하여 스무딩을 하는 슈퍼 픽셀의 특성상 깊이 영상을 이용하여도 문제가 존재하지 않음을 의미한다.이러한 사실들을 바탕으로, 본 논문에서는 의미론적 분할에 적합한 깊이 슈퍼 픽셀을 제안한다.제안하는 깊이 슈퍼 픽셀은 지역적인 K-means클러스터링을 통해 지역적인 깊이 값이 유사한 평면들을 효과적으로 만든다.

제안 방법

Sharmaetal[4]는 다중스케일 CNN과 RNN(RecurrentNeuralNetwork)을 합하여 RCPN(RecursiveContextPropagationNet-work)을 제안하였다.CNN을 이용하여 픽셀의 종류를 분류하고 RNN을 이용하여 지역적인 특징이 전체영상에서 영향을 끼칠 수 있도록 하는 구조를 제안하였다.이 논문 역시 슈퍼 픽셀을 이용하여 스무딩을수행하였다.
또한, 흑백 영상을 이용하는 것보다 계산량이 많아진다.그러므로 본 논문에서는 스무딩에서의 속도 향상을 위해 정확도를 배제하고 흑백 영상에 슈퍼 픽셀을 적용하여 최종 스무딩을 수행한다. 흑백영상에 슈퍼 픽셀을 적용한 결과가 의미론적 분할의 정확도에 큰 영향을 끼치지 않는 것을 본 논문의 실험 결과에서 보여준다.
측면에서 많은 발전을 보였다.그리고 깊이 영상의 특성상 엣지가 많이 존재하지 않으므로 전처리방법을 제거하여 더욱 효과적으로 적용하였다.Fig.
Couprieetal[2]은 딥 러닝[7]을 의미론적 분할에 적용하였으며 특징 학습에 깊이 정보를 이용하였다.다중 스케일 CNN을 이용하여 특징을 학습하였으며 이를 위한 사전처리로 컬러 영상과 깊이 영상을 라플라시안 피라미드로 만들었다.Renetal [8]은 커널 디스크립터를 기반으로 분류 트리를 만들어 복잡한 접근을 적용하였다.
CNN을 이용하여 픽셀의 종류를 분류하고 RNN을 이용하여 지역적인 특징이 전체영상에서 영향을 끼칠 수 있도록 하는 구조를 제안하였다.이 논문 역시 슈퍼 픽셀을 이용하여 스무딩을수행하였다.이와는 다르게 silbermanetal.
Renetal [8]은 커널 디스크립터를 기반으로 분류 트리를 만들어 복잡한 접근을 적용하였다. 이 논문은 깊이 영상과 RGB영상에 각각 알고리즘을 적용하고 이후에 알파 블렌딩을 적용하였다. Hermansetal[3]은 3D복원을 하기 위해 RGBD센서를 이용하였으며 속도를 위해 texton[9]과 같은 기본적인 특징만을 사용하였다.
이러한 사실들을 바탕으로, 본 논문에서는 의미론적 분할에 적합한 깊이 슈퍼 픽셀을 제안한다.제안하는 깊이 슈퍼 픽셀은 지역적인 K-means클러스터링을 통해 지역적인 깊이 값이 유사한 평면들을 효과적으로 만든다.본 논문의 실험결과에서는 제안한 알고리즘이 최신 논문과 비교하여 성능은 떨어지지 않으나 속도는 향상되어 매우 효율적임을 보여준다.

대상 데이터

사용하였다.NYUv1 데이터는 50/50의 비율, NYUv2데이터는 55/45의 비율로 트레이닝과 테스팅을 수행하였다.아래의 Table2는 정확하게 분류된 픽셀의 개수를 테스트데이터의 픽셀의 총 개수로써 나눈 픽셀 당 정확도와후처리 속도로 본 논문의 성능을 나타낸 표이다.
NYU깊이 데이터셋은 원본 깊이 영상에 획득하지 못한 값들이 존재하여 이를 채우기 위한 기술[16]을 제공한다. 그리고 본 논문에서는 획득하지 못한 값들이 채워진 깊이 영상을 이용하였다.
그리고 NYU 깊이는 레이블 된 자료가 1449장이며 894개의 클래스가 존재한다.또한 빈도수가 높은 13개의 클래스를 선택하여 실험 결과에 이용하였다.NYU깊이 데이터셋은 원본 깊이 영상에 획득하지 못한 값들이 존재하여 이를 채우기 위한 기술[16]을 제공한다.
본 논문의 실험 결과에서는 i5-45703.2GHzCPU 와 8GBRAM을 이용하였으며 NYU깊이 데이터셋 1, 2[5, 6]를 이용하였다.NYUv1은 레이블 된 자료가 2347장이며 1천개가 넘는 클래스가 존재한다.
그러나 적외선의 반사 정도를 이용하는 키넥트의 깊이 영상은 실외 조건이나 거리가 멀어지면 성능이 급격히 감소하는 단점이 존재하기 때문에, 실내 환경에서 주로 이용된다.키넥트의 보급화로 인해 많은 RGBD데이터들이 공용 데이터로써 이용가능하며, 그 중에서 NYU(NewYorkUniversity)깊이데이터[5, 6]를 본 논문의 실험 결과에 이용한다.깊이데이터의 보급화가 진행되고 있음에도 불구하고, 의미론적 분할에 깊이 데이터의 특성을 이해하고 이를 적용시킨 알고리즘은 많지 않다.

이론/모형

Couprieetal[2]이다.Couprieetal[2]은 딥 러닝[7]을 의미론적 분할에 적용하였으며 특징 학습에 깊이 정보를 이용하였다.다중 스케일 CNN을 이용하여 특징을 학습하였으며 이를 위한 사전처리로 컬러 영상과 깊이 영상을 라플라시안 피라미드로 만들었다.
특징과 특징 간의 상관 관계를 분석하고 특징과 클래스 간의 상관 관계를 분석하여 이를 공식화[15]한 뒤, 효율적으로 특징 개수를 정의하고 랜덤 포레스트를 사용했지만, 이후의 분할 방법에서는 복잡한 알고리즘을 사용하여 효율이 저하되었다.그러므로 본 논문에서는 [1]의 분류 알고리즘에 깊이 슈퍼 픽셀을 적용한다. 랜덤 포레스트의 자세한 알고리즘은 [1]에서 제공한다.
또한 2D의미론적 분할을 위해 깊이 특징도 사용하였지만 이는, 특징들이 3D불변성을 가지기 위함이다.그리고 스무딩을 위해 CRF[10]를 적용하였다.Sharmaetal[4]는 다중스케일 CNN과 RNN(RecurrentNeuralNetwork)을 합하여 RCPN(RecursiveContextPropagationNet-work)을 제안하였다.
NYUv1은 레이블 된 자료가 2347장이며 1천개가 넘는 클래스가 존재한다.본 논문에서는 Silbermanetal[5]의 방법과 같이 평가를 쉽게 하기 위하여, 클래스 중 빈도수가 높은 14개만을 이용하여 실험 결과에 이용하였다.그리고 NYU 깊이는 레이블 된 자료가 1449장이며 894개의 클래스가 존재한다.
본 논문에서는 랜덤 포레스트[1]를 사용하여 의미론적 분할에 적용한다.Hazirbasetal[1]는 랜덤 포레스트를 적용하고 속도와 성능 모두를 겸비하기 위해 영상에 따라 다른 특징 개수를 이용했다.
스무딩을 하는 많은 알고리즘들이 존재하지만, 본논문에서는 그 중에서 간단하며 빠른 알고리즘인 SLIC(SimpleLinearIterativeClustering)[13, 14]에 기반하여 깊이 슈퍼픽셀을 적용한다.SLIC는 일반적인 K-means의 단점을 극복하기 위해 시드의 근처에서만 K-means를 적용했다.
일반적인 의미론적 분할은 랜덤 포레스트, CNN (ConvolutionalNeuralNetwork) [1, 2, 3, 4]등의 분류알고리즘으로 픽셀 별 분류를 진행한 이후에, CRF (ConditionalRandomField)[1, 3]나 슈퍼 픽셀[2, 4]을이용하여 스무딩을 한다.기존의 알고리즘들은 분류에서의 성능 향상과 함께 속도 향상을 이루었으나 스무딩을 위한 알고리즘에서는 속도 향상에 초점을 두지 않았다.

성능/효과

깊이 슈퍼 픽셀은 깊이 영상에 단순한 슈퍼 픽셀을 적용하여 컬러 영상에 적용한 슈퍼 픽셀보다 매우 빠르다.또한, 후처리 방법으로써 정확도는 컬러 영상에 적용한 슈퍼 픽셀과 큰 차이가 나지 않으므로 효율적임을 증명하였다.그러나, 액자와 같은 근처의 객체와 깊이 차이가 나지 않는 객체들은 분할이 잘되지 않는다는 단점을 보였다.
본 논문에서 제안한 깊이 슈퍼 픽셀은 깊이 영상을 이용하여 슈퍼 픽셀을 수행하였기 때문에 컬러영상을 이용하여 슈퍼 픽셀을 수행한 SLIC보다 속도적인 측면에서 많은 발전을 보였다.그리고 깊이 영상의 특성상 엣지가 많이 존재하지 않으므로 전처리방법을 제거하여 더욱 효과적으로 적용하였다.
제안하는 깊이 슈퍼 픽셀은 지역적인 K-means클러스터링을 통해 지역적인 깊이 값이 유사한 평면들을 효과적으로 만든다.본 논문의 실험결과에서는 제안한 알고리즘이 최신 논문과 비교하여 성능은 떨어지지 않으나 속도는 향상되어 매우 효율적임을 보여준다.
Yangetal [11, 12] 은깊이 정보를 이용하여 3D기하학정보를 추출하고 이를 컬러 정보와 함께 그래프 기반의 분할 알고리즘을 제안하였다.이 논문은 슈퍼 픽셀을 3D기하학 정보를 이용하여 강화하는 방법을 사용하여 정확도는 향상되었으나 복잡도가 높아졌다.본 논문에서는 높은 정확도에 초점을 두지 않아도 되기 때문에 복잡도를 낮추고 속도를 향상시키는 방향의 알고리즘을 제안했다.
그러므로 본 논문에서는 스무딩에서의 속도 향상을 위해 정확도를 배제하고 흑백 영상에 슈퍼 픽셀을 적용하여 최종 스무딩을 수행한다. 흑백영상에 슈퍼 픽셀을 적용한 결과가 의미론적 분할의 정확도에 큰 영향을 끼치지 않는 것을 본 논문의 실험 결과에서 보여준다.Fig.

후속연구

두 환경은 존재하는 객체들과 주변이 매우 다르므로 다른 접근이 필요하다.본 논문에서 적용할 RGB-D센서는 깊이 영상이 일정 거리를 벗어나면 측정이 어려워지므로 실내 환경에서만 적용가능하다.그러므로 본 논문에서는 실내 환경에서의 의미론적 분할에 초점을 맞춘다.
그러나, 액자와 같은 근처의 객체와 깊이 차이가 나지 않는 객체들은 분할이 잘되지 않는다는 단점을 보였다.이후의 연구에서는 이러한 문제를 해결하는 방향으로 연구를 진행할 것이다.

참고문헌 (17)

C. Hazirbas, J. Diebold, and D. Cremers, "Optimizing the Relevance-Redundancy Tradeoff for Efficient Semantic Segmentation," Journal of Scale Space and Variational Methods in Computer Vision, 2015. Vol. 9087, pp 243-255
C. Couprie, C. Farabet, L. Najman, and Y. LeCun, "Indoor Semantic Segmentation Using Depth Information," International Conference on Learning Representations, 2013, 1301.3572.
A. Hermans, G. Floros, and B. Leibe, "Dense 3D Semantic Mapping of Indoor Scenes from RGB-D Images," Proceeding of International Conference on Robotics and Automation, 2014. 2631-2638.
A. Sharma, O. Tuzel, and D.W. Jacobs, "Deep Hierarchical Parsing for Semantic Segmentation," The IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 530-538
N. Silberman and R. Fergus, "Indoor Scene Segmentation Using a Structured Light Sensor," Proceeding of International Conference on Computer Vision Workshop on 3D Representation and Recognition, 2011, pp. 601-608.
N. Silberman, D. Hoiem, P. Kohli, and R. Fergus, "Indoor Segmentation and Support Inference from RGBD Images," Proceeding of European Conference on Computer Vision, 2012, pp. 746-760
A. Krizhevsky, I. Sutskever, G.E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," Journal of Neural Information Processing Systems, 2012, pp. 1106-1114
X. Ren, L. Bo, and D. Fox, ""RGB-(D) Scene Labeling: Features and Algorithms," The IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 2759-2766.
J. Shotton, J.M. Winn, C. Rother, and A. Criminisi, “TextonBoost for Image Understanding: Multi-Class Object Recognition and Segmentation by Jointly Modeling Texture, Layout, and Context,” International Journal of Computer Vision, Vol. 81, No. 1, pp. 2-23, 2009.

상세보기
P. Kr¨ahenb¨uhl and V. Koltun, “Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials,” Journal of Neural Information Processing Systems, 2011, pp. 109-117.
J. Yang, Z. Gan, X. Gui, K. Li, and C. Hou, "3-D Geometry Enhanced Super Pixels for RGB-D Data," Proceeding of Advances in Multimedia Information Processing, pp. 35-46, 2013,
J. Yang, Z. Gan, K. Li, and C. Hou, “Graph-based Segmentation for RGB-D Data Using 3-D Geometry Enhanced Super Pixels,” IEEE Transactions on Cybernetics, Vol. 45, No. 5, pp. 927-940.

상세보기
R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, SLIC Superpixels, Ecole Polytechnique Federale De Lausanne Technical Report No. 149300, 2010.
R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, "SLIC Superpixels Compared to State of the art Superpixel Methods," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, No. 11, pp. 2274-2282, 2012.

상세보기
H. Peng, F. Long, and C. Ding. "Feature Selection Based on Mutual Information Criteria of Max-dependency, Max-relevance, and Min-rebundancy," Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 8, pp. 1226-1238, 2005.

상세보기
A.L. Dani, D. Lischinski, and Y. Weiss. "Colorization Using Optimization," ACM Transactions on Graphics, Vol. 23, No. 3, pp. 689-694, 2004.

상세보기
Y.J. Oh, H.B. Kang, " Edge Preserving using HOG Guide Filter for Image Segmentation" Jounal of Korea Multimedia Society, Vol. 18, No. 10, 2015. 10, 1164-1171

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증