$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 모바일 환경에서 실시간 영상 전경 추출 연구
Real-time Video Matting for Mobile Device 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.11 no.5, 2018년, pp.487 - 492  

윤종철 (Division of Computer, Media and Industrial Engineering, Kangwon National University)

초록
AI-Helper 아이콘AI-Helper

최근 모바일 기기의 영상 촬영 기능의 확대에 따라, 영상처리를 위한 다양한 어플리케이션들이 모바일 환경으로 이식되고 있다. 또한 모바일 기기의 컴퓨팅 능력또한 상승으로 기존에 컴퓨터에서만 가능하였던 다양한 영상처리기술들이 모바일 환경으로 이식되고 있다. 이러한 영상처리 기술 중, 사용자가 촬영한 영상에서 전경만을 추출하여 원하는 새로운 배경에 합성하는 문제는 다양한 어플리케이션에서 사용이 가능하나 계산이 복잡하다는 문제점으로 모바일환경 이식에 어려움을 가지고 있었다. 본 연구에서는 모바일 기기로 촬영된 영상을 전경/배경으로 구분하여 목표 영상에 실시간으로 합성할 수 있는 영상합성 기술을 제안한다. 사용자가 촬영한 영상에서 배경이 움직이지 않는다는 가정하에 자동으로 전경을 추출하며 이를 새로운 배경에 합성하는 기법을 소개한다. 모바일 촬영의 특성을 고려하여 촬영시 약한 움직임을 포함하는 영상에서의 자동 전경 추출 알고리즘을 개발하며 이를 SIMD 및 GPGPU기반의 가속화 알고리즘을 사용하여 SD급 화질의 영상에 대해 모바일 상에서 실시간 처리가 가능한 결과를 보인다. 본 논문의 기술을 사용하여 상용화 가능한 영상처리 어플리케이션의 개발이 가능하다.

Abstract AI-Helper 아이콘AI-Helper

Recently, various applications for image processing have been ported to the mobile environment due to the expansion of the image shooting on the mobile device. However, in the case of extracting the image foreground, which is one of the most important functions of image synthesis, is difficult since...

주제어

표/그림 (9)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 모바일에서 촬영된 영상에 대해 자동으로 삼색맵을 구성하여, 그 내용을 바탕으로 전경을 분리하는 어플리케이션 개발 방법을 소개하였다. 최소한의 연산을 가지는 방법을 선택하여 이를 가속화 하여 구현함으로써, 모바일 기기에서도 실시간으로 영상합성이 가능한 결과를 보였다는 점에서 의미를 가진다 판단된다.
  • 본 연구에선 이러한 한계점을 극복하기 위한 모바일 기기를 위한 영상 합성 기술을 제안하고자 한다. 모바일 기기에 탑재된 카메라를 이용하여 촬영된 비디오 영상에 대해, 자동 혹은 사용자의 수동 보정에 기반한 삼색맵(Trimap)을 구성하고, 이를 자동으로 지오데식거리맵 [4] 으로 변환하여 전경과 후경을 분리한 후, 영상 색상을 조정한 뒤 타 영상에 합성하는 순서로 진행된다 (그림 1 참조).
  • 제안된 시스템의 경우 분리된 전경을 타 배경에 합성하는 것을 최종 목표로 한다. 하지만 이러한 합성에 있어 이질감을 최소화시키기 위해서는 추출된 전경과 새로운 배경간의 색보정 작업이 필수적이다.

가설 설정

  • 또한 추후 들어오는 입력 영상에 대해 배경정의자에 어긋난 부분을 다시 SGM 형태의 전경정의 자로 구성하여, Dual-SGM 모델을 생상한다. 입력된는 영상에 대해 배경 및 전경에 정의자와 모두 어긋나는 부분을 실제 전후경 영역이 분리될 모호영역으로 가정하여 삼색맵을 구성하였다
  • 최초로 사용자로부터 입력된 배경이미지 또는 배경만이 존재하는 영상으로 시작한다는 가정으로, 그림 3과 같이 블록기반의 SGM (single-Gaussian model) 형태의 배경정의자를 구성한다. 배경학습의 기본 전략은 ViBE [3] 알고리즘을 사용하였으며 스마트폰 카메라의 자동 노출 조정을 고려하여 Lab 컬러 공간에서 밝기 정보 L을 제외한 ab정보만을 기반으로 학습을 진행하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
크로마키 기술의 단점은 무엇인가? 이러한 영상 합성을 진행하기 위해선 촬영된 영상속의 피사체만 추출하는 전경 (foreground) 추출이 필수적이며, 일반적으로는 크로마키(ChromaKey)와 같은 스튜디오에 제한된 접근방식이 사용되고 있다. 이러한 크로마키 기술의 경우 촬영 단계에서부터 원본 영상의 합성을 고려하여 구성된 스튜디오에서만 사용 가능한 기술이기에 비전문적인 사용자의 사용 및 촬영 후 후반 작업에서는 사용이 힘들다는 단점을 가진다. 따라서 일반인 사용자들의 경우 후반작업으로 접근하기 위해선 비디오 매팅 (matting) 또는 세그먼테이션 (segmentation)과 같은 영상처리 기반의 기술이 사용되고 있다 [1,2,3].
후반작업 기반의 기술의 문제점에는 무엇이 있는가? 이러한 후반적업 기반의 기술의 경우 촬영 시 영상추출에 대한 고려가 필요하지 않다는 점에서 영상 촬영의 비용을 감소시킬 수 있는 장점을 가지며, 추가적으로 이미 제작되어있는 무한한 영상 데이터베이스 상에서 오브젝트를 추출할 수 있다는 장점을 가진다. 하지만 기존의 매팅 및 세그멘테이션 기반 기술의 경우 전경과 배경의 구분이 모호한 여역의 합성에서 문제점이 발생하며, 삼색맵 구성에 있어 사용자의 과도한 인터랙션 요구 및 높은 컴퓨팅 파워 등의 문제점으로 인한 실시간 처리가 불가능 하다는 단점을 가지며, 이는 모바일 디바이스에 활용 불가능하다는 문제점을 야기시킨다.
영상 합성 기술이란 무엇인가? 영상 합성 기술은 영상 콘텐츠 제작에 있어 반드시 사용되는 필수적인 기술로서, 원본 영상 내에 있는 영상 오브젝트를 목표 영상에 자연스럽게 붙여 넣는 기술을 뜻한다. 이러한 영상 합성을 진행하기 위해선 촬영된 영상속의 피사체만 추출하는 전경 (foreground) 추출이 필수적이며, 일반적으로는 크로마키(ChromaKey)와 같은 스튜디오에 제한된 접근방식이 사용되고 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (8)

  1. R. Cucchiara, C. Grana, M. Piccardi, A. Prati: "Detecting moving objects, ghosts, and shadows in video streams", IEEE Trans. Pattern Anal. Mach. Intell., 25 (10) (2003), pp. 1337-1342 

  2. Li Yao and M. Ling: "An improved mixture-of-Gaussians background model with frame difference and blob tracking in video stream" Sci. World J. (2014) (2014), pp. 1-9 

  3. Olivier Barnich and Marc V. Droogenbroeck, "ViBe : A universal background subtraction algorithm for video sequences." IEEE Transactions on. Image Processing, 20(6) :1709-1724, 

  4. Xue Bai and Guillermo Sapiro, "A Geodesic Framework for Fast Interactive Image and Video Segmentation and Matting", International Jounral of Comput Vision, pp 113-132, 2009 

  5. Yongjin Kim, Cheolhun Jang, Julien Demouth , Seungyong Lee: "Robust color-to-gray via nonlinear global mapping", ACM Transactions on Graphics (TOG), v.28 n.5, 2009 

  6. Rafael C. Gonzalez and Richard E. Woods: Digital Image Processing(4th edition), 2017 

  7. Wyszecki and Gunther. "Proposal for a New Color-Difference Formula". Journal of the Optical Society of America. JOSA. 53 (11): 1318-1319. 1963 

  8. www.alphamatting.com 

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

유발과제정보 저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로