[논문]실시간 특정 객체 모자이크 처리 시스템

박성현; 구창모; 박건우; 박남석; 조중휘

실시간 특정 객체 모자이크 처리 시스템
Real-time specific object mosaic processing system 원문보기

박성현 (인천대학교 임베디드시스템공학과) , 구창모 (인천대학교 임베디드시스템공학과) , 박건우 (인천대학교 임베디드시스템공학과) , 박남석 (인천대학교 임베디드시스템공학과) , 조중휘 (인천대학교 임베디드시스템공학과)

방송에서는 당사자의 동의 없이 얼굴을 노출 시키거나, 유해물질로 판단되는 물체의 노출을 금지하고 있다. 기존의 처리방식으로 편집자가 촬영된 영상을 직접 편집하거나, 촬영 시 가리개를 이용하는 방법을 사용한다. 이러한 방법은 번거롭고, 실수로 인해 얼굴이나 유해물질이 방송에 그대로 노출될 수 있다. 본 논문에서는 딥러닝 기반의 객체탐지 모델과 동일인 판단 모델을 사용하여 편집 과정을 자동으로 처리하고 후처리뿐만 아니라 실시간 방송에서의 적용을 위해 추가적으로 객체추적 알고리즘을 도입하여 처리속도를 높이는 방안을 제시한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 기존 방식들은 시간이 오래 걸리고 사람이 미처 확인하지 못한 부분의 노출로 인해 문제가 생길 수 있으며 떠오르는 직업으로 대두되는 1인 크리에이터, 유튜버 등의 실시간 개인방송에서도 일반인들의 얼굴이 노출되어 문제가 될 수 있다. 본 논문에서는 딥러닝을 이용한 객체탐지, 얼굴 인식모델과 영상처리 기술을 이용한 객체추적 방식을 사용하여 이와 같은 문제들을 해결하고자 한다.

제안 방법

사람의 경우 객체탐지는 유해물질과 동일하게 수행되지만, 특정 인물을 모자이크에서 제외시키기 위해 동일인 판단 딥러닝 모델인 FaceNet^[2]을 이용하여 제외시킬 인물을 판단한다. 그러나 매 프레임마다 FaceNet 처리과정의 반복으로 인해 속도저하가 발생했고 이를 해결하기 위해 객체추적 알고리즘인 MeanShift^[3]를 사용하여 FaceNet이 발생시키는 병목현상을 완화시켰다. 이러한 방법을 활용한다면 실시간 방송뿐만 아니라, 촬영후 편집 과정에서 사람이 놓칠 수 있는 부분을 잡아낼 수 있으며, 영상편집 작업에 소요되는 시간을 단축할 수 있다.
첫 번째 방식은 움직이는 객체의 경우 모자이크 영역에서 벗어날 때마다 영역을 갱신해야 한다는 불편함이 있고 두 번째 방식은 객체가 화면에서 벗어나거나 빠르게 움직일 경우, 그리고 다른 객체들과 겹치는 경우 제대로 처리되지 않고 모자이크 영역이 다른 객체로 옮겨가는 현상이 발생한다. 본 논문에서 제안된 프로그램은 미리 학습시켜놓은 객체를 자동으로 탐지하기 때문에 편집자가 직접 객체를 판별할 필요가 없으며 객체들이 화면에서 벗어나거나 움직이는 상황에서도 모자이크 영역이 다른 객체로 옮겨가지 않고 원하는 객체를 추적할 수 있다.
이러한 FaceNet구조를 이용해 동일인임을 판단하게 되었다면 이 정보를 공유메모리를 통해 YOLO에게 전달하여 동일인이 아닐 경우에 모자이크 처리를 수행하게 된다. 실시간 처리를 수행할 때 FaceNet이 상당한 병목현상을 일으키는데 이를 해결하기 위해 매 프레임 마다 FaceNet을 거치지 않고 30^~15프레임 마다 처리하여 병목 현상을 완화시켰다. 이때 낮아지는 정확도를 방지하기 위해 전통적인 객체 추적방식인 MeanShift를 이용하여 이를 보완하는 방식으로 사용하였다.
실시간 처리를 수행할 때 FaceNet이 상당한 병목현상을 일으키는데 이를 해결하기 위해 매 프레임 마다 FaceNet을 거치지 않고 30^~15프레임 마다 처리하여 병목 현상을 완화시켰다. 이때 낮아지는 정확도를 방지하기 위해 전통적인 객체 추적방식인 MeanShift를 이용하여 이를 보완하는 방식으로 사용하였다.
제한적인 환경에서의 원활한 처리를 위해 높은 성능의 PC와 소켓 통신을 하여 일반적인 기능을 TX1 보드에서 수행하고, 많은 연산량이 필요한 작업은 PC에서 수행하여 정보를 공유하게 된다. 즉, 임베디드 환경에서는 객체탐지를 이용하여 원하는 객체를 탐지하고, 얼굴 인식을 통한 동일인 판단 연산이 필요하다면 소켓 통신을 이용하여 PC에게 연산을 요청해 결과를 제공받는 방식을 사용하였다.

대상 데이터

이 정보를 이용하여 현재 프레임의 픽셀값에 접근, 모자이크 처리를 수행하게 된다. 우리가 원하는 객체의 탐지 능력을 신경망이 학습하게 하도록 각 객체마다 약 10만 장의 이미지를 신경망 학습데이터로 입력하였다.

이론/모형

실시간 객체탐지를 위해 다른 신경망 모델과 비교하여 속도와 정확도 측면에서 뛰어난 성능을 보이는 YOLO(임베디드 환경에서는 Tiny-YOLO[1] 사용)를 이용하여 현재 프레임에서 얻고자 하는 객체의 좌표를 얻는다. 이 정보를 이용하여 현재 프레임의 픽셀값에 접근, 모자이크 처리를 수행하게 된다.
제안된 방법 중 유해물질 모자이크 처리방식은 카메라로 입력받은 영상을 객체탐지 딥러닝 모델 중 하나인 YOLO^[1]를 이용해 객체를 찾아내고 모자이크 처리를 하는 방식을 이용한다. 사람의 경우 객체탐지는 유해물질과 동일하게 수행되지만, 특정 인물을 모자이크에서 제외시키기 위해 동일인 판단 딥러닝 모델인 FaceNet^[2]을 이용하여 제외시킬 인물을 판단한다.

후속연구

또한, 촬영한 영상을 편집자에게 넘겨주어 편집자가 후처리를 하는 방식이기 때문에 인력과 편집시간이 소모되며 실시간 방송에서 활용하는 데 어려움이 있다. 본 논문에서 제안된 프로그램의 경우 앞선 문제점들을 해결할 수 있으며 사회적으로 이슈가 되고 있는 실시간 인터넷방송이나 TV 생방송 등에 유용하게 활용될 것으로 보인다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

실시간 특정 객체 모자이크 처리 시스템
Real-time specific object mosaic processing system 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

실시간 특정 객체 모자이크 처리 시스템 Real-time specific object mosaic processing system 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

실시간 특정 객체 모자이크 처리 시스템
Real-time specific object mosaic processing system 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper