[논문]얼굴 인식 기술을 활용한 실감형 인터랙티브 콘텐츠의 구현 - (르네마그리트 특별전) AR포토존을 중심으로

이은진; 성정환

doi:10.7583/jkgs.2020.20.5.13

[국내논문] 얼굴 인식 기술을 활용한 실감형 인터랙티브 콘텐츠의 구현 - (르네마그리트 특별전) AR포토존을 중심으로
Implementation of Immersive Interactive Content Using Face Recognition Technology - (Exhibition of ReneMagritte) Focused on 'ARPhotoZone' 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.20 no.5, 2020년, pp.13 - 20

이은진 (숭실대학교 글로벌미디어학부) , 성정환 (숭실대학교 글로벌미디어학부)

초록
AI-Helper

딥러닝의 발전에 따른 생체 인식 기술은 새로운 형태의 콘텐츠를 생산해 낼 수 있게 하였다. 특히 얼굴 인식 기술의 경우 편의성·비강제성 면에서 몰입감을 줄 수 있지만, 대부분의 상용 콘텐츠는 어플리케이션 영역에만 그치는 한계성을 가진다. 따라서 본 논문은 이를 극복하여 실시간 비디오 피드를 기반으로 얼굴 인식 기술을 활용할 수 있는 실감형 인터렉티브 콘텐츠를 구현하고자 한다. 고해상도의 그래픽을 위해 Unity 엔진을 사용하여 제작되었고 그 과정에서 얼굴인식 성능 저하와 프레임 드랍(Frame Drop) 현상이 발생하여 추가적으로 Dlib 툴킷을 사용하고, 얼굴인식 이미지의 해상도를 조절함으로 해당 문제를 해결했다.

Abstract ▼ AI-Helper

Biometric technology with the advance of deep learning enabled the new types of content. Especially, face recognition can provide immersion in terms of convenience and non-compulsiveness, but most commercial content has limitations that are limited to application areas. In this paper, we attempted to overcome these limitations, implement content that can utilize face recognition technology based on realtime video feed. We used Unity engine for high quality graphics, but performance degradation and frame drop occurred. To solve them, we augmented Dlib toolkit and adjusted the resolution image.

주제어

표/그림 (11)

그림 [Fig. 1] Status of use of biometric technology
그림 [Fig. 3] Face Recognition Process
그림 [Fig. 2] (Realeyes, Surprise and sad face analyzed through Realeyes)
그림 [Fig. 4] 68 LandMark, 68 LandMark visualization examples
그림 [Fig. 5] compared opencv and dlib 1, a picture facing the front. Left-opencv, Right-opencv+dlib
그림 [Fig. 6] compared opencv and dlib 2, a picture facing the side. Left-opencv, Right-opencv+dlib
그림 [Fig. 7] Processing Scheme
그림 [Fig. 8] (ARPhotoZone – Scheherazade, configuration environment)
표 [Table. 1] (resolution comparison, Compare frames and recognition rates based on resolution)
표 [Table. 2] (Hardware Specification Configuration)
그림 [Fig. 9] (ARPhotoZone – Scheherazade, When the state of Awake – Wait – Idle)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문은 이러한 얼굴 인식 기술과 콘텐츠 적용 한계를 극복하고 어플리케이션 기반이 아닌 실시간 비디오 피드를 기반으로 실감형 인터 랙티브 아트 구현 방안에 대해 연구하고 르네 마 그리트(Rene Magritte)의 작품인 세헤라자데(Scheherazade, 1948)를 재해석한 인터랙티브 아트를 제작했다. 원작의 재현도를 높이고 개발 속도를 단축시키기 위해 게임엔진 저작 도구인 유니티(Unity) 엔진을 사용했고 설치의 용이성을 위해 단안 RGB 카메라로 제작했다.
이런 다양한 영역에서 사용됨에도 불구하고 미디어 영역에서 얼굴인식 기술은 모바일 플랫폼에서의 활용으로 그치고 있다. 따라서 본 논문은 이러한 적용 한계를 극복하고, 얼굴 검출 방법을 연구하며 이를 작품에 적용하고자 한다.
본 논문은 기존 얼굴 인식 기술이 적용되었던 플랫폼에 벗어나 데스크톱 환경에서 동작하는 실감형 인터랙티브 콘텐츠를 구현했다. 그 결과 스마트 디바이스가 아닌 데스크톱의 컴퓨팅 파워를 온전히 사용하여 높은 성능의 그래픽을 사용할 수 있을 뿐만 아니라 실시간 비디오 스트림을 사용한 얼굴 인식 기술 적용이 가능했다.

가설 설정

실험은 동일한 영상을 입력값으로 넣었을 때 이를 축소하는 비율에 따라 달라지는 초당 프레임(FPS, Frames per Second)과 인식률을 비교하였다. 인식률은 동영상이 입력값으로 들어오는 동안 얼굴을 인식하는 시간에 따라 측정하였고, 동영상은 전시 특성상 사람이 카메라로부터 1M 떨어졌다고 가정한 상황의 동영상을 사용하였다. 각각의 축소된 해상도는 4:3비율을 가지며 320X240 이하의 크기는 인식이 불가하였기에 표에서 제외하였다.

제안 방법

37번·40번, 49번·55번 얼굴 검출점을 사용해 눈과 입의 너비를 계산하고 38번·42번, 52번·58번 얼굴 검출점을 사용해 눈과 입의 높이를 계산한다.
Unity 기반의 가상환경에서 오브젝트의 움직임을 제어하고, 영상 및 얼굴 검출 데이터를 받아 합성을 진행한다. 이런 Unity 스트림이 진행되는 동안 WebCamra는 실시간 영상 정보를 얻고 얼굴 검출 과정을 수행하는 OpenCV와 Dlib은 영상에서 검출한 얼굴의 검출점 정보를 Unity 스트림에 전달한다.
Unity 스트림에선 Unity의 3차원 가상공간에 WebCamera부터 전달받은 고화질의 원본 영상 합성을 진행한다. 합성할 영상에 필요한 관심 영역(ROI, Region of Interest)을 설정한 뒤, 이 관심 영역을 텍스쳐화 해 3D 오브젝트에 마스킹 한다.
그리고 어두운 전시공간의 특성상 작품 좌우로 LED 조명을 설치해 관람객의 얼굴인식 정확도를 높였다. WebCamera를 통해 인식한 관람객의 얼굴 검출점 정보를 바탕으로 관객이 마치 작품이 되어볼 수 있는 경험을 제공한다. 단순히 평면에만 그쳤던 명화를 입체화 시켜 관람객의 움직임에 따라서 작품 속 오브젝트들이 실시간으로 반응해 움직여 몰임감을 더욱 극대화했다.
먼저 오브젝트의 움직임을 제어할 때 사용자 고개의 기울기를 이용한다. WebCamera의 영상에 사용자 얼굴이 인식되는 순간 고개의 기울기를 계산하며 [Fig. 7]의 1번과 17번 얼굴 검출점을 방정식 ①을 사용해 두 점 간의 기울기를 구한다. 기울기가 양수면 고개의 방향은 왼쪽, 음수면 고개의 방향이 오른쪽으로 기운 것이다.
4]와 같이 68개의 얼굴 검출점 정보를 실사 이미지 혹은 영상에 존재하는 얼굴을 검출해 얼굴의 검출점을 실제 이미지, 영상의 얼굴에 매칭한다. 각 검출점은 비디오를 기준으로 어느 위치에 존재하는지의 픽셀 값을 반환되며 해당 정보를 Unity 스트림에 전달해 이를 바탕으로 인터랙티브 아트 제작에 활용했다.
먼저 들어오는 영상 스트림을 통해서 얼굴의 검출점(Landmark)를 추출해 얼굴을 검출한다. 검출점을 통해 영상을 정규화하고 특징점을 추출해 유사도 비교를 한다. 이를 통해 최종적으로 동일 인물 유무를 결정하는 방식으로 얼굴 인식을 진행한다.
8]처럼 환경을 구성했다. 디스플레이를 세로로 배치하고 벽에 매립하여 실제 작품 비율과 유사하게 구성했으며 작품 상단에는 관람객의 얼굴을 인식하는 WebCamera를 거치했다. 그리고 어두운 전시공간의 특성상 작품 좌우로 LED 조명을 설치해 관람객의 얼굴인식 정확도를 높였다.
기획된 인터랙티브 아트는 3차원의 가상공간과 실사 이미지를 합성하는 작품이므로 빠른 제작과 높은 퀄리티, 디바이스 확장성 그리고 수정의 편의성을 필요로 한다. 따라서 3차원 가상공간 구성의 편의성, 고해상도 렌더 파이프라인(HDRP, High Definition Render Pipeline), OpenCV Asset, WebCamera를 지원하는 범용 게임 제작 플랫폼인 Unity를 기반으로 인터랙티브 아트를 기획 및 제작했다. OpenCV Asset은 C/C++로 작성된 OpenCV를 Unity 환경에서 C#으로 작성할 수 있게 포팅 되었다.
따라서 초현실주의 작가인 르네 마그리트(Rene Magritte)의 세헤라자데(Scheherazade, 1948)를 선정하고 관객이 실시간으로 작품 속으로 들어가 참여할 수 있도록 재해석한 실감형 인터랙티브 아트를 앞서 제안한 구성 환경과 검출 과정을 바탕으로 ‘세헤라자데(ARPhotoZone – Scheherazade)'를 제작했다.
단순히 평면에만 그쳤던 명화를 입체화 시켜 관람객의 움직임에 따라서 작품 속 오브젝트들이 실시간으로 반응해 움직여 몰임감을 더욱 극대화했다. 또한 독특한 관람과 경험이 가능한 인터랙티브 아트 특성을 살려 초현실주의 작품을 재현하기 위해 얼굴의 움직임에 따라 오브젝트들은 움직이지만 얼굴은 움직이지 않는 등 현실과 가상의 경계가 모호해지도록 제작했다.
본 논문에서는 눈과 입을 관심 영역으로 설정하기 위해 [Fig. 7]의 37∼48번 얼굴 검출점으로 눈을 관심 영역을 설정하고 49∼60번 얼굴 검출점으로 입을 관심 영역을 설정한다.
37번·40번, 49번·55번 얼굴 검출점을 사용해 눈과 입의 너비를 계산하고 38번·42번, 52번·58번 얼굴 검출점을 사용해 눈과 입의 높이를 계산한다. 사용자의 따라 적정한 공백을 넣기 위해 계산된 너비와 높이를 기준으로 25%의 공백(padding)을 추가해 최종적인 너비와 높이를 계산한다. 계산한 너비와 높이를 이용하여 관심 영역의 시작점을 계산하며 눈은 37번· 43번 얼굴 검출점의 y값에 눈의 높이의 절반을 더해 얻는다.
1]의 결과가 나타났다. 실험은 동일한 영상을 입력값으로 넣었을 때 이를 축소하는 비율에 따라 달라지는 초당 프레임(FPS, Frames per Second)과 인식률을 비교하였다. 인식률은 동영상이 입력값으로 들어오는 동안 얼굴을 인식하는 시간에 따라 측정하였고, 동영상은 전시 특성상 사람이 카메라로부터 1M 떨어졌다고 가정한 상황의 동영상을 사용하였다.
따라서 본 논문은 이러한 얼굴 인식 기술과 콘텐츠 적용 한계를 극복하고 어플리케이션 기반이 아닌 실시간 비디오 피드를 기반으로 실감형 인터 랙티브 아트 구현 방안에 대해 연구하고 르네 마 그리트(Rene Magritte)의 작품인 세헤라자데(Scheherazade, 1948)를 재해석한 인터랙티브 아트를 제작했다. 원작의 재현도를 높이고 개발 속도를 단축시키기 위해 게임엔진 저작 도구인 유니티(Unity) 엔진을 사용했고 설치의 용이성을 위해 단안 RGB 카메라로 제작했다.
그다음 Unity 스트림에서 받아온 32비트 형식의 색상 값을 활용하기 위해 Mat 구조체로 변환시켜준다. 이렇게 변환한 Mat 구조체를 이미지화하고, 이 이미지에서 얼굴 검출기를 통해 얼굴의 검출점을 추출한다. 추출한 검출점 모두를 Unity 스트림에 반환 하지 않고 필요한 정보만을 반환하여 얼굴 검출 과정을 마무리한다.
Unity 스트림에선 Unity의 3차원 가상공간에 WebCamera부터 전달받은 고화질의 원본 영상 합성을 진행한다. 합성할 영상에 필요한 관심 영역(ROI, Region of Interest)을 설정한 뒤, 이 관심 영역을 텍스쳐화 해 3D 오브젝트에 마스킹 한다. 본 논문에서는 눈과 입을 관심 영역으로 설정하기 위해 [Fig.

이론/모형

Dlib 툴킷에는 이미 훈련을 마친 얼굴 검출기(Face Detector)가 있어 이를 사용해 얼굴 검출이 이루어진다. Dlib의 얼굴 검출기는 HOG(Histogram of Oriented Gradient) 방식을 사용하여 얼굴 인식을 이루어낸다. HOG방식은 인터랙티브 아트의 전시 환경 특성상 관객이 항상 정면을 바라보지 않을 수 있다는 문제를 보완 가능하다.

성능/효과

본 논문은 기존 얼굴 인식 기술이 적용되었던 플랫폼에 벗어나 데스크톱 환경에서 동작하는 실감형 인터랙티브 콘텐츠를 구현했다. 그 결과 스마트 디바이스가 아닌 데스크톱의 컴퓨팅 파워를 온전히 사용하여 높은 성능의 그래픽을 사용할 수 있을 뿐만 아니라 실시간 비디오 스트림을 사용한 얼굴 인식 기술 적용이 가능했다. 하지만 비디오 스트림이 고해상도일수록 처리 속도 지연에 의한 프레임 드랍(Frame Drop) 이슈가 발생했다.
디스플레이를 세로로 배치하고 벽에 매립하여 실제 작품 비율과 유사하게 구성했으며 작품 상단에는 관람객의 얼굴을 인식하는 WebCamera를 거치했다. 그리고 어두운 전시공간의 특성상 작품 좌우로 LED 조명을 설치해 관람객의 얼굴인식 정확도를 높였다. WebCamera를 통해 인식한 관람객의 얼굴 검출점 정보를 바탕으로 관객이 마치 작품이 되어볼 수 있는 경험을 제공한다.
480X360 이상의 크기부터는 90% 이상의 인식률 보이지만 점점 그 크기에 따라 프레임이 떨어졌다. 따라서 90% 이상의 인식률을 보이며 가장 높은 프레임을 유지할 수 있는 480X360 크기로 축소하여 비디오 이미지를 전달하였다.
얼굴 검출기를 통해 출력돼 Unity 스트림에 전달 하는 값은 검출점의 위치이기 때문에 얼굴 검출이 진행될 때 고해상도의 영상을 필요로 하지 않는다. 따라서 낮은 해상도의 영상으로 얼굴을 검출하고 검출점을 출력해 Unity 스트림이 WebCamera 스트림에서 전달받은 원본 영상에 매칭 시켜 얼굴 검출에 발생하는 지연속도를 낮췄고 최종 결과물에는 원본 영상을 사용해 퀄리티 저하를 최소로 했다.

후속연구

이를 해결하기 위해서 얼굴 검출점을 찾기 위해 Dlib에 전달되는 영상의 해상도를 축소해 전달했지만 축소 정도에 따라 얼굴 검출 정확도가 떨어지는 문제가 발생했다. 따라서 전시 환경에 최적화할 수 있는 적합한 데이터 셋(Data Set)을 구성하고 이를 적용해 정확한 얼굴 인식이 가능하도록 후속 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	리얼 아이즈란?	이러한 예로 영국의 벤처 기업인 리얼 아이즈(Realeyes)의 광고와 앞서 언급한 딥 페이스가 있다. 리얼 아이즈는 시청하는 사람들의 표정을 분석하고 이에 적합한 정보를 제시하는 형태의 광고이다. 보안 영역에서 얼굴 인식 기술은 인력을 최소화할 수 있는 감시의 역할로 사용되는데 공항이나 항만 또는 국경 등에서 출입국 심사를 위해 사용된다[7].
	FaceID란?	보안 영역에서 얼굴 인식 기술은 인력을 최소화할 수 있는 감시의 역할로 사용되는데 공항이나 항만 또는 국경 등에서 출입국 심사를 위해 사용된다[7]. 보안 서비스의 대표적인 사례는 FaceID로 얼굴인식을 통해 디바이스 주인이 맞는지 판별하여 잠금이 자동으로 풀리도록 하는 서비스이다. 미디어 영역에서의 대표적인 사례들은 엔터테인먼트 서비스를 제공하는 SNS 기반의 어플리케이션 스노우(Snow)와 스냅챗(SnapChat)이 있다.
	얼굴 인식 기술은 어디에 활용되는가?	실감적인 콘텐츠 서비스 영역에서 많은 쓰임이 있을 것으로 예상되는 얼굴 인식 기술은, 딥러닝 기술의 발전으로 성장한 생체 인식 기술을 바탕으로 폭넓은 연구가 진행되어 왔다[5]. 해당 기술은 광고, 가전제품, 어플리케이션 등 다양하게 활용되지만 콘텐츠로 미디어 분야의 활용은 어플리케이션(Application)에 한정된다[6]. 특히 상용화되어 활발히 서비스되고 있는 콘텐츠는 대부분은 어플리케이션을 기반으로 제공된다.

참고문헌 (12)

Byung-Hwa Park and Se-Young Oh, "Influence of Facial Shape and Texture on Human Face Recognition", The HCI Society of Korea, 2017.2, pp.78 - 81, 2017.
Lee Young Ju and Junggyo Lee, "A Study on the Visual-Perceptive Seqence by the Color Contrast in Space Design", Journal of Korea Intitute of Spatial Design, vol.5, no.2, pp91-101, 2010.
Park Beom Geun, "Biometric Technology and Market Trends", S&T Market Report Vol.39, pp.1-28, 2016.
Kyoung Yul Bae, "Histogram Analysis for Performance Improvement of Face Recognition", J. Computer Software & Media Tech, 2003, Vol. 2. 200, pp.1-14, 2003.
Moon Hyun Joon, "Face Recognition: A Survey", HCI 2008, 2008.2, pp.1683-1688, 2008.
Shim, Yun Sun, "Constructing Metaphoric Media Space through Biometric Technology Convergence", The Korean Society of Science & Art 38, 2020.3, pp.219-229, 2020.

상세보기
Byung-Joon Park, Wan-Tae Kim and Hyun-Sik Kim, "A study on face area detection using face features", Korea Information Electron Communication Technology, 2020.6, pp.206-211, 2020.
Hwang Won-joon, Kim Ji-hwan, Han Dong-yoon and Kim Joon-mo, "A Survey of Face Recognition Technique for Real Media Processing", Journal of Broadcast Engineering, Vol.19, No.3, pp.111-122, 2014.
Viola and Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE Computer Vision and Pattern Recognition, CVPR 2001, pp.1-8, 2001.
A. Zelinsky, "Learning OpenCV---Computer Vision with the OpenCV Library (Bradski, G.R. et al.; 2008)[On the Shelf]", in IEEE Robotics & Automation Magazine, vol. 16, no. 3, pp.100-100, 2009.

상세보기
Davis E. King, "Dlib-ml: A Machine Learning Toolkit", Journal of Machine Learning Research 10, 2009, pp.1755-1758, 2009.
N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection", 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR'05, pp.886-893, 2005.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format