[논문]실시간 미니드론 카메라 영상을 기반으로 한 얼굴 인식 시스템 개발

김성호

doi:10.22156/cs4smb.2019.9.12.017

실시간 미니드론 카메라 영상을 기반으로 한 얼굴 인식 시스템 개발
Development of Face Recognition System based on Real-time Mini Drone Camera Images 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.9 no.12, 2019년, pp.17 - 23

초록
AI-Helper

본 논문에서는 미니 드론을 조종하면서 드론에 부착된 카메라가 촬영하는 영상을 실시간으로 받아들여 특정인의 얼굴을 인식하여 확인시켜주는 시스템 개발 방법론을 제안한다. 본 시스템의 개발을 위해서는 OpenCV, Python 관련 라이브러리 및 드론 SDK 등을 사용한다. 실시간 드론 영상으로부터 특정인의 얼굴 인식 비율을 높이기 위해서는 딥러닝 기반의 얼굴 인식 알고리즘을 사용하며 특히 Triples 원리를 활용한다. 시스템의 성능을 확인하기 위해 저자 얼굴을 기준으로 30회 동안 얼굴 인식 실험을 수행한 결과 약 95% 이상의 인식률을 보여주었다. 본 논문의 연구 결과물은 관광지, 축제 행사장 등에서 특정인을 드론으로 빠르게 찾기 위한 목적으로 사용할 수 있을 것으로 판단된다.

Abstract ▼ AI-Helper

In this paper, I propose a system development methodology that accepts images taken by camera attached to drone in real time while controlling mini drone and recognize and confirm the face of certain person. For the development of this system, OpenCV, Python related libraries and the drone SDK are used. To increase face recognition ratio of certain person from real-time drone images, it uses Deep Learning-based facial recognition algorithm and uses the principle of Triples in particular. To check the performance of the system, the results of 30 experiments for face recognition based on the author's face showed a recognition rate of about 95% or higher. It is believed that research results of this paper can be used to quickly find specific person through drone at tourist sites and festival venues.

주제어

표/그림 (5)

그림 Fig. 1. Two ways to control a drone
그림 Fig. 2. Original GUI of Tello App
그림 Fig. 3. A single ‘Triplet’ training step[23]
그림 Fig. 4. GUI to control a drone
그림 Fig. 5. Real time face recognition result from drone image

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

드론 영상으로부터 얼굴 인식 기술이 필요한 이유는 드론이 소유자를 인식하고 소유자로부터 명령을 받아 수행할 수 있어야 하기 때문인데, 특히 대중 속에서 사람의 얼굴을 인식하여 특정인을 찾을 수 있어야 한다. 그러므로 본 논문에서는 최근 시중에 판매되고 있는 소형 카메라가 장착된 미니 드론들을 사용하여 실시간 드론 카메라 영상으로부터 인간의 얼굴을 인식하고 식별할 수 있는 시스템을 설계하고 개발하고자 한다. 본 논문의 결과물은 드론 영상으로부터 인간의 얼굴을 인식한 후 인식한 사람이 누구인지 이름을 알려주는 과정으로 처리되는 시스템이다.
그리고 드론이 장착한 배터리의 잔량을 실시간으로 확인할 수 있도록 비율(%)로 표시하며, 와이파이 통신 상태도 나타낸다. 또한, 미니 드론으로부터 실시간 영상을 와이파이로 받아들이는 양은 FPS로 확인할 수 있는데, 본 논문에서는 FPS를 표시하여 확인할 수 있도록 한다.
본 논문에서는 미니 드론을 와이파이가 가능한 노트북 컴퓨터에 연결하고 실시간으로 촬영된 드론 영상을 받아들여 특정인의 얼굴을 인식해서 알려주는 시스템을 개발하였다. 드론을 와이파이로 제어하기 위해서는 드론 개발사에서 제공해주는 SDK 2.
그러므로 본 논문에서는 최근 시중에 판매되고 있는 소형 카메라가 장착된 미니 드론들을 사용하여 실시간 드론 카메라 영상으로부터 인간의 얼굴을 인식하고 식별할 수 있는 시스템을 설계하고 개발하고자 한다. 본 논문의 결과물은 드론 영상으로부터 인간의 얼굴을 인식한 후 인식한 사람이 누구인지 이름을 알려주는 과정으로 처리되는 시스템이다. 2장에서는 본 논문에서 실험에 사용할 드론에 대한 개요, 제어 시스템 및 사용자 인터페이스 등에 대하여 기술하고, 3장에서는 얼굴 인식 시스템에 대하여 기술한다.

제안 방법

그리고OpenCV(cv2), PyGame(pygame) 및 Numpy 등의 라이브러리는 GUI 등과 관련된 기능을 구현하기 위해서 주로 사용된다. Fig. 4에서 보는 바와 같이 본 논문에서는 드론을 제어하기 위한 GUI를 단순화시켰다. 좌상단에는 배터리 잔량(%), 와이파이 수신율(%), FPS 를 나타내고 있으며, 우상단에는 드론 카메라로 찾고자 하는 사람의 사진을 보여주고 있다.
만약 특정 인물을 대상으로 얼굴 인식을 하고자 하는데 특정 인물의 다양한 얼굴 사진들을 쉽게 구하지 못할 경우, 딥러닝 이미지 데이터 셋을 신속하게 구축하기 위해서는 Microsoft의 Bing Image Search API를 활용하는 방법[25]도 있다. 그러나 본 논문에서는 저자의 얼굴을 기반으로 데이터 셋을 구성하였기 때문에 저자의 다양한 얼굴 사진으로 데이터 셋을 구축하여 실험에 사용하였다. 실험에 사용할 얼굴 인식용 데이터 셋은 저자의 이름으로 된 폴더를 생성하고 33장의 사진을 datasets 폴더에 삽입하면 된다.
데이터 셋을 구성하기 위해서는 최소 33장 이상의 얼굴 사진이 필요하며 각각의 사진마다 128개의 실수 값으로 구성된 양자화가 필요하다. 데이터 셋을 구성하기 위한 얼굴 사진은 얼굴 인식률을 최대한 높이기 위해 카메라가 정면 얼굴을 향하게 삼각대로 고정시키고 상하좌우 및 그 사이사이 등 8각형을 암시하는 8개 방향으로 최소 0도에서 최대 40도까지 10도씩 각각 한 번씩 고개를 돌리면서 촬영한다. 만약 특정 인물을 대상으로 얼굴 인식을 하고자 하는데 특정 인물의 다양한 얼굴 사진들을 쉽게 구하지 못할 경우, 딥러닝 이미지 데이터 셋을 신속하게 구축하기 위해서는 Microsoft의 Bing Image Search API를 활용하는 방법[25]도 있다.
드론을 조종하기 위해서는 별도의 조종기를 사용할 경우 DJI Go를 주로 사용하거나 드론 개발 업체에서 별도로 제공해주는 스마트폰 앱을 사용하는데, 본 논문에서는 별도의 조종기나 스마트폰 앱 등을 전혀 사용하지 않고 직접 개발한 프로그램을 사용하기 때문에 Fig. 2와 같이 드론 개발사에서 제공하는 스마트폰 앱의 범용 GUI 형식을 그대로 따르려고 한다.
5와 같이 특정인을 실시간으로 찾은 결과를 모니터를 통하여 확인할 수 있었다. 또한, 본 시스템에서 특정인을 제대로 찾은 경우에는 특정인의 얼굴 영역 아래에 이름을 출력해주고, 특정인이 아닌 경우에는 얼굴 영역은 찾아주지만 이름을 출력하지는 않도록 하였다. 본 시스템의 성능평가를 위해서 30회의 실험을 한 결과 특정인의 얼굴을 제대로 찾아주는 비율은 약 95%를 넘어서는 정확도를 나타내었다.
물론 이와 같은 문제점은 드론에 일정한 밝기를 가진 전 방향 조명을 설치하여 해결할 수도 있지만 본 논문에서는 다루지 않는다.미니 드론 카메라 영상으로부터 인식된 얼굴 영역들은 PyGame에서 제공하는 Circle 함수를 사용하여 (0, 0, 255) 색상의 원형으로 표시하도록 하였다. 본 논문에서는 저자의 얼굴을 특정인으로 설정하고, Fig.
본 논문에서 실험에 사용하는 미니 드론을 제어하기 위해서는 기본적으로 노트북 컴퓨터에 설치된 최신 버전의 Python(3.7) 언어를 기반으로 하며, Tello SDK(tellopy), DJI Tello(djitellopy), OpenCV(cv2), PyGame(pygame) 및 Numpy 등의 라이브러리를 추가로 설치하여 사용한다. 드론과의 통신을 위해서는 와이파이를 사용하지만, 시스템 개발을 위해서는 Tello SDK(tellopy), DJI Tello(djitellopy)이 주로 사용된다.
본 논문에서는 Fig. 1 (B)와 같이 제어용 프로그램을 직접 개발하여 와이파이가 가능한 노트북 컴퓨터에서 원격 조정한다. Fig.
본 논문에서는 얼굴 인식 시스템 개발을 위해 프로그래밍 언어 중의 하나인 Python을 사용하며, 추가로 PyGame, dlib, face_recognition 등의 Python 라이브러리와 OpenCV, Deep Learning, 그리고 드론을 제어하기 위한 미니 드론 SDK 2.0 등을 사용한다. 여기서 dlib는 실제 얼굴 인식 과정에서 사용되는 딥 메트릭 학습(Deep Metric Learning)을 포함하며, face recognition은 dlib의 얼굴 인식 기능을 더 쉽게 해주는 얼굴 인식 모듈이다.
미니 드론 카메라 영상으로부터 인식된 얼굴 영역들은 PyGame에서 제공하는 Circle 함수를 사용하여 (0, 0, 255) 색상의 원형으로 표시하도록 하였다. 본 논문에서는 저자의 얼굴을 특정인으로 설정하고, Fig. 5와 같이 특정인을 실시간으로 찾은 결과를 모니터를 통하여 확인할 수 있었다. 또한, 본 시스템에서 특정인을 제대로 찾은 경우에는 특정인의 얼굴 영역 아래에 이름을 출력해주고, 특정인이 아닌 경우에는 얼굴 영역은 찾아주지만 이름을 출력하지는 않도록 하였다.
3에서는 서로 다른 2명의 얼굴 사진 3장을 사용하는데, 왼쪽 첫째 사진과 오른쪽 2개의 사진(동일 인물)은 다른 사람 사진이다. 얼굴 인식 네트워크의 얼굴을 정량화하기 위해서 각 사진에 대해 128개 실수 값으로 구성된 리스트를 구성하여 양자화한다.
0을 기본적으로 사용하였지만, 드론에 장착된 카메라 영상으로부터 특정인의 얼굴을 인식하는 것은 디지털 영상 처리 알고리즘을 사용하였다. 특히, 드론 제어와 특정인의 얼굴 인식 등을 위해서는 Python 및 Python에서 사용 가능한 다양한 라이브러리들을 추가로 설치하여 사용하였다.드론 영상으로부터 얼굴 인식을 효율적으로 하기 위해 서는 OpenCV와 딥러닝 등의 알고리즘을 사용하였다.
좌하단부와 우하단부에는 기존의 미니 드론 앱이 가지고 있는 GUI 기능을 그대로 구현하였다. 하단 가운데는 이륙(Take off) 및 착륙(Land) 기능을 가진 아이콘 버튼을 삽입하여 사용자가 쉽게 이륙과 착륙을 할 수 있도록 하였다.

대상 데이터

본 논문에서는 코딩이 가능한 드론 중 DJI Tello[22]를 실험에 사용한다. Tello 드론은 최대 비행시간이 13분이며, 약 100m 이내에서 사진 및 동영상 전송이 가능하고, 720p의 해상도를 지원한다.
소형 카메라가 장착된 미니 드론으로부터 실시간 입력된 영상을 기반으로 특정인의 얼굴을 인식하기 위한 실험은 실내외에서 30회 진행하였다. 특정인의 얼굴 인식 실험을 위한 환경적 요인으로는 사람이 볼 때 드론 영상에 사람의 얼굴이 제대로 확인될 수 있는 정도의 자연 및 인공조명이 있는 장소이면 충분하다.
그러나 본 논문에서는 저자의 얼굴을 기반으로 데이터 셋을 구성하였기 때문에 저자의 다양한 얼굴 사진으로 데이터 셋을 구축하여 실험에 사용하였다. 실험에 사용할 얼굴 인식용 데이터 셋은 저자의 이름으로 된 폴더를 생성하고 33장의 사진을 datasets 폴더에 삽입하면 된다.

이론/모형

마지막 다섯째, 스트리밍을 시작하기 위해 UPD PORT 8889를 통해 드론으로 ”streamon“을 보낸다. 노트북 컴퓨터에서 와이파이 통신 방식으로 드론을 제어하기 위해서는 Python 언어를 사용하였으며, Tello SDK 2.0을 함께 사용한다.
특히, 드론 제어와 특정인의 얼굴 인식 등을 위해서는 Python 및 Python에서 사용 가능한 다양한 라이브러리들을 추가로 설치하여 사용하였다.드론 영상으로부터 얼굴 인식을 효율적으로 하기 위해 서는 OpenCV와 딥러닝 등의 알고리즘을 사용하였다.그러므로 본 시스템을 상용화하게 된다면 사람들이 많이 붐비는 관광지나 축제장 등에서 특정인을 잃어버렸을 때 드론으로 상공에서 빠르고 쉽게 찾을 수 있을 것으로 판단된다.
본 논문에서는 미니 드론을 와이파이가 가능한 노트북 컴퓨터에 연결하고 실시간으로 촬영된 드론 영상을 받아들여 특정인의 얼굴을 인식해서 알려주는 시스템을 개발하였다. 드론을 와이파이로 제어하기 위해서는 드론 개발사에서 제공해주는 SDK 2.0을 기본적으로 사용하였지만, 드론에 장착된 카메라 영상으로부터 특정인의 얼굴을 인식하는 것은 디지털 영상 처리 알고리즘을 사용하였다. 특히, 드론 제어와 특정인의 얼굴 인식 등을 위해서는 Python 및 Python에서 사용 가능한 다양한 라이브러리들을 추가로 설치하여 사용하였다.
드론을 조종하기 위한 프로그램은 Python을 사용하여 개발하며, GUI를 위해서는 PyGame을 사용한다. PyGame은 비디오 게임 제작용으로 설계된 Python 모듈 세트이다.
이와 같은 Deep Metric Learning에 대한 자세한 내용은 dlib의 창시자인 Davis King의 “High Quality Face Recognition with Deep Metric Learning”과 face_recognition 모듈의 저자인 Adam Geitgey의 “Modern Face Recognition with Deep Learning[24]”을 참조하며 시스템 구현에 그대로 활용한다.

성능/효과

또한, 본 시스템에서 특정인을 제대로 찾은 경우에는 특정인의 얼굴 영역 아래에 이름을 출력해주고, 특정인이 아닌 경우에는 얼굴 영역은 찾아주지만 이름을 출력하지는 않도록 하였다. 본 시스템의 성능평가를 위해서 30회의 실험을 한 결과 특정인의 얼굴을 제대로 찾아주는 비율은 약 95%를 넘어서는 정확도를 나타내었다. 나머지 5%에 해당하는 오류는 특정 인이 드론 카메라를 정면으로 바라보지 않고 고개를 옆으로 40도에서 45도 이상 돌리는 경우로서 양쪽 눈 모두가 카메라 영상에 나타나지 않는 경우 즉, 한쪽 눈만 영상에 나타나는 경우 등이 있었다.

후속연구

드론 영상으로부터 얼굴 인식을 효율적으로 하기 위해 서는 OpenCV와 딥러닝 등의 알고리즘을 사용하였다.그러므로 본 시스템을 상용화하게 된다면 사람들이 많이 붐비는 관광지나 축제장 등에서 특정인을 잃어버렸을 때 드론으로 상공에서 빠르고 쉽게 찾을 수 있을 것으로 판단된다.
그리고 본 시스템은 와이파이가 가능한 노트북 컴퓨터에서 실험을 하였기 때문에 실외로 이동 하면서 사용하기에는 불편한 점이 있었다. 그러므로 향후 연구에서는 노트북 컴퓨터를 사용하지 않고 스마트폰 앱에서 실행이 가능하도록 시스템을 개선 및 보완하여 개발할 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	미래 드론 산업의 육성을 위한 핵심 기술 중의 하나는 무엇인가?	결국, 가까운 미래의 드론 산업은 1인 1드론 시대를 맞이하게 될 것이고, 조종기 없이 자유롭게 드론을 조종할 수 있는 드론 제품들이 주류를 이룰 것이다. 이와 같은 기능들이 주류가 될 가까운 미래 드론 산업의 육성을 위한 핵심 기술 중의 하나는 바로 사람의 얼굴을 인식하는 영상 처리 기술이다. 드론 영상으로부터 얼굴 인식 기술이 필요한 이유는 드론이 소유자를 인식하고 소유자로부터 명령을 받아 수행할 수 있어야 하기 때문인데, 특히 대중 속에서 사람의 얼굴을 인식하여 특정인을 찾을 수 있어야 한다.
	미니 드론을 조종하면서 드론에 부착된 카메라가 촬영하는 영상을 실시간으로 받아들여 특정인의 얼굴을 인식하여 확인시켜주는 시스템 개발 방법론을 제안하고자 무엇을 사용했는가?	본 논문에서는 미니 드론을 조종하면서 드론에 부착된 카메라가 촬영하는 영상을 실시간으로 받아들여 특정인의 얼굴을 인식하여 확인시켜주는 시스템 개발 방법론을 제안한다. 본 시스템의 개발을 위해서는 OpenCV, Python 관련 라이브러리 및 드론 SDK 등을 사용한다. 실시간 드론 영상으로부터 특정인의 얼굴 인식 비율을 높이기 위해서는 딥러닝 기반의 얼굴 인식 알고리즘을 사용하며 특히 Triples 원리를 활용한다.

참고문헌 (25)

E. H. Sun, T. H. Luat, D. Y. Kim & Y. T. Kim. (2015). A Study on the Image-based Automatic Flight Control of Mini Drone. Journal of Korean Institute of Intelligent Systems, 25(6), 536-541.

원문보기 상세보기
D. W. Kim et al. (2017). AI-Based Drone Object Tracking System: Design and Implementation. The Journal of Korean Institute of Communications and Information Sciences, 42(12), 2391-2401.

상세보기
Zero Zero Robotics. (2018). HOVER. https://gethover.com/?dpc&ckr
Super Data Science. (2019). Face detection using OpenCV and Python: A beginner's guide. https://www.superdatascience.com/opencv-facedetection
Mike Driscoll. (2018). Face Detectioin using Python and OpenCV. https://dzone.com/articles/face-detection-usingpython-and-opencv
Adrian Rosebrock. (2015). Creating a face detection API with Python and OpenCV. https://www.pyimagesearch.com/2015/05/11/creating-a-face-detection-api-with-python-and-opencv-in-just-5-minutes
Adrian Rosebrock. (2018). Face recognition with OpenCV, Python and Deep learning. https://www.pyimagesearch.com/2018/06/18/face-recognition-with-opencv-python-and-deep-learning
Elliot Forbes. (2017). An Introduction to Face Recognitioin in Python. https://tutorialedge.net/python/intro-face-recognition-in-python
Shantnu Tiwari. (2012-2019). Face Detection in Python Using a Webcam. https://realpython.com/face-detection-in-python-using-a-webcam
Ben Virdee. (2017). Face Recognition : Kairos vs Microsoft vs Google vs Amazon vs OpenCV. https://www.kairos.com/blog/face-recognition-kairos-vs-microsoft-vs-google-vs-amazon-vs-opencv
Sefik Ilkin Serengil. (2018). Real Time Facial Expression Recognition on Streaming Data. https://sefiks.com/2018/01/10/real-time-facial-expression-recognition-on-streaming-data
J. H. Lee. (2018). A Method of Eye and Lip Region Detection using Faster R-CNN in Face Image. Journal of the Korea Convergence Society, 9(8), 1-8.
Arun Ponnusamy. (2018). CNN based face detector from dlib. https://towardsdatascience.com/cnn-based-facedetector-from-dlib-c3696195e01c
Varun Kumar. (2017). 15 Efficient Face Recognition Algorithms And Techniques. https://www.rankred.com/face-recognition-algorithms-techniques
Glenn. (2018). Fast and Accurate Face Tracking in Live Video with Python. https://www.codemade.io/fast-and-accurate-face-tracking-in-live-video-with-python/
M. Gemici & Y. Zhuang. (2011). Autonomous Face Detection and Human Tracking using AR Drone Quadrotor. http://www.cs.cornell.edu/courses/cs4758/2011sp/final_projects/spring_2011/Gemici_Zhuang.pdf
H. K. Kim, J. M. Moon & J. Y. Park. (2018). Research Trends for Deep Learning-Based High-Performance Face Recognition Technology. ETRI Electronics and Telecommunications Trends, 33(4), 43-53.
O. S. Kwon. (2018). Face recognition Based on Super-resolution Method Using Sparse Representation and Deep Learning. Journal of Korea Multimedia Society, 21(2), 173-180.
W. J. Hwang. (2017). Trends in Deep Learning-based Face Detection, Landmark Detection and Face Recognition Technology. The Korean Society Of Broad Engineers, Broadcasting and Media Magazine, 22(4), 41-49.
T. Y. Ko et al. (2017). Real-time face recognition and tracking system using deep learning in various environments. The Institute of Electronics and Information Engineers, 643-646.
S. Y. Kang et al. (2017). Real-time Missing Persons Recognition System through CCTV based on Deep learning. Conference of the Korea Information Science Society, 1941-1943.
RAZE. (2019). Tello. https://www.ryzerobotics.com/kr/tello
A. Geitgey. (2016). Machine Learning is Fun! Part 4: Modern Face Recognition with Deep Learning. https://medium.com/@ageitgey/machine-learning-is-fun-part-4-modern-face-recognition-with-deep-learning-c3cffc121d78
A. Geitgey. (2019). Face Recognition Documentation. https://media.readthedocs.org/pdf/face-recognition/latest/face-recognition.pdf
A. Rosebrock. (2018). How to build a deep learning image dataset. https://www.pyimagesearch.com/2018/04/09/how-to-quickly-build-a-deep-learning-image-dataset/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증