[논문]영상처리 기반의 제스처를 이용한 가상현실 입력기

홍동균; 천미현; 이동화

doi:10.9723/jksiis.2019.24.5.129

영상처리 기반의 제스처를 이용한 가상현실 입력기
Image Processing Based Virtual Reality Input Method using Gesture 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.24 no.5, 2019년, pp.129 - 137

홍동균 (대구대학교 정보통신공학과) , 천미현 (대구대학교 정보통신공학과) , 이동화 (대구대학교 정보통신공학과)

초록
AI-Helper

정보 기술의 발전에 따라 유비쿼터스 컴퓨팅 기술이 대두되고 있다. 이에 맞춰 디바이스의 소형화와 사용자의 편리성을 증대시키기 위한 여러 연구가 진행되고 있다. 그중 몇몇의 제안된 디바이스들은 사용자가 착용해야 한다는 점과 손에 들고 동작시켜야 한다는 불편함이 있다. 본 논문에서는 이러한 불편함을 해결하기 위해 텔레비전 시청 시 사용할 수 있는 가상 버튼을 제안하였다. 텔레비전을 통해 영상 시청 시 전방에서 사용자가 영상을 시청한다는 점을 이용해 카메라를 TV 상단에 설치하여 카메라가 머리 위쪽을 촬영하게 한다. 촬영된 영상에서 배경과 손 영역을 분리하여 검출하고, 검출된 손 영역에 외곽선을 검출한 후 손가락의 끝점을 검출한다. 손가락의 끝점을 검출하면 전방을 촬영하고 있는 영상 상단에 가상 버튼 인터페이스가 출력되며 검출된 손가락의 끝점이 포인터가 되어 위치정보를 갖고 버튼 안쪽에 위치할 경우 버튼이 동작한다.

Abstract ▼ AI-Helper

Ubiquitous computing technology is emerging as information technology advances. In line with this, a number of studies are being carried out to increase device miniaturization and user convenience. Some of the proposed devices are user-friendly and uncomfortable with hand-held operation. To address these inconveniences, this paper proposed a virtual button that could be used in watching television. When watching a video on television, a camera is installed at the top of the TV, using the fact that the user watches the video from the front, so that the camera takes a picture of the top of the head. Extract the background and hand area separately from the filmed image, extract the outline to the extracted hand area, and detect the tip point of the finger. Detection of the end point of the finger produces a virtual button interface at the top of the image being filmed in front, and the button activates when the end point of the detected finger becomes a pointer and is located inside the button.

주제어

표/그림 (15)

그림 Fig. 1 Overall System Flow Chart
그림 Fig. 2 Separation of Hand Area and Background
표 Table 1 Skin Color Average Range Value
그림 Fig. 3 Example of a morphology operation
그림 Fig. 4 Result Image After Morphology Operation
그림 Fig. 5 Outline Area of Detected Hand
그림 Fig. 6 Hand Type Exclusion
그림 Fig. 7 Finger Endpoint Navigation
그림 Fig. 8 Finger End Point Detection
그림 Fig. 9 Draw a Line Between Outermost Points
그림 Fig. 10 Create a Virtual Button Interface
그림 Fig. 11 Virtual Button Interface Operation
그림 Fig. 12 Enter Channel Increase Button
그림 Fig. 13 Enter Channel Decrease Button
그림 Fig. 14 Enter Channel End Button

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이때 RGB 컬러 모델은 빛의 세기에 따라 색상 정보가 변하는 문제가 있고 YCbCr 컬러 모델을 사용할 경우 노이즈가 많이 발생한다는 문제점이 있다 (Kim and Jung, 2008; Chae and Jun, 2015). 따라서 본 논문에서는 영상의 색상 정보를 빛과 노이즈에 강한 HSV 컬러 모델로 변환시켜 연구를 진행하였다.
본 논문에서 텔레비전 기능을 구현하기 위해 기존 동영상을 불러오도록 하였다. 사용되는 동영상은 총 10개로 사용자가 가상 버튼의 채널 올림 버튼을 누를 때 마다 다음 영상이 재생하도록 하였다.
하지만 센서를 착용하지 않을 시 사용이 불가능하다는 단점이 있다. 본 논문에서는 기존 손 검출 알고리즘에 문제점들을 보완하며 검출된 손을 통해 리모트 컨트롤러 없이도 텔레비전을 조작할 수 있는 가상 버튼을 제안하였다. 카메라가 촬영되고 있는 영역에서 손의 위치만을 이용하여 기기를 제어할 수 있는 점은 거동이 불편하여 많은 움직임을 가질 수 없는 사용자에게 큰 도움이 될 것으로 보인다.
하지만 간단한 동작을 하는 데도 손에 지니고 작동시켜야 한다는 점은 착용형 키보드인 SCURRY와 같이 큰 단점으로 작용한다. 본 논문에서는 리모트 컨트롤러가 가지는 단점과 유비쿼터스 컴퓨팅 기술에 핵심인 정보 단말기의 착용성과 사용자의 편리성을 고려해 카메라와 영상처리를 이용한 가상현실 입력기를 제작하도록 한다.

제안 방법

Table 1은 다양한 실험 환경을 바탕으로 확인된 피부색 평균 범위 값이다. 따라서 본 논문은 일반적인 조명일 때 갖는 피부색 값인 H_Min: 0, S_Min: 84, V_Min: 115 값으로 진행하였다.
채널 내림 버튼을 누를 경우 그 전 영상이 재생된다. 마지막 영상이 재생될 때 채널 올림 버튼을 누를 경우 다시 첫번째 영상을 재생하도록 하여 종료 버튼을 누르기 전까지 계속 동영상을 재생하도록 하였다.
본 논문에서는 식 (2)와 동일한 구조 요소를 사용했으며, 순수한 노이즈 제거와 연결된 영역을 확장하기 위해 열림 연산과 닫힘 연산을 각 1번씩 수행하였다.
손 영역을 검출한 후 가상 입력 버튼에 클릭 역할을 하는 손가락 끝점을 검출한다. 손가락 끝점을 검출하기 위해 손 영역의 외곽선을 검출한다. 외곽선은 물체 모양이나 객체 인식에 활용되며, 외곽선을 정확하게 얻기 위해서는 검출된 객체가 정확하게 검출되어야 하며 이진영상이어야 한다.
다중 센서 카메라를 이용한 손 검출 방법은 Kinect를 사용해 영상의 깊이를 측정하고 손의 후보 영역을 정의하기 위해 워터셰드 알고리즘을 이용하였다. 이 후보영역의 색상과 형태 정보를 측정하고 측정된 정보와 깊이 정보를 조합하여 손을 검출한다. 위 논문에 경우 배경의 영향을 받지 않고 손 영역을 검출할 수 있다는 장점이 있으나 손의 형태가 변할 경우 지속적으로 손을 검출할 수 없다는 문제점이 있다 (Park et al.
1은 본 논문에서 제안하는 전체적인 시스템 흐름도이다. 전체적인 시스템 구성은 입력 영상으로부터 손 영역과 배경을 분리하여 손가락의 끝점을 찾고 가상 버튼인터페이스를 출력하는 (A)알고리즘과 받은 신호를 처리하고 영상을 송출하는 (B)알고리즘으로 구성되어 있다. 먼저 (A)알고리즘의 구성은 입력 영상의 기본 컬러모델인 RGB 컬러모델에서 HSV 컬러 모델로 변환한다.
HOG-SVM을 이용한 손 검출 알고리즘은 사용자의 머리와 어깨를 차례대로 검출한 다음 손 영역을 찾는다. 찾은 손 영역 내에서 피부 색상 검출과 HOG-SVM을 이용해 손 영역을 검출한다. 하지만 사용자의 팔이 머리, 어깨와 일직선을 이루지 않을 경우 손 검출이 불가능하고 HOG-SVM을 이용하여 수행 속도가 오래 걸린다는 문제점이 있다 (Baek, 2013).
이 가상 버튼과 인식된 손가락의 위치를 통해 텔레비전을 제어한다. 텔레비전 기능은 영상처리를 이용하여 특정 번호의 영상을 재생하도록 구현하였다.

대상 데이터

본 논문에서 실험에 사용된 컴퓨터 시스템은 Intel(R) Core(TM) i -8250U CPU, UHD Graphics 620 GPU, 8GB RAM, Windows 10 64bit 운영체제로 구성된 시스템을 사용하였다. 촬영을 위해 사용된 카메라는 Microsoft LifeCam Cinema HD이며, 모든 결과 이미지의 해상도는 640 * 480 이다.
본 논문에서 텔레비전 기능을 구현하기 위해 기존 동영상을 불러오도록 하였다. 사용되는 동영상은 총 10개로 사용자가 가상 버튼의 채널 올림 버튼을 누를 때 마다 다음 영상이 재생하도록 하였다. 채널 내림 버튼을 누를 경우 그 전 영상이 재생된다.
본 논문에서 실험에 사용된 컴퓨터 시스템은 Intel(R) Core(TM) i -8250U CPU, UHD Graphics 620 GPU, 8GB RAM, Windows 10 64bit 운영체제로 구성된 시스템을 사용하였다. 촬영을 위해 사용된 카메라는 Microsoft LifeCam Cinema HD이며, 모든 결과 이미지의 해상도는 640 * 480 이다.

이론/모형

다양한 손 검출 알고리즘 중 Canny 알고리즘을 이용하여 손을 검출하는 방법은 Canny 알고리즘을 이용하여 손의 외곽선을 검출하고 모폴로지 연산을 이용하여 영상의 노이즈를 제거하였다. 하지만 주변 환경과 빛의 영향을 많이 받아 손의 윤곽이 제대로 검출되지 않거나 윤곽선의 일부가 제거되는 문제점이 있다 (Konwar et al.
다중 센서 카메라를 이용한 손 검출 방법은 Kinect를 사용해 영상의 깊이를 측정하고 손의 후보 영역을 정의하기 위해 워터셰드 알고리즘을 이용하였다. 이 후보영역의 색상과 형태 정보를 측정하고 측정된 정보와 깊이 정보를 조합하여 손을 검출한다.

후속연구

또한 완벽한 손 영역을 검출하기 위한 첫 번째 방법인 색을 통한 이 진화는 피부색 유사한 색이나 조명이 강하게 비추고 있는 환경일 경우 손 검출이 완벽히 이뤄지지 않는 문제가 있다. 추후 연구를 통해 기계 학습을 사용하여 손 검출이 완벽히 이뤄지게 할 것이며, 손의 제스처를 인식하여 버튼을 누르는 한정적인 방식이 아닌 여러 가지 제스처에 따라 동작하는 알고리즘을 추가하거나 동작하는 기기를 추가하는 등 활용도가 많은 시스템으로 발전시킬 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	QWERTY 유형의 키보드의 단점은 무엇인가?	2010; Kim and Song, 2013). 3차원 공간에서 정보를 받을 수 있도록 하는 인 터페이스 중 하나인 SCURRY는 QWERTY 유형의 키보드는 기존 착용형 디바이스의 부피가 크고 불편하다는 단점에 착안하여 손가락의 움 직임을 측정해서 문자를 입력하는 착용형 키보 드를 제작하였다 (Kim et al., 1993).
	SCURRY의 단점은 무엇인가?	, 1993). 하지만 센 서를 착용하지 않을 시 사용이 불가능 하다는 단점이 있다.
	컬러 영상을 표현하는 모델은 무엇이 있는가?	컬러 영상을 표현하는 데 사용되는 모델로 RGB, HSV 그리고 YCbCr 등이 있다. 먼저 가 장 기본적인 모델인 RGB 모델은 Red, Green, Blue의 총 3가지 성분 조합으로 이루어져 있다.

참고문헌 (14)

Ahn, B. O., Park, J. W., Shin, H. C., Lee, S. H. and Choi, J. P. (2009). Recognition Interface Implementation of using Hand Gesture Pattern, Journal of Korea Information Science Society, 36(2C), 405-408.
Baek, J. H., Kim, J. S., Yoon, C. Y., Kim, D. Y. and Kim, E. T. (2013). Part-based Hand Detection using HOG, Journal of Korean Institute of Intelligent Systems, 23(6), 551-557.

원문보기 상세보기
Bang, J. G. and Kim, B. M. (2014). A User Behavior Prediction Technique using Mobile-based Lifelog, Journal of the Korea Industrial Information Systems Research, 19(6), 63-76.

원문보기 상세보기
Chae, S. H. and Jun, K. K. (2015). HSV Color Model Based Hand Contour Detector Robust to Noise, Journal of Korea Multimedia Society, 18(10), 1149-1156.

원문보기 상세보기
Lee, J. J., Kim, J. H. and Kim, T. Y. (2010). Fingertip Extraction and Hand Motion Recognition Method for Augmented Reality Applications, Journal of Korea Multimedia Society, 13(2), 316-323.
Kim, H. G. and Jung, G. B. (2008). Real-time Face Detection System using YCbCr Information and Adaboost Algorithm, Journal of the Korea Society of Computer and Information, 3(5), 19-26.
Kim, Y. S., Soh, B. S. and Lee, S. G. (1993). A New Wearable Input Device: SCURRY, IEEE Transactions on Industrial Electronics, 52(6), 1490-1499.
Kim, S. H., Woo, Y. W. and Lee, K. E. (2010). Implementation of Mouse Function using Web Camera and Hand, Journal of the Korea Society of Computer and Information, 3(5), 33-38.
Konwar, A. S., Borah, B. S. and Tuithung, C. T. (2014). An American Sign Language Detection System using HSV Color Model and Edge Detection, Proceedings of International Conference on Communication and Signal Processing, April. 3-5, Melmaruvathur, India, pp. 743-747.
Kim, C. G. and Song, B. S. (2013). Development of Home Training System with Self-controlled Feedback for Stroke Patients, Journal of the Korea Industrial Information Systems Research, 18(1), 37-45.
Kwon, M. R., Hong, K. J. and Jung, K. C. (2016). Customized Search System using Real-time Contexts of User, Journal of the Korea Industrial Information Systems Research, 21(5), 19-30.

원문보기 상세보기
Kwon, S. K., Kim, H. J. and Lee, D. S. (2017). Face Recognition Method Based on Local Binary Pattern using Depth Images, Journal of the Korea Industrial Information Systems Research, 22(6), 39-45.
Park, S. Y. and Lee, E. J. (2010). Hand Gesture Recognition Algorithm Robust to Complex Image, Journal of Korea Multimedia Society, 13(7), 1000-1015.
Park, M. S., Kang, S. H. and Chae, O. S. (2013). Robust Hand Detection and Tracking using Sensor Fusion, Journal of KISS : Software and Applications, 40(9), 558-566.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증