[논문]비디오 카메라를 이용한 핑거 키보드의 설계 및 구현

황기태

doi:10.7236/jiibc.2016.16.5.157

비디오 카메라를 이용한 핑거 키보드의 설계 및 구현
Design and Implementation of Finger Keyboard with Video Camera 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.16 no.5, 2016년, pp.157 - 163

초록
AI-Helper

본 논문은 종이 위에 그려진 키보드 상에 카메라를 이용하여 사용자의 키 입력을 탐지하는 핑거 키보드를 제안한다. 본 논문에서는 핑거 키보드를 윈도우 운영체제와 모바일 단말기에서 사용할 수 있도록 구현하였다. 핑거 키보드의 소프트웨어는 표준 C/C++로 작성되어 포팅이 쉽다. 윈도우를 탑재한 PC 에서는 보급형 USB 웹 카메라를 장착하고 핑거 키보드 소프트웨어를 애플리케이션 형태로 구현하여 탐지한 키를 운영체제의 메시지 큐에 삽입하였다. 그리고 전용 카메라와 리눅스를 장착한 Raspberry Pi 2 임베디드 컴퓨터에 핑거 키보드 소프트웨어를 구동시키고 블루투스를 이용하여 모바일 단말기의 키보드로 구축하였다. 성능 평가 결과 인식성공률은 분당 120타 수준에서 약 80% 정도로 측정되었다.

Abstract ▼ AI-Helper

This paper presents Finger Keyboard which detects the user's key types on a keyboard drawn on the paper using a video camera. The Finger Keyboard software was written in standard C/C++ language and thus easy to port to other computing environments. We installed a popular USB-type web camera on a Windows PC and implemented the Finger Keyboard as a Windows application which detects key typing and then injects the key code into the message queue of the Windows operating system. Also we implemented the Finger Keyboard on the Raspberry Pi 2 embedded computer with a dedicated camera and connected it to the Android device as an external keyboard through the Bluetooth. The result of experiments showed that the average ratio of recognition success is around 80% at the typing speed of 120 characters per minute.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 여전히 키보드는 텍스트를 입력하는 쉽고도 확실한 사용자 인터페이스이다. 본 논문에서는 키보 드가 그려진 종이 위에 사용자의 손가락 움직임을 탐지 하여 카메라로 키 입력을 인식하는 핑거 키보드를 설계 구현하였다.
본 논문은 애플의 종이 키보드와 유사하게 종이 위에 그려진 핑거 키보드(Finger Keyboard)를 제안한다. 핑거 키보드는 그림 1과 같이 보급형 웹 캠 수준의 비디오 카메라를 이용하여 종이에 그려진 키보드 위에 손가락으로 타이핑하는 장면을 인식하여 사용자의 키 입력을 받아들 이는 방식이다.
본 연구팀은 본 연구를 통해 핑거 키보드를 윈도우 PC나 모바일 단말기 등 다양한 환경에서 사용할 수 있는 구현 가능성을 확인하였다. 추후 연구를 통해 핑거 키보 드의 낮은 성능 원인을 보다 면밀히 평가하고, 3차원으로 손가락의 움직임을 탐지하기 위해 2 대의 카메라를 사용 하는 등 인식 성공률을 높이는 다양한 연구를 계속할 예정이다.

가설 설정

손가락의 움직임을 모니터링한다. 하지만 하나의 손가 락으로 키를 누를 때 다른 손가락도 함께 움직이기 때문에 한 번에 반드시 하나의 키 타이핑만 가정한다. 그러므로 가장 많이 움직인 손가락이 키를 눌렀다고 판단하며 손가락 끝점에 있는 키가 눌러졌다고 판단한다.

제안 방법

구체적으로 핑거 키보드를 보급형 USB 웹 카메라를 갖춘 윈도우 PC에서 애플리케이션 형태로 구현하였으며, 이를 간단히 수정하여 전용 카메라와 리눅스를 탑재한 Raspberry Pi 2 임베디드 컴퓨터에 설치 구동하고 블루 투스를 이용하여 안드로이드를 탑재한 삼성 갤럭시 탭의 키보드로 작동시켰다.
본 연구 팀은 핑거 키보드를 스마트폰과 같은 모바일 단말기의 키보드로 사용할 수 있도록, 리눅스 운영체제를 탑재한 Raspberry Pi 2 임베디드 컴퓨터에 핑거 키보 드의 소프트웨어를 구현하였다[10]. 500만 화소에 640x480의 해상도를 가진 Raspberry Pi 2 임베디드 컴퓨터 전용 카메라 모듈을 사용하였으며 구성은 그림 13과 같다.
본 연구에서는 윈도우 운영체제를 설치한 PC와 블루투스 기능을 갖춘 모바일 단말기에서 키 입력이 가능하 도록 두 시스템에 대해 각각 핑거 키보드를 구현하였다.
키 버튼 영역을 정확히 검출하기 위해 키 버튼 내부에 있는 키 레이블 문자들을 지워야 한다. 이를 위해 키보드의 배경 이미 지를 검은색으로 채우고, 종이키보드의 이진 이미지와 XOR 연산을 수행하여 그림 7과 같이 레이블 문자를 담고 있는 키 버튼을 모두 검은색으로 만든다.
종이 키보드와 사용자의 손을 구분하기 위해 사용자의 손을 검출한다. 우선 마우스로 사용자의 손 부분을 클릭하여 사용자 손의 피부색을 인식하고 피부색에 대한 히스토그램을 생성한다.
핑거 키보드에서 사용하는 카메라는 Logitech C270, 1280x720에 300만화소를 지원하는 보급형 USB 웹 캠을 사용하고 핑거 키보드 소프트웨어는 윈도우 응용프로그 램으로 구현하였다. 그림 12는 카메라를 구동시키고 사용자의 손가락을 탐지하고 그 움직임을 보여주며 ‘안녕하세요 잘부탁드립니다’라고 메모장에 입력하는 핑거 키보드의 작동 사례를 보여준다.
핑거 키보드의 성능을 평가하기 위해 키 인식성공률을 측정하였다. 키 인식성공률은 핑거 키보드에서 타이핑 횟수에 대해 키 인식이 성공한 비율을 뜻하며 다음 식 (1)과 같이 정의된다.

대상 데이터

본 연구 팀은 핑거 키보드를 스마트폰과 같은 모바일 단말기의 키보드로 사용할 수 있도록, 리눅스 운영체제를 탑재한 Raspberry Pi 2 임베디드 컴퓨터에 핑거 키보 드의 소프트웨어를 구현하였다[10]. 500만 화소에 640x480의 해상도를 가진 Raspberry Pi 2 임베디드 컴퓨터 전용 카메라 모듈을 사용하였으며 구성은 그림 13과 같다. 핑거 키보드 소프트웨어는 표준 C/C++로 작성되었기 때문에 윈도우나 리눅스에서 모두 문제없이 컴파일된다.
OpenCV 는 컴퓨터 비전이나 이미지 프로세싱 애플리케이션의 개발에 사용되는 오픈 소스 프로젝트로서 현재 많은 비디오 처리 연구나 상용 애플리케이션 제작에 이용되고 있다. 본 연구에서는 다양한 운영체제에서 구동되는 환경을 고려하여 표준 C버전의 OpenCV 라이브러리를 이용 하였다.

성능/효과

둘째, 손가락의 움직임은 여러 프레임을 분석하여야 정확히 파악되지만, Raspberry Pi의 CPU 처리 속도가 낮아 손가락의 움직임을 탐지하는데 필요한 비디오 프레임 비율(FPS, Frames Per Second)이 낮기 때문이다. 추후 비디오 프레임의 비율을 높이기 위해 비디오의 크기를 줄이는 등 다양한 시도가 필요하다.
실험을 통해 성능을 평가한 결과 초등학생의 평균 타자 수준인 분당 120타로 입력하는 경우 80% 수준의 인식 성공률을 보였다. 인식률이 높은 편은 아니지만 핑거 키보드의 활용 가능성이 검증되었다.

후속연구

둘째, 손가락의 움직임은 여러 프레임을 분석하여야 정확히 파악되지만, Raspberry Pi의 CPU 처리 속도가 낮아 손가락의 움직임을 탐지하는데 필요한 비디오 프레임 비율(FPS, Frames Per Second)이 낮기 때문이다. 추후 비디오 프레임의 비율을 높이기 위해 비디오의 크기를 줄이는 등 다양한 시도가 필요하다.
본 연구팀은 본 연구를 통해 핑거 키보드를 윈도우 PC나 모바일 단말기 등 다양한 환경에서 사용할 수 있는 구현 가능성을 확인하였다. 추후 연구를 통해 핑거 키보 드의 낮은 성능 원인을 보다 면밀히 평가하고, 3차원으로 손가락의 움직임을 탐지하기 위해 2 대의 카메라를 사용 하는 등 인식 성공률을 높이는 다양한 연구를 계속할 예정이다.
인식률이 높은 편은 아니지만 핑거 키보드의 활용 가능성이 검증되었다. 추후 인식 실패의 원인을 보다 면밀히 분석하고 2 개의 카메라를 사용하는 등개선을 위한 다양한 연구를 수행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	종이 키보드가 실용적으로 사용되기 어려운 이유는 무엇인가?	종이 키보드는 키보드가 그려진 PDF 파일을 종이에 출력하고, 출력된 이 종이 위의 지정한 위치에 아이폰 단말기를 세워두고 애플의 앱 스토어에서 다운 받은 애플리케이션과 아이폰의 카메라를 이용하여 사용자의 키 입력을 인식하는 시스템이다. 하지만 애플의 종이 키보드는 많은 키가 지원되지 않고, 아이폰을 세워 두는 등 구조적인 한계를 가지고 있기 때문에 실용적으로 사용되기에는 여전히 극복해야하는 문제들이 있다.
	기존의 프로젝션 키보드가 가지는 단점은 무엇인가?	1992년 IBM은 키보드 이미지를 바닥에 투사하여 사용자의 손가락 움직임을 탐지하는 프로젝션 키보드(projection keyboard)를 처음으로 개발하였고, Canesta, Celluon 등에서 여러 종류의 프로젝션 키보드를 개발하였다 [4,5,6,7]. 하지만 이들 키보드는 프로젝션 장치로 인해 가격이 비싸고 사용자에 따르면 실제 분당 100타 수준으로 인식률이 낮고, 프로젝트의 좁은 투사, 장애물이 없고 표면이 평평하고 불투명해야 하는 투사 장소 등 범용으로 사용되기 어려운 여러 단점을 가지고 있다.
	종이 키보드란 무엇인가?	한편 애플은 최근에 종이 키보드(Paper Keyboard)를 개발하였다[8]. 종이 키보드는 키보드가 그려진 PDF 파일을 종이에 출력하고, 출력된 이 종이 위의 지정한 위치에 아이폰 단말기를 세워두고 애플의 앱 스토어에서 다운 받은 애플리케이션과 아이폰의 카메라를 이용하여 사용자의 키 입력을 인식하는 시스템이다. 하지만 애플의 종이 키보드는 많은 키가 지원되지 않고, 아이폰을 세워 두는 등 구조적인 한계를 가지고 있기 때문에 실용적으로 사용되기에는 여전히 극복해야하는 문제들이 있다.

참고문헌 (10)

Kitae Hwang, Jae Moon Lee, "An Implementation Experience of Accelerometer-based Gesture Recognition with Android Smartphone", International Journal of Advancements in Computing Technology(IJACT), Vol. 5, No. 12, August 2013
Kitae Hwang, Jae Moon Lee, "Preliminary Study on Soft Keyboard with Recommendation for Mobile Device", The Journal of The Institute of Internet, Broadcasting and Communication, vol. 13, no. 6, pp.137-145, 2013.
Kitae Hwang, Tae Wan Kim, Hye Kyung Cho, "Performance Evaluation of Missless Soft Keyboard with Recommendation", The Journal of The Institute of Internet, Broadcasting and Communication, vol. 14, no. 4, pp.187-195, 2014.

원문보기 상세보기
https://en.wikipedia.org/wiki/Projection_keyboard#cite_note-4
http://www.laserkeyboard.com/
http://news.bbc.co.uk/2/hi/in_depth/sci_tech/2000/dot_life/2326077.stm
http://www.celluon.com/products_epic_overview.php
https://itunes.apple.com/kr/app/paper-keyboardfast-typing/id715319520?mt8
http://opencv.org/
https://www.raspberrypi.org

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증