재생되는 동영상에서 정지, 재생, 캡쳐, 확대, 축소 등의 다양한 이벤트 제공은 스마트폰과 같은 작은 크기의 모니터에서 가능하다. 그러나, 모니터의 크기가 커지게 되면, 터치 인식에 대한 비용이 증가하게 되어, 터치를 통한 이벤트 제공은 사실상 불가능하다. 본 논문에서는 저렴하게 깊이 정보로 터치를 인식하고, 단일 및 다중 터치로 토글, 핀치-인/아웃 등의 다양한 이벤트를 부여하는 영상 이벤트 제어시스템을 제안한다. 깊이 카메라로부터 얻어진 깊이 정보로 터치된 위치와 터치 경로를 찾고, 터치 제스처 종류를 파악한다. 이러한 터치 인터페이스알고리즘은 소형 싱글보드 시스템에서 구현하고, UART 통신을 통해 제스처 정보를 전송함으로써 영상 이벤트를 제어할 수 있다. 모의실험을 바탕으로 대형 스크린에서 제안한 깊이 터치 방법으로 다양한 영상 이벤트를 제어할 수 있음을 보인다.
재생되는 동영상에서 정지, 재생, 캡쳐, 확대, 축소 등의 다양한 이벤트 제공은 스마트폰과 같은 작은 크기의 모니터에서 가능하다. 그러나, 모니터의 크기가 커지게 되면, 터치 인식에 대한 비용이 증가하게 되어, 터치를 통한 이벤트 제공은 사실상 불가능하다. 본 논문에서는 저렴하게 깊이 정보로 터치를 인식하고, 단일 및 다중 터치로 토글, 핀치-인/아웃 등의 다양한 이벤트를 부여하는 영상 이벤트 제어시스템을 제안한다. 깊이 카메라로부터 얻어진 깊이 정보로 터치된 위치와 터치 경로를 찾고, 터치 제스처 종류를 파악한다. 이러한 터치 인터페이스 알고리즘은 소형 싱글보드 시스템에서 구현하고, UART 통신을 통해 제스처 정보를 전송함으로써 영상 이벤트를 제어할 수 있다. 모의실험을 바탕으로 대형 스크린에서 제안한 깊이 터치 방법으로 다양한 영상 이벤트를 제어할 수 있음을 보인다.
Various events of stop, playback, capture, and zoom-in/out in playing video is available in the monitor of a small size such as smart phones. However, if the size of the display increases, then the cost of the touch recognition is increased, thus provision of a touch event is not possible in practic...
Various events of stop, playback, capture, and zoom-in/out in playing video is available in the monitor of a small size such as smart phones. However, if the size of the display increases, then the cost of the touch recognition is increased, thus provision of a touch event is not possible in practice. In this paper, we propose a video event control system that recognizes a touch inexpensively from the depth information, then provides the variety of events of the toggle, the pinch-in / out by the single or multi-touch. The proposed method finds a touch location and the touch path by the depth information from a depth camera, and determines the touch gesture type. This touch interface algorithm is implemented in a small single-board system, and can control the video event by sending the gesture information through the UART communication. Simulation results show that the proposed depth touch method can control the various events in a large screen.
Various events of stop, playback, capture, and zoom-in/out in playing video is available in the monitor of a small size such as smart phones. However, if the size of the display increases, then the cost of the touch recognition is increased, thus provision of a touch event is not possible in practice. In this paper, we propose a video event control system that recognizes a touch inexpensively from the depth information, then provides the variety of events of the toggle, the pinch-in / out by the single or multi-touch. The proposed method finds a touch location and the touch path by the depth information from a depth camera, and determines the touch gesture type. This touch interface algorithm is implemented in a small single-board system, and can control the video event by sending the gesture information through the UART communication. Simulation results show that the proposed depth touch method can control the various events in a large screen.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 깊이 정보를 이용하여 깊이 터치를 인식하고, 터치 제스처를 파악하여 이를 통해 영상 이벤트를 제어하는 시스템을 구현하였다. 영상 이벤트는 재생되는 동영상에서 특정 위치의 화면을 선택하고, 확대하는 핀치 기능이 중요하며, 이를 위해서는 재생되는 동영상의 일시 정지 기능, 다시 재생하는 기능, 특정 화면을 캡쳐하는 기능, 캡쳐된 화면을 확대하거나 축소하는 기능 등이 필요하다.
본 논문에서는 깊이 터치를 이용해 여러 개의 터치를 인식하고, 각각의 터치를 추적하여 제스처를 판단하여 그 제스처에 따라서 제어를 할 수 있는 터치 인터페이스를 구현한다. 깊이 터치는 깊이 카메라를 이용하여 깊이 영상을 촬영하고, 깊이 영상내의 깊이 값을 이용하여 터치를 인식하는 기술이다[10-11].
영상 이벤트는 재생되는 동영상에서 특정 위치의 화면을 선택하고, 확대하는 핀치 기능이 중요하며, 이를 위해서는 재생되는 동영상의 일시 정지 기능, 다시 재생하는 기능, 특정 화면을 캡쳐하는 기능, 캡쳐된 화면을 확대하거나 축소하는 기능 등이 필요하다. 본 논문에서는 소형뿐만 아니라 중대형 크기의 디스플레이 모니터에서도 이러한 영상 이벤트 제어를 제공해주기 위하여 깊이 터치를 통해 터치 제스처 인터페이스를 구현하는 방법을 제안하였다. 기존 물리적 터치스크린을 도입하는 방법에 비해 훨씬 저렴하게 터치 제스처 인터페이스를 대형의 스크린에 적용하였고, 기존 물리적 인터페이스를 이용한 방법에 비해 조작이 쉽고 간편하여 인터페이스를 숙달하는데 짧은 시간밖에 들지 않는다.
본 논문에서는 제안한 방법을 이용하여 깊이 터치를 통한 영상 이벤트 제어 시스템을 구현하였다. 이 시스템은 미리 녹화된 영상에 대해 재생/일시멈춤/화면 캡처를 지원하고, 캡처된 화면에 대해 확대, 축소를 지원하는 시스템이다.
제안 방법
이를 이용하여 간편하게 UART 통신을 수행할 수 있다. UART 통신을 통하여 제스처 종류를 전송할 때 먼저 제스처 종류를 전송한 후 그 후 각 터치점의 스크린 좌표 정보를 전송한다.
본 논문에서는 소형뿐만 아니라 중대형 크기의 디스플레이 모니터에서도 이러한 영상 이벤트 제어를 제공해주기 위하여 깊이 터치를 통해 터치 제스처 인터페이스를 구현하는 방법을 제안하였다. 기존 물리적 터치스크린을 도입하는 방법에 비해 훨씬 저렴하게 터치 제스처 인터페이스를 대형의 스크린에 적용하였고, 기존 물리적 인터페이스를 이용한 방법에 비해 조작이 쉽고 간편하여 인터페이스를 숙달하는데 짧은 시간밖에 들지 않는다. 본 논문에서 제안한 깊이 터치를 통한 영상 이벤트 제어 방법은 중대형 스크린을 이용한 관제 제어 시스템, 교육[13] 등의 스크린 환경으로 응용될 수 있을 것으로 기대된다.
깊이 카메라를 통해 깊이 영상을 촬영하여 깊이 영상을 얻는다. 깊이 영상에서 각각의 화소에 대하여 촬영된 깊이 영상의 깊이 값과 배경 깊이 영상의 깊이 값을 비교하여 차이가 많이 나는 지점에 대해 이진화를 수행한 후[11] 이진화 과정에서 분류된 객체와 배경 깊이 값을 비교하여 배경 깊이 값과 차이가 크지 않는 지점을 깊이 터치로 인식한다.
그 후 두 터치점의 시작점 과 마지막 점을 찾아낸다. 두 터치점의 각 시작점간 거리 ds와 각 마지막 점간 거리 de를 측정하여 ds 와 de의 크기를 비교한다. 만약 ds보다 de가 크다면 이 터치는 핀치 아웃 제스처로 판단한다.
실험은 각 제스처에 대해 각각 20회 반복하여 제스처를 수행한 시간부터 이벤트가 수행된 시간까지를 측정하였다.
이러한 터치 제스처에 대해 이벤트가 처리되는 반응속도를 측정하였다. 반응속도가 눈에 띄게 느리다면 사용자는 눈에 띄는 불편함을 느끼게 되기 때문에 사용자의 편의성에 있어서 중요한 성능 척도이다.
제안하는 시스템에서 사용하는 소형 싱글보드 기기인 ODroid는 UART 통신을 USB 포트를 통해 연결할 수 있게 하는 킷을 제공한다. 이를 이용하여 간편하게 UART 통신을 수행할 수 있다.
터치된 점들에 대해 터치 경로와 스크린 상의 위치정보를 알 수 있다면 제스처의 종류를 알 수 있다. 제안하는 터치 인터페이스 시스템은 기존에 널리 사용되어 사용자에게 익숙한 터치, 멀티 터치, 드래그, 핀치 인/아웃을 제공한다.
깊이 카메라는 깊이 영상을 촬영하여 촬영된 깊이 영상을 전송한다. 촬영된 깊이영상을 이용하여 깊이 터치를 인식하고, 인식된 깊이 터치를 추적하여 제스처를 판단한다. 제스처가 판단되면 UART 통신을 통해 영상 이벤트 제어 시스템에 제스처 종류를 전송하여 영상 이벤트 제어 시스템이 알맞은 이벤트를 수행하여 영상을 제어한다.
대상 데이터
반응속도가 눈에 띄게 느리다면 사용자는 눈에 띄는 불편함을 느끼게 되기 때문에 사용자의 편의성에 있어서 중요한 성능 척도이다. 이 때 실험에 사용한 소형 싱글 보드 시스템인 ODroid-C1의 사양은 Table 3과 같고, 깊이터치 제스처 정보를 받아 영상을 제어 하는 시스템의 CPU는 AMD Dual Core Processor E-450 제품으로써 최대 CPU 클럭이 1.65Ghz이다.
이론/모형
본 논문에서 깊이 터치를 통한 영상 이벤트 제어 시스템을 구현하기 위해 깊이 카메라로는 ASUS 사의 Xtion Pro를, 터치를 인식하는 알고리즘을 수행하는 소형 싱글보드 시스템은 HardKernel사의 ODriod-C1를 사용하였다. ODroid-C1은 ARM 프로세서를 이용하며, USB 인터페이스와 GPIO 등 여러 인터페이스를 지원하는 보드이다.
성능/효과
실험은 각 제스처에 대해 각각 20회 반복하여 제스처를 수행한 시간부터 이벤트가 수행된 시간까지를 측정하였다. 실험 결과 터치 제스처에 대한 반응 속도가 평균 0.297초가 소요되는 것으로 나타났다. 이는 사용자가 사용하기에 체감상 거의 시간차이를 느끼지 못하는 수치로서, 제안된 시스템을 통해 인터페이스를 편리하게 이용할 수 있다는 것을 의미한다.
이 때 대형 스크린에서 터치 제스처 인식이 원활하게 이루어져서 영상 이벤트를 제어할 수 있음을 확인하였다.
297초가 소요되는 것으로 나타났다. 이는 사용자가 사용하기에 체감상 거의 시간차이를 느끼지 못하는 수치로서, 제안된 시스템을 통해 인터페이스를 편리하게 이용할 수 있다는 것을 의미한다.
후속연구
본 논문에서 제안한 깊이 터치를 통한 영상 이벤트 제어 방법은 중대형 스크린을 이용한 관제 제어 시스템, 교육[13] 등의 스크린 환경으로 응용될 수 있을 것으로 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
대형 스크린에 터치 인터페이스를 적용할 때 비용 문제를 해결하기 위해 제안된 대안 방법은?
대형 스크린 환경에서 기존 물리적 터치스크린을 설치하여 터치 인터페이스를 적용하는 방법은 막대한 비용이 든다. 이러한 문제점을 해결하고자 스크린을 타고 흐르는 적외선 신호를 송수신하여 이를 감지하여 터치를 인식하는 방법[6-7], 초음파를 발사하는 펜을 이용하여 그 초음파를 인식하여 터치를 인식하는 방법[8-9]등이 제안되기도 하였다. 하지만 이러한 방법들은 초기 설정이 어렵거나 별도의 도구가 필요한 등의 문제점이 있다.
영상 이벤트 제어는 왜 사용되는가?
영상 이벤트 제어는 동영상에 대해 재생/일시 멈춤, 특정 화면의 캡쳐, 캡쳐된 화면의 크기 확대/축소 등 영상의 재생에 대해 여러 가지 이벤트를 제어하기 위하여 사용된다. 모바일 기기에 서는 영상 이벤트를 제어하기 위해서 터치 인터페이스가 널리 적용되고 있다.
터치 기술은 어떻게 발전하고 있는가?
모바일 기기에 서는 영상 이벤트를 제어하기 위해서 터치 인터페이스가 널리 적용되고 있다. 최근 터치 기술은 기존 키보드나 마우스, 키패드 등의 물리적 인터페이스를 모니터에 직접 터치하는 인터페이스로 대체하는 기술로 지속적으로 발전해 오고 있다. 실제로 터치를 이용한 인터페이스의 경우 기존 물리적 인터페이스를 사용할 경우보다 입력 속도가 2배 이상 빠르다[1-2].
참고문헌 (13)
K. Kin, M. Agrawala and T. DeRose, "Determining the benefits of direct-touch, bimanual, and multifinger input on a multitouch workstation," Proceeding of Graphics Interface 2009, pp. 119-124, 2009.
S. B. Han, S. Y. Yoon and Tae-Kyun Kim, "A study on the application of design through comparative assessment of users' experience in regard to the input interface mode on mobile phones," Journal of Digital Design, Vol. 11, No. 1, pp. 325-334, 2011.
D. H. Lee, M. K. Kang and T. S. Yun, "Development of a tangible interface using multi-touch display on an irregular surface," Journal of the Korea Industrial Information Systems Research, Vol. 16, No. 3, pp. 65-72, 2011.
J. I. Lee, S. C. Kim and H.C. Won, "Voice-based messenger using NXT touch-sensor input unit and the bluetooth wireless communication for the blind," Journal of the Korea Industrial Information Systems Research, Vol. 13, No. 5, pp. 78-86, 2008.
E. S. Ko, Y. W. Rhee and C. W. Lee, "Implementation of commercial IWB interface using image processing," Journal of the Korea Industrial Information Systems Research, Vol. 17, No. 6, pp. 19-24, 2012.
V. Soni, M. Patel and R. S. Narde, "An interactive infrared sensor based multi-touch panel," International Journal of Scientific and Research Publications, Vol. 3, No. 3, 2013.
S. W. Jung, O. J. Kwon and Y. J. Jeong, "Design of an infrared multi-touch screen controller using stereo vision," The Institute of Electronics Engineers of Korea - Semiconductor and Devices, Vol. 47, No. 2, pp. 68-76, 2010.
H. Nonaka and T. Da-te, "Ultrasonic position measurement and its applications to human interface," IEEE Transactions on Instrumentation and Measurement, Vol. 44, No. 3, pp. 771-774, 1995.
D. S. Lee and S. K. Kwon, "Touch event method using depth information," Proceeding of The 11th International Conference on Multimedia Information Technology and Applications, 2015.
R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge university Press, Cambridge, 2004.
S. K. Kwon, Y. H. Park, O. J. Kwon, and S. W. Han, "Cascade mentoring system for computer major education," Journal of the Korea Industrial Information Systems Research, Vol. 20, No. 5, pp. 71-80, 2015.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.