본 논문에서는 스마트 폰 추적 및 색상 통신을 이용한 새로운 동작인식 플랫폼을 개발한다. 카메라가 탑재된 PC 혹은 스마트 TV와 개인 스마트 폰 가지고 영상을 기반으로 한 객체 인식 기술을 이용하여 동작 인식 유저 인터페이스를 제공한다. 사용자는 손으로 스마트 폰을 움직여 모션 컨트롤러처럼 사용할 수 있으며, 플랫폼에서는 이 스마트폰을 실시간으로 검출하고, 3차원 거리와 각도를 추정하여 사용자의 동작을 인식한다. 또한, 스마트 폰과 서버의 통신을 위하여 색상 디지털 코드를 이용한 통신 시스템이 사용된다. 사용자들은 색상 통신 방법을 이용하여 텍스트 데이터를 자유자재로 주고받을 수 있으며, 동작을 취하는 도중에도 끊임없이 데이터를 전송할 수 있다. 제안한 동작인식 플랫폼 기반의 실행 가능한 콘텐츠를 구현하여 결과를 제시한다.
본 논문에서는 스마트 폰 추적 및 색상 통신을 이용한 새로운 동작인식 플랫폼을 개발한다. 카메라가 탑재된 PC 혹은 스마트 TV와 개인 스마트 폰 가지고 영상을 기반으로 한 객체 인식 기술을 이용하여 동작 인식 유저 인터페이스를 제공한다. 사용자는 손으로 스마트 폰을 움직여 모션 컨트롤러처럼 사용할 수 있으며, 플랫폼에서는 이 스마트폰을 실시간으로 검출하고, 3차원 거리와 각도를 추정하여 사용자의 동작을 인식한다. 또한, 스마트 폰과 서버의 통신을 위하여 색상 디지털 코드를 이용한 통신 시스템이 사용된다. 사용자들은 색상 통신 방법을 이용하여 텍스트 데이터를 자유자재로 주고받을 수 있으며, 동작을 취하는 도중에도 끊임없이 데이터를 전송할 수 있다. 제안한 동작인식 플랫폼 기반의 실행 가능한 콘텐츠를 구현하여 결과를 제시한다.
In this paper, we propose a novel motion recognition platform using smart-phone tracking and color communication. The interface requires only a camera and a personal smart-phone to provide a motion control interface rather than expensive equipment. The platform recognizes the user's gestures by the ...
In this paper, we propose a novel motion recognition platform using smart-phone tracking and color communication. The interface requires only a camera and a personal smart-phone to provide a motion control interface rather than expensive equipment. The platform recognizes the user's gestures by the tracking 3D distance and the rotation angle of the smart-phone, which acts essentially as a motion controller in the user's hand. Also, a color coded communication method using RGB color combinations is included within the interface. Users can conveniently send or receive any text data through this function, and the data can be transferred continuously even while the user is performing gestures. We present the result that implementation of viable contents based on the proposed motion recognition platform.
In this paper, we propose a novel motion recognition platform using smart-phone tracking and color communication. The interface requires only a camera and a personal smart-phone to provide a motion control interface rather than expensive equipment. The platform recognizes the user's gestures by the tracking 3D distance and the rotation angle of the smart-phone, which acts essentially as a motion controller in the user's hand. Also, a color coded communication method using RGB color combinations is included within the interface. Users can conveniently send or receive any text data through this function, and the data can be transferred continuously even while the user is performing gestures. We present the result that implementation of viable contents based on the proposed motion recognition platform.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한, 본 논문에서 제안하는 플랫폼에 사용되는 컨트롤러는 다양한 기능이 탑재된 스마트 폰(컨트롤러)이기 때문에, PC나 스마트 TV 측(플랫폼)에서 컨트롤러에 디지털 데이터나 명령어를 전달하면 더 다양한 작업을 수행할 수 있다. 따라서 본 논문에서는 컬러 통신 기술을 도입하여 플랫폼과 컨트롤러 간에 자유로운 무선 데이터 통신이 가능하도록 하였다.
이를콘텐츠에 적용하여 객체를 움직이거나 다양한 명령어를 수행 할 수 있다. 또한, 컬러 통신 기술을 플랫폼에 도입하여 플랫폼과 사용자 간 자유로운 무선 데이터 통신이가능하도록 한다.
본 논문에서는 스마트 폰을 기반으로 하여 동작인식 플랫폼을 구현하는 방법에 대하여 연구하였다. 동작인식 플랫폼을 구현하기 위하여 스마트 폰 액정에 RGB 색상을 발광시켜 추적하는 방법을 사용하였고, 서버와 클라이언트가 영상으로 무선 데이터 통신을 할 수 있도록 컬러 통신 기술을 도입하였다.
본 논문에서는 추가적인 장비 구입 없이 일반적인 가정의 PC 혹은 스마트 TV와 개인 스마트 폰만을 이용하여 동작인식 콘텐츠를 즐길 수 있게 해주는 플랫폼을 제안한다. 최근 이용자가 급속하게 늘어나고 있는 스마트 폰은 다양한 기능들이 내장되어 있기 때문에 동작인식컨트롤러로 사용하기에 적절하다.
제안 방법
색상통신 전송 실험을 위하여 스마트 폰의 화면은 2×5 형태로 총 10개의 사각형으로 분할하였으며, 중간의 두 사각형에 기준 색상 값을 출력하였다. 각 사각형의 가장 가운데 있는 9개의 픽셀의 평균값을 측정하여 색상 값을 분석하였으며, 송신기기와 수신기기의 거리는 20cm로 설정하였다.
본 논문에서는 스마트 폰을 기반으로 하여 동작인식 플랫폼을 구현하는 방법에 대하여 연구하였다. 동작인식 플랫폼을 구현하기 위하여 스마트 폰 액정에 RGB 색상을 발광시켜 추적하는 방법을 사용하였고, 서버와 클라이언트가 영상으로 무선 데이터 통신을 할 수 있도록 컬러 통신 기술을 도입하였다.
두 번째로 3차원 각도를 추정하는 방법은 검출된 스마트 폰의 폭과 높이의 변화를 이용하였다.
본 논문에서는 그림 5와 같이 콘텐츠 제어를 위하여 검출된 스마트 폰의 3차원 거리 및 3차원 회전각도와 연속되는 영상을 통한 제어 명령어(상, 하, 좌, 우, 클릭, 더블 클릭 등)를 제공한다. 먼저 플랫폼으로부터 컨트롤러까지의 3차원 거리를 추정하는 방법은 검출된 스마트 폰의 폭과 높이 변화를 이용하였다.
본 논문에서 제안하는 동작인식 플랫폼은 사용자의 스마트 폰을 검출 및 추적하여 컨트롤러로 사용한다. 스마트 폰을 컨트롤러로 사용하기 위해서 스마트 폰을 검출 및 추적하는 과정이 필요하며, 본 논문에서는 스마트폰의 화면을 RGB 색상[4]으로 발광시킨 후, 카메라가 해당 색상을 검출하고 추적하는 방법을 이용한다.
본 논문에서는 그림 5와 같이 콘텐츠 제어를 위하여 검출된 스마트 폰의 3차원 거리 및 3차원 회전각도와 연속되는 영상을 통한 제어 명령어(상, 하, 좌, 우, 클릭, 더블 클릭 등)를 제공한다. 먼저 플랫폼으로부터 컨트롤러까지의 3차원 거리를 추정하는 방법은 검출된 스마트 폰의 폭과 높이 변화를 이용하였다.
본 논문에서는 제안하는 플랫폼을 테스트하기 위해 그림 7 및 8과 같이 3차원 배팅 게임 및 스테이크 게임을 구현하여 테스트하였다.
색상통신 전송 실험을 위하여 스마트 폰의 화면은 2×5 형태로 총 10개의 사각형으로 분할하였으며, 중간의 두 사각형에 기준 색상 값을 출력하였다.
스마트 폰 검출 실험을 위하여 스마트 폰 액정에 Red, Blue, Green 색상을 발광하고, 100cm, 200cm 300cm 거리에서 대략 60초 정도 촬영하였다.
본 논문에서 제안하는 동작인식 플랫폼은 사용자의 스마트 폰을 검출 및 추적하여 컨트롤러로 사용한다. 스마트 폰을 컨트롤러로 사용하기 위해서 스마트 폰을 검출 및 추적하는 과정이 필요하며, 본 논문에서는 스마트폰의 화면을 RGB 색상[4]으로 발광시킨 후, 카메라가 해당 색상을 검출하고 추적하는 방법을 이용한다.
최근 이용자가 급속하게 늘어나고 있는 스마트 폰은 다양한 기능들이 내장되어 있기 때문에 동작인식컨트롤러로 사용하기에 적절하다. 이를 영상으로 추적하여 사용자의 동작을 인식하고, 다양한 색상 값을 발광시키는 방법으로 무선 데이터 통신까지 할 수 있는 새로운형태의 동작인식 플랫폼을 제안한다.
플랫폼 측에서는 카메라를 이용하여 스마트 폰이 발광하는 색상의 0에서 255값을 촬영한 후, 영상에서 어떤 RGB 값으로 표현되는지 분석하는 과정이 선행되어야 한다. 이를 이용하여 색상을 비트코드로 변환할 수 있는 맵핑 테이블을 마련한 후, 스마트 폰 액정이 색상을 발광하면 해당 색상을 검출하고, RGB 값을 추출한다. 추출한 RGB 값을 맵핑 테이블을 이용하여 비트코드로 변환한 후, 이를 다시 원래의 데이터 형태로 복원하면 컬러 통신이 이루어진다.
RGB 카메라 하나와 그 양옆 에 붙어있는 두 대의 깊이 센서를 이용하여 사람의 몸을 직접 영상으로 인식한다. 조명에 크게 영향을 받지 않은 채 실시간으로 사람 몸의 48개 관절 포인트를 검출할수 있어, 특별한 컨트롤러 없이 몸동작만으로도 게임을즐길 수 있게 하였다.
이론/모형
칼만 필터 추적부는 Camshift 추적을 통해 계산된 추적 객체의 중심좌표를 기반으로 칼만 교정 단계를 거치고, 제어 벡터에 해당하는 객체의 이동 속도를 계산하여 상태 예측 단계에 사용한다. 그 이후 칼만 예측 단계에서 예측된 객체의 좌표 정보를 기반으로 Camshift 추적을 위한 탐색 윈도우를 설정하게 된다.
성능/효과
스마트 폰을 이용한 사용자의 동작만으로 다양한 콘텐츠에 필요한 모든 명령어를 입력하기에는 무리가 있다. 또한, 본 논문에서 제안하는 플랫폼에 사용되는 컨트롤러는 다양한 기능이 탑재된 스마트 폰(컨트롤러)이기 때문에, PC나 스마트 TV 측(플랫폼)에서 컨트롤러에 디지털 데이터나 명령어를 전달하면 더 다양한 작업을 수행할 수 있다. 따라서 본 논문에서는 컬러 통신 기술을 도입하여 플랫폼과 컨트롤러 간에 자유로운 무선 데이터 통신이 가능하도록 하였다.
본 논문에서 제안하는 시스템은 별도의 장비 없이 개인용 스마트 폰과 가정의 스마트 TV만을 가지고 충분히 이용할 수 있어서, 동작인식 콘텐츠에 대한 일반인들의 접근이 쉽다는 데 의미가 있다. 차후에는 추가연구를 통하여 동작 인식 정확도를 향상시키고 데이터 전송 정확도를 높이는 방법을 모색할 예정이다.
실험 1회당 1분 동안 전송하였고, 총 3회의 실험을 진행하여 비트, 글자, 단어 단위 평균 전송 정확도를 측정하였고, 평균 98%의 비트 전송 정확도를 얻을 수 있었다. 표 2는 측정된 전송 정확도의 결과를 나타낸다.
표 1과 같이 색상에 따른 각 거리별 검출율을 살펴보면 Red 발광 시 평균 96.76%, Green 발광 시 평균 97.27%, Blue 발광 시 평균 97.68%로 Blue로 발광하였을 때 검출율이 가장 높고, Red로 발광하였을 때 검출율이 가장 낮은 것을 확인할 수 있다. 전체 평균은 약 97.
후속연구
본 논문에서 제안하는 시스템은 별도의 장비 없이 개인용 스마트 폰과 가정의 스마트 TV만을 가지고 충분히 이용할 수 있어서, 동작인식 콘텐츠에 대한 일반인들의 접근이 쉽다는 데 의미가 있다. 차후에는 추가연구를 통하여 동작 인식 정확도를 향상시키고 데이터 전송 정확도를 높이는 방법을 모색할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
키넥트는 무엇을 이용하여 신체를 영상으로 인식하는가?
마이크로소프트에서 출시한 키넥트는 특별한 게임 컨트롤러를 필요로 하지 않는다. RGB 카메라 하나와 그 양옆 에 붙어있는 두 대의 깊이 센서를 이용하여 사람의 몸을 직접 영상으로 인식한다. 조명에 크게 영향을 받지 않은 채 실시간으로 사람 몸의 48개 관절 포인트를 검출할수 있어, 특별한 컨트롤러 없이 몸동작만으로도 게임을즐길 수 있게 하였다.
동작인식 플랫폼은 무엇으로 구현되어 있는가?
이러한 동작인식 플랫폼들은 사용자에게 높은 몰입감과 큰 재미를 선사하지만 현재 출시된 동작인식 플랫폼들은 일반인들이 접근하기 쉽지 않다는 단점이 있다. 동작인식 플랫폼에는 근거리 무선 통신이나, 영상처리 알고리즘, 물리 센서 신호처리 알고리즘 등의 다양한 기술들이 복합적으로 구현되어 있으며, 이로 인하여 게임 플랫폼들의 가격은 일반인들이 간단히 즐기는 용도로 구입하기에는 적절하지 않은 수준이다. 또한, 플랫폼을 구입하여도 콘텐츠를 실제로 즐기기 위해서는 소프트웨어를따로 구입해야 하는 번거로움도 있어 경제적인 부담과 추가 구입에 대한 수고가 넓은 연령층에 대중화되지 못하는 이유 중 하나가 되고 있다.
현재 동작인식 플랫폼의 단점은 무엇인가?
이러한 동작인식 플랫폼들은 사용자에게 높은 몰입감과 큰 재미를 선사하지만 현재 출시된 동작인식 플랫폼들은 일반인들이 접근하기 쉽지 않다는 단점이 있다. 동작인식 플랫폼에는 근거리 무선 통신이나, 영상처리 알고리즘, 물리 센서 신호처리 알고리즘 등의 다양한 기술들이 복합적으로 구현되어 있으며, 이로 인하여 게임 플랫폼들의 가격은 일반인들이 간단히 즐기는 용도로 구입하기에는 적절하지 않은 수준이다.
참고문헌 (7)
P. Zackariasson, T. Wilson, eds. "The Video Game Industry: Formation, Present State, and Future," Routledge, Vol. 24, 2012.
I. Chiang, J. Tsai, "Using Xbox360 Kinect Games on Enhancing Visual Performance Skils on Institutionalized Older Adults with Wheelchairs," Fourth IEEE Int'l Conference On Digital Game And Intelligent Toy Enhanced Learning, pp. 263-267, 2012.
J. Deutsch, et al. "Nintendo wii sports and wii fit game analysis, validation, and application to stroke rehabilitation," Topics in stroke rehabilitation, vol. 18, no. 6, pp. 701-719, 2011.
CK, Park, Nyamdagva, "Design of Two Rate Three Color Marker using FPGA", The International Journal of Internet, Broadcasting and Communication(IJIICB), Vol. 1, No. 1, pp. 16-21, 2009.
DY. Kim, JW. Park, CW. Lee, "Object-Tracking System Using Combination of CAMshift and Kalman filter Algorithm," Journal of Korea Multimedia Society, Vol 16, no. 5, pp. 619-628, 2013.
T. Tengis, A. Batmunkh, "Mapping of Real-Time 3D object movement," The International Journal of Internet, Broadcasting and Communication(IJIICB), Vol. 7, No. 2, pp. 1-8, 2015.
BH. O, KW. J, KS. Hong, "Multi-object Detection and Tracking Method based on Color Information," The 24th Joint Conference on Communications and Information, 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.