[논문]키넥트 센서와 유니티 3D 엔진기반의 객체 인식 기법을 적용한 체험형 게임 콘텐츠 설계 및 구현

정세훈; 이주환; 조경호; 박재성; 심춘보

doi:10.9717/kmms.2018.21.12.1493

키넥트 센서와 유니티 3D 엔진기반의 객체 인식 기법을 적용한 체험형 게임 콘텐츠 설계 및 구현
A Design and Implementation of Object Recognition based Interactive Game Contents using Kinect Sensor and Unity 3D Engine 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.21 no.12, 2018년, pp.1493 - 1503

정세훈 (School of Major Connection, Youngsan University) , 이주환 (Dept. of Multimedia Eng., Sunchon University) , 조경호 (Dept. of Multimedia Eng., Sunchon University) , 박재성 (Dept. of Multimedia Eng., Sunchon University) , 심춘보 (School of Information Com. and Multimedia Eng., Sunchon University)

Abstract ▼ AI-Helper

We propose an object recognition system and experiential game contents using Kinect to maximize object recognition rate by utilizing underwater robots. we implement an ice hockey game based on object-aware interactive contents to validate the excellence of the proposed system. The object recognition system, which is a preprocessor module, is composed based on Kinect and OpenCV. Network sockets are utilized for object recognition communications between C/S. The problem of existing research, degradation of object recognition at long distance, is solved by combining the system development method suggested in the study. As a result of the performance evaluation, the underwater robot object recognized all target objects (90.49%) with 80% of accuracy from a 2m distance, revealing 42.46% of F-Measure. From a 2.5m distance, it recognized 82.87% of the target objects with 60.5% of accuracy, showing 34.96% of F-Measure. Finally, it recognized 98.50% of target objects with 59.4% of accuracy from a 3m distance, showing 37.04% of F-measure.

주제어

표/그림 (20)

그림 Fig. 1. Conceptual Diagram of Kinect and Underwater Robot.
그림 Fig. 2. Overall Structure of Proposed System.
그림 Fig. 3. Structure of Object Recognition Algorithm.
그림 Fig. 4 Principle of Kinect Camera.
그림 Fig. 5. Set Tracking Window.
그림 Fig. 6. Set Threshold of Object Recognition.
그림 Fig. 7. Set Blur.
그림 Fig. 8. Objects Classification Through Labeling.
그림 Fig. 9. Location Variables Values of Labeling Scope.
그림 Fig. 10. Structure of Communication Module.
그림 Fig. 11. Structure of Game Content.
표 Table 1. Implementation Environment
그림 Fig. 12. Game Aquarium(H/W).
표 Fig. 13. Implementation Results.
그림 Fig. 14. Adjusted Depth Value.
그림 Fig. 15. Adjusted Blur Cut.
그림 Fig. 16. Adjusted Size
표 Table 2. Performance Evaluation with Kinect Distance
표 Table 3. Results of F-measure with Kinect Distance
표 Table 4. Qualitative Comparison Evaluation with Existing Study

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

모바일 기기의 스마트 디바이스 중에서 객체 인식이 가능한 키넥트를 이용하여 어린이들의 전래동화 몰입도를 향상시키기 위해 제안하였다[11]. 키넥트 카메라로 사용자의 손을 인식하고 손의 좌표값 x, y 를 유니티 3d 안 물고기와 연동시켜 동일한 좌표값으로 이동시켜 구현하였다.
본 논문에서는 키넥트 센서와 유니티 3D 엔진을 활용하고 OpenCV 기반의 객체 인식 기법을 적용한 수중 로봇 체험형 게임 콘텐츠를 제안한다. 이를 위해 먼저 영상에 존재하는 객체와 배경을 OpenCV의 이진화[7]를 활용하여 분리하고 실시간 트래킹을 위해 트래킹 윈도우를 맞춰 기존 연구에 비하여 연산량을 감소시킨다.
본 논문에서는 키넥트를 이용한 객체 인식 시스템 및 체험형 게임 콘텐츠를 제안하였다. 제안하는 시스템은 키넥트의 깊이 영상으로 수조의 수중 로봇을 인식하고 배경과 객체를 분리하여 객체의 위치값을 얻어내는 전처리기 과정을 포함하고 데이터 전송을 위해 Socket을 생성하여 체험형 콘텐츠인 아이스하키 게임까지 연동하는 통신 모듈을 포함하고 있다.

제안 방법

테스트의 True and Positive 값은 수중 로봇을 수중 로봇으로 인식하는 것이며 True and Negative는 수중 로봇을 수중 로봇으로 인식하지 못한 것을 의미한다. False Positive는 수중 로봇이 없는데 수중 로봇으로 인식한 것이며 False and Negative는 수중 로봇이 없을 때 어떠한 객체도 인식하지 않은 것을 가지고 테스트를 수행하였다.
Blur Cut은 사용자가 이진화의 임계값을 설정하기 위해 사용한다. Horizontal Flip은 사용자가 출력 영상을 수평으로 뒤집을 수 있으며, Vertical Flip은 수직으로 뒤집기 위해 라디오 버튼으로 구현하였다. Min Size와 Max Size는 사용자가 인식된 객체의 넓이 값을 조절함으로써 분별적으로 객체를 인식하기 위해 구현하 였다.
객체 인식 분야에서의 기존 방법으로는 키넥트를 사용하여 NUI(Nature User Interface)를 설계 및 구현하였다[5]. OpenCV 라이브러리를 키넥트에 접목 하여 키넥트의 깊이 데이터, 골격추적, 라벨링 알고리즘으로 손 영역 추출 및 움직임의 정보를 인식하여 가상의 마우스와 가상의 키보드를 구현하고 음성인식을 통해 기존의 입력장치를 구현하였다.
[5], [10] 및 [11]에서는 몸 신체의 손 하나만을 tracking 하여 정보를 얻었고 [6]의 연구는 몸 전체를 tracking 하여 재활 게임에 활용하였다. 그러나 본 연구에서는 Robot Fish를 이용하여 사람 이외에 객체를 인식하였고 가상의 공간과 통신할 수 있는 게임 콘텐츠를 구현하였다. 기존의 키넥트에서 제공되는 사람의 Skeleton tracking을 이용한 것과는 다르게 깊이 영상과 RGB영상을 합쳐 하나의 이미지를 본 연구에서 제안하는 알고리즘을 거쳐 객체를 인식했다는 점에서 차이가 있다.
수조에 있는 로봇 물고기를 인식하는 과정에서 수심 50 cm 정도의 객체를 tracking을 할 수 있다는 점에서 차이가 있다. 기존 다른 연구들에서 통신을 하는 방식에는 Zigfu[5], Nui Api[6], Kinect Nui Lib[10]를 사용하곤 했지만 본 연구의 영상처리 시스 템은 C++로 구현되어 유니티 3D 엔진의 C#과의 통신을 해야 했기에 TCP/IP Socket 통신으로 marshaling 하여 전송하였다. 마지막 기존의 키넥트 거리에 대한 인식률은 1.
또한 국내에서 가동 중인 원자로에 사람 대신 수중 로봇을 투입하여 육안으로 확인해야 할 원자로 손상유무를 탐지하고 원자로 압력용기 내 이물질 탐지 및 회수를 위한 아이디어를 제안하였다[6]. 수중 로봇은 짙은 남색의 냉각수와 반대되게 노란색을 이용하여 객체 인식을 좀 더 수월하게 한다.
클라이언트와 서버는 각각 C#과 C++로 구현하기에 이기종 언어 간의 통신방법이 요구되며, 이러한 부분을 위해서 서버에 서는 바이트형식으로 데이터를 전송하고 클라이언트에서는 전달받은 바이트를 Marshal 클래스를 이용하여 변환한다. 마지막으로 아이스하키 게임을 구현을 통해 키넥트 센서와 유니티 3D 엔진을 이용한 객체 인식 기반의 체험형 콘텐츠를 검증하며, 기존의 연구들과의 정성적인 비교와 더불어 키넥트 객체 인식 거리를 기반으로 인식의 정확도를 평가하기 위해서 F-Measure를 계산하여 성능을 평가한다.
본 논문에서 제안하는 시스템은 기존의 키넥트를 이용하여 인식한 객체들과는 다르다. [5], [10] 및 [11]에서는 몸 신체의 손 하나만을 tracking 하여 정보를 얻었고 [6]의 연구는 몸 전체를 tracking 하여 재활 게임에 활용하였다.
본 논문에서 제안하는 키넥트를 이용한 객체 인식은 크게 전처리기 부분과 C/S 통신 모듈로 구성되고 객체 인식을 확인하기 위한 체험형 콘텐츠는 아이스하키 게임 구현을 이용한다. 시스템의 전처리기 부분은 사용자가 키넥트에서 입력받은 영상을 환경에 맞게 깊이 값을 조절하고 인식하고 싶은 영역을 조절 가능하도록 한다.
본 논문에서는 키넥트 센서와 유니티 3D 엔진을 활용하고 OpenCV 기반의 객체 인식 기법을 적용한 수중 로봇 체험형 게임 콘텐츠를 제안한다. 이를 위해 먼저 영상에 존재하는 객체와 배경을 OpenCV의 이진화[7]를 활용하여 분리하고 실시간 트래킹을 위해 트래킹 윈도우를 맞춰 기존 연구에 비하여 연산량을 감소시킨다. 거리가 멀어질수록 객체 크기가 작아 지는 문제점을 개선하기 위해 모폴로지[8] Blur 연산으로 객체를 키워 인식률을 높인다.
키넥트 깊이 영상은 해상도가 높지 않아 손에 대한 인식 기능을 제공하지 않는다. 이에 원거리에서 손을 인식할 수 있는 모듈을 구현하였다. 키넥트 카메라의 인체 전신 골격추적 기능을 원거리에서 객체를 확인하기 위해 실험을 진행하였으며 2 m까지는 높은 인식률을 보였지만 2 m 이상의 거리에서는 낮은 인식률을 보이고 있다[10].
Puck 위로 수중 로봇이 이동하게 되면 상단에 설치된 키넥트로 인식하게 되고 전처리 과정을 거친 후 통신 모듈을 통해 유니티로 전달되게 된다. 전달된 위치 값에 보이지 않는 객체를 생성하여 실제 수중 로봇이 아이스하키 게임을 구현하였다.
본 논문에서는 키넥트를 이용한 객체 인식 시스템 및 체험형 게임 콘텐츠를 제안하였다. 제안하는 시스템은 키넥트의 깊이 영상으로 수조의 수중 로봇을 인식하고 배경과 객체를 분리하여 객체의 위치값을 얻어내는 전처리기 과정을 포함하고 데이터 전송을 위해 Socket을 생성하여 체험형 콘텐츠인 아이스하키 게임까지 연동하는 통신 모듈을 포함하고 있다. 검증 결과 2.
키넥트 인식 거리에 대한 정확도와 재현율은 수중 로봇이 있을 때와 수중 로봇이 없을 때를 구분하여 각각 약 1000번씩 테스트를 수행하였다. 테스트의 True and Positive 값은 수중 로봇을 수중 로봇으로 인식하는 것이며 True and Negative는 수중 로봇을 수중 로봇으로 인식하지 못한 것을 의미한다.
모바일 기기의 스마트 디바이스 중에서 객체 인식이 가능한 키넥트를 이용하여 어린이들의 전래동화 몰입도를 향상시키기 위해 제안하였다[11]. 키넥트 카메라로 사용자의 손을 인식하고 손의 좌표값 x, y 를 유니티 3d 안 물고기와 연동시켜 동일한 좌표값으로 이동시켜 구현하였다. 콘텐츠는 토끼와 거북이를 이용하여 아이들의 흥미를 향상시켰다.

이론/모형

따라서 반사된 빛의 잡음은 크기가 매우 크거나 매우 작은 특성을 지니기에 객체의 넓이를 조절하여 오검출을 줄이는 방법으로 활용한다. 인식된 객체를 체험형 게임 콘텐츠로 전달하기 위해 C/S(클라이언트/서버)방식의 소켓 형태를 사용한다. 클라이언트와 서버는 각각 C#과 C++로 구현하기에 이기종 언어 간의 통신방법이 요구되며, 이러한 부분을 위해서 서버에 서는 바이트형식으로 데이터를 전송하고 클라이언트에서는 전달받은 바이트를 Marshal 클래스를 이용하여 변환한다.

성능/효과

제안하는 시스템은 키넥트의 깊이 영상으로 수조의 수중 로봇을 인식하고 배경과 객체를 분리하여 객체의 위치값을 얻어내는 전처리기 과정을 포함하고 데이터 전송을 위해 Socket을 생성하여 체험형 콘텐츠인 아이스하키 게임까지 연동하는 통신 모듈을 포함하고 있다. 검증 결과 2.5 m와 3 m에 위치한 객체 또한 재현율 60% 정도로 인식할 수 있었다. 그러나 2.
5 m에서 2 m가 평균이었다. 그러나 본 논문에서 제안하는 객체 인식 시스템은 2.5 m 거리에 대해서 60.5% 정도의 재현율을 향상시켰고 3 m에 대해서 59.4% 정도로 인식률을 향상시켜 다른 논문들과 차이점이 있었다.
04%이다. 따라서 3 m 거리의 Precision이 비교적 높은 편이나, 2 m의 거리에서 정확도가 가장 우수하였으며 본 연구에서 목표한 거리 2.5 m와 3 m에 대한 정확도는 약 60%의 결과를 얻었다.
96%이다. 마지막으로 3 m 거리에서는 98.50% 대상 물체들을 인식하였으며, 59.4%의 정확도로 목표한 객체를 인식하여 Fmeasure 값은 37.04%이다. 따라서 3 m 거리의 Precision이 비교적 높은 편이나, 2 m의 거리에서 정확도가 가장 우수하였으며 본 연구에서 목표한 거리 2.
실험 결과, 2 m의 거리에서 90.49%로 대상 물체들을 빠짐없이 잘 인식하였으며, 80%의 정확도로 목표한 객체를 인식하여 F-Measure 값은 42.46%를 나타내었다. 2.
이에 원거리에서 손을 인식할 수 있는 모듈을 구현하였다. 키넥트 카메라의 인체 전신 골격추적 기능을 원거리에서 객체를 확인하기 위해 실험을 진행하였으며 2 m까지는 높은 인식률을 보였지만 2 m 이상의 거리에서는 낮은 인식률을 보이고 있다[10].

후속연구

향후 연구에서는 원거리 객체 인식률을 더 높이기 위해 작은 크기의 객체라도 인식할 수 있는 연구를 계속하고 수조의 물에 빛이 반사되는 잡음 또한 줄이는 연구를 진행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	키넥트의 객체 검출 단점은 무엇인가?	키넥트는 최대 8m까지 깊이 영상을 취득할 수 있으며, 객체 검출범위는 4～5 m까지 가능하다. 그러나 인물 전체가 아닌 신체 일부를 객체로 인식할 때와 크기가 작은 객체를 인식할 경우, 객체 검출범위가 현저히 줄어드는 단점이 있다. 기존 [5]의 연구에서는 깊이 4.
	키넥트는 어떤 영상처리에 적합한가?	기존의 연구들은 영상의 깊이(거리)값을 얻기 위해 스테레오 정합[2]을 이용하고 있는데 두 개의 영상을 정합을 하는데 시간이 많이 소요되어 실시간 영상처리에 부적합하다. 그러나 최근 연구들은 실시간 영상처리가 가능한 마이크로소프트사(MS)의 키넥트(Kinect)를 활용하고 있으며, 키넥트는 깊이 정보를 컬러 2D 영상에 일대일 형태로 투영시켜 초당 30장 이상의 고속 작동이 가능 하기에 실시간 영상처리에 적합하다[3-4]. 또한 키넥트는 개발자들에게 SDK(Software Development Kit)를 제공하기에 콘텐츠 개발이 용이하며, 다른 비슷한 용도의 3D 입체 센서 카메라들과 비교했을 때 가격 경쟁력이 뛰어나며, USB로 PC와 연결하여 사용하기 편리하다.
	키넥트가 제공하는 편의점은 무엇인가?	그러나 최근 연구들은 실시간 영상처리가 가능한 마이크로소프트사(MS)의 키넥트(Kinect)를 활용하고 있으며, 키넥트는 깊이 정보를 컬러 2D 영상에 일대일 형태로 투영시켜 초당 30장 이상의 고속 작동이 가능 하기에 실시간 영상처리에 적합하다[3-4]. 또한 키넥트는 개발자들에게 SDK(Software Development Kit)를 제공하기에 콘텐츠 개발이 용이하며, 다른 비슷한 용도의 3D 입체 센서 카메라들과 비교했을 때 가격 경쟁력이 뛰어나며, USB로 PC와 연결하여 사용하기 편리하다. 키넥트는 최대 8m까지 깊이 영상을 취득할 수 있으며, 객체 검출범위는 4～5 m까지 가능하다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증