[논문]Kinect 센서를 이용한 효율적인 사람 추종 로봇의 예측 제어

허신녕; 이장명

doi:10.5302/j.icros.2014.14.0019

Kinect 센서를 이용한 효율적인 사람 추종 로봇의 예측 제어
Predictive Control of an Efficient Human Following Robot Using Kinect Sensor 원문보기

제어·로봇·시스템학회 논문지 = Journal of institute of control, robotics and systems, v.20 no.9, 2014년, pp.957 - 963

허신녕 (부산대학교 로봇협동과정) , 이장명

Abstract ▼ AI-Helper

This paper proposes a predictive control for an efficient human following robot using Kinect sensor. Especially, this research is focused on detecting of foot-end-point and foot-vector instead of human body which can be occluded easily by the obstacles. Recognition of the foot-end-point by the Kinect sensor is reliable since the two feet images can be utilized, which increases the detection possibility of the human motion. Depth image features and a decision tree have been utilized to estimate the foot end-point precisely. A tracking point average algorithm is also adopted in this research to estimate the location of foot accurately. Using the continuous locations of foot, the human motion trajectory is estimated to guide the mobile robot along a smooth path to the human. It is verified through the experiments that detecting foot-end-point is more reliable and efficient than detecting the human body. Finally, the tracking performance of the mobile robot is demonstrated with a human motion along an 'L' shape course.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 Kinect 센서를 이용하여 발 끝점 및 발 벡터를 검출하여 이동로봇이 사람을 추종하며 예측하여 움직이는 것에 그 목표를 두고 있다. 먼저 발 끝점을 추종하는 방법에 대해 설명한다.
이와 더불어 이동로봇의 주행에 있어 Kinect 센서로 검출할 수 있는 추가적인 정보를 바탕으로 효과적인 이동 로봇의 움직임 만들 수 있다. 본 논문에서는 발 모양의 움직임을 미리 예측하여 가중치를 양쪽 바퀴에 더해 주는 형식을 추가하여 이동로봇을 제어하는 방법을 제안한다.
본 논문에서는 발 벡터를 이용한 발 끝점 추종 방법을 제안하고, 이동로봇에 적용시켜 이동 경로를 표시함으로써 이동로봇의 사람 추종효율성에 대하여 기술하였다. 이 방법은 발을 추종 할 수 없는 경우를 제외한 상황에서 몸 중심점 추종 방법과 비교해 일반적인 상황에서의 장점이 크다는 것을 알 수 있었다.
본 논문에서는 이동로봇이 실시간으로 사람을 추종하는데 있어서 Kinect 센서를 사용한 효율적인 방법을 제안하고 제안된 방법과 기존 방법을 비교 하여 제안된 방법의 우수성을 실험을 통해 검증을 한다. 이동 로봇이 사람을 추종하기 때문에 이동로봇은 추종하는 사람의 작업을 보조하거나 도움을 줄 수 있다.
가령 사람의 상체가 숙여진 경우 이런 현상이 발생하게 된다. 이를 보완하고 로봇의 인지 정확성 및 로봇의 인지 속도를 높이기 위하여 발 끝점 및 발 벡터를 검출 하여 사람을 추종하는 로봇에 대해 설명한다.
본 연구를 통해 발의 방향 예측 및 발 추종기술의 정립은 인간 추종 로봇에 활용하기에 적합하다. 효과적인 제어기 및 시스템 설계분석을 통한 인간 추종 기법의 연구와 장애물을 만났을 때의 회피 방법의 연구 등을 진행하여 보다 나은 추종 로봇을 만들고자 한다.

가설 설정

이때, 화소의 수평 이동량을 구하는 원리는 삼각측량의 원리이다[6]. Kinect 센서의 수평방향 거리는 d[m]떨어져 있으며, 카메라 광학계는 L[m] 떨어진 거리에서 L_W[m]의 폭이 N_X 화소로 검출한다고 가정을 한다. 이때 객체와 Kinect의 거리를 Z_d, 검출할 객체의 본래 비트 위치를 X₀, 이동한 비트 위치를 X₁이라고 가정하면 기하학적인 상관관계로부터 다음 식이 성립한다.

제안 방법

기본적인 Kinect의 동작은 Microsoft 에서 제공하는 SDK를 사용한다[4,5]. Kinect 센서에서 얻은 데이터를 PC를 이용하여 사람의 전체 크기를 인지, 그 특징 점을 추종하여 이동로봇과 사람 사이의 거리, 각도, 사람이 나아가고자 하는 방향 등을 도출 한다. 최종적으로 이동로봇의 좌우 바퀴 속력을 실험을 통해 이득값을 조정하여 계산하고 시리얼 통신을 사용하여 제어 명령을 MCU에 전송하여 이동로봇을 제어한다.
이는 사람 모양 판넬을 사용하여 실험 하였기에 데이터 정밀도가 매우 정확하게 나온 것을 확인 가능하다. 두 번째로 발 끝점을 측정하게 되면서 측정 범위가 증가하게 되어 좀더 정밀한 측정을 할 수 있는 장점, 세 번째로 한 점 측정과 두 점 측정의 차이로 생기는 데이터 오류 개선의 장점을 실험을 통해 다음과 같이 검증하였다.
최종적으로 영상 기법인 Mean Shift Clustering 알고리즘을 사용하여 효율적으로 관절 정보를 찾는데 도움을 주게 적용하였다[13]. 본 논문에서는 Microsoft에서 제안한 방법을 바탕으로 발 끝점 좌표를 획득하였으며, 오차 값을 줄이기 위해 640x480의 화면을 30fps의 영상 정보를 바탕으로 측정결과를 1/10초당 한번 평균값을 계산함으로써 정확도를 높였다[14]. 발 끝점 추종 방법을 이동 로봇에 적용하였을 때 크게 3가지 장점이 생긴다.
위 방법을 이용해 화소 하나의 추정거리를 계산할 수 있다. 본 논문에서는 사람의 발 끝점 밑, 발의 벡터를 추종 하려 한다. 발의 특정부위 검출을 위해 우선 사람의 관절 정보 전체를 이용한 발 끝점 추종 방법에 대해서 설명한다.
이때 발의 벡터를 측정하기 위해 사용한 관절 정보는 발 끝점(L/R foot)과 발목(L/R ankle) 정보이다[8,9]. 위 정보를 이용하여 발의 X 벡터를 구하고, X 벡터의 합 벡터를 계산한 다음 좌우 바퀴 속도 값의 가중치를 더하는 방법을 사용하여, 이동로봇의 예측제어를 가능하게 하였다.
이동경로는 ‘ㄱ’ 자 코스와 ‘s’자 코스에서 실험을 진행하였으며 엔코더 데이터의 불확실성을 제거하기 위해 고성능 카메라를 이용하여 높이 5m 상공에서 촬영을 진행하였다.
즉, 발 끝점을 측정하여 이동거리와 각도를 계산하여 θ 를 구하게 되며, 이를 이용하여 좌우 바퀴 속도를 결정하고, 최종적으로 발 벡터를 측정하여 가중치를 주는 형식을 취하고 있다. 이를 적용하여 좌우 바퀴 속도를 계산한 후 시리얼 통신을 통하여 이동로봇의 MCU에 좌우 바퀴 속도를 전송 후 수신 받은 정보를 바탕으로 가지고 이동로봇을 제어한다.
먼저 발 끝점을 추종하는 방법에 대해 설명한다. 제안된 발 끝점 추종 방법이란 기본적인 Kinect 센서의 좌표 검출 원리를 발에 적용시켜 30fps의 영상을 1/10초 평균을 내어 그 좌표값을 계산하게 만들었다.
위 방법을 이용하여 다음과 같은 실험으로 발 끝점 추종법의 우수성을 검증한다. 키 173, 155cm의 사람모양 판넬을 Kinect 센서와 2.5m 지점에 두고 몸 중심점 추종법과 발 끝점 추종 방법을 비교하여 보았다. 그 결과는 다음과 같다.
이를 위해 31개의 신체부위로 나누어 각각의 명칭을 Labeling 한다. 현재 본 논문에서 사용하게 될 발 끝점은 L/R Foot 으로 Labeling 되어있으며 Vector를 알아 내기 위한 지점은 발목으로 국한하여 L/R Ankle 로 Labeling 하였다. 그 후 발의 끝점 (L/R Foot)과 발목 정보 (L/R Ankle)의 좌표를 계산하기 위해 두 가지 방법이 사용된다[8,9].

이론/모형

먼저 영상 이미지와, Depth 이미지 에서 발이 어느 부분인지 Labeling 한 부분의 영역을 클래스로 지정하고, 그 부분의 중심점의 고정좌표를 읽어내는 방법이다. 그후, 그 점이 움직이게 되면 움직이는 점이 발 끝점이라는 것을 알기 위해 Randomized decision tree(의사 결정 나무)를 이용한다[10].
식 (6)는 이동로봇에 적용된 발 벡터의 가중치 이다. 이를 적용하기 위해 이동로봇의 모델링을 이용한다.
위 학습 방법을 이용하여 사람이 움직일 때의 발 끝점 좌표를 조금 더 정밀하게 계산할 수 있다. 최종적으로 영상 기법인 Mean Shift Clustering 알고리즘을 사용하여 효율적으로 관절 정보를 찾는데 도움을 주게 적용하였다[13]. 본 논문에서는 Microsoft에서 제안한 방법을 바탕으로 발 끝점 좌표를 획득하였으며, 오차 값을 줄이기 위해 640x480의 화면을 30fps의 영상 정보를 바탕으로 측정결과를 1/10초당 한번 평균값을 계산함으로써 정확도를 높였다[14].

성능/효과

실험 결과를 보면 ‘ㄱ’자 코스의 세로 축의 3m 지점에서 이동로봇이 사람의 이동경로 쪽으로 회전을 하는 것을 볼 수 있다.
실험 결과를 보면 파란색의 몸 중심점 이동은 발 걸음의 이동속도에 맞게 부드럽게 이동하는 반면 좌우 1m 사이를 번갈아 움직였을 때 그 폭이 발의 움직임 보다 줄어드는 것을 볼 수 있다. 붉은색 그래프는 발의 움직임을 나타내며, 파란색의 몸 움직임 보다 폭이 더욱 큰 것을 볼 수 있지만 발동작의 특성에 맞게 부드러운 움직임 보다 변화폭이 큰 움직임을 특징으로 들 수 있다.
본 논문에서는 발 벡터를 이용한 발 끝점 추종 방법을 제안하고, 이동로봇에 적용시켜 이동 경로를 표시함으로써 이동로봇의 사람 추종효율성에 대하여 기술하였다. 이 방법은 발을 추종 할 수 없는 경우를 제외한 상황에서 몸 중심점 추종 방법과 비교해 일반적인 상황에서의 장점이 크다는 것을 알 수 있었다. 키에 대한 오차 및 사람의 신체 조건에 대한 오차가 줄어 들었으며, 발 움직임의 큰 변화폭에 의한 빠른 센싱, 두 점 추종으로 인한 데이터 오류 효과 개선 등의 장점을 보유하고 있다.
첫 번째로 사람의 크기에 따라 측정거리 D 값의 변화가 없어지는 장점이 있다. 이는 사람 모양 판넬을 사용하여 실험 하였기에 데이터 정밀도가 매우 정확하게 나온 것을 확인 가능하다. 두 번째로 발 끝점을 측정하게 되면서 측정 범위가 증가하게 되어 좀더 정밀한 측정을 할 수 있는 장점, 세 번째로 한 점 측정과 두 점 측정의 차이로 생기는 데이터 오류 개선의 장점을 실험을 통해 다음과 같이 검증하였다.
실험 결과를 보면 ‘ㄱ’자 코스의 세로 축의 3m 지점에서 이동로봇이 사람의 이동경로 쪽으로 회전을 하는 것을 볼 수 있다. 이때, 사람의 급격한 수평 이동에서 몸 중심점을 추종하는 방법보다 발 벡터를 적용한 발 끝점 추종 방법이 더욱 빠른 시점에서 회전하는 것을 볼 수 있었다. 이는 앞서 언급했던 발 끝점을 추종하면서 생기는 장점 및 발 벡터를 적용 시킨 방법을 더해 기인한 현상으로, 주행 시 급격한 수평 이동에서의 이동 경로의 신속적인 인지능력과, 총 이동거리의 감소 효과를 보여준다.
키에 대한 오차 및 사람의 신체 조건에 대한 오차가 줄어 들었으며, 발 움직임의 큰 변화폭에 의한 빠른 센싱, 두 점 추종으로 인한 데이터 오류 효과 개선 등의 장점을 보유하고 있다. 제안된 방법을 적용시킨 이동로봇의 실험에서 보듯이 주행 중 급격한 수평이동 발생 시 이동 경로를 예측하여 곡선으로 주행하면서 이동거리의 줄이는 효과를 볼 수 있었다. 이는 발 벡터를 이용한 예측 제어의 높은 효율성을 보여준다.
측정 결과를 보면 몸 중심점 추종 법에서의 오류는 그 오류 폭이 큰 것으로 나타났으나 발 끝점 추종 방법은 그 값이 평균이 되기 때문에 두 추종 값 중 한 추종 값에 오류나 외란이 생겨도 데이터의 변동 폭은 그렇게 크지 않음을 볼 수 있다. 위 세가지 장점으로 인해 발 끝점 추종 방법이 어떠한 상황에서 유리한지 알 수 있다.

후속연구

Kinect 센서를 이동로봇 분야에 적용하여 몸 중심점을 연구하는 기술과 머리와 어깨를 추종하여 방향을 감지하는 기술이 연구 되어있으나 발을 추종하는 기술이나 발의 방향을 분석하는 기술은 미진하다. 본 연구를 통해 발의 방향 예측 및 발 추종기술의 정립은 인간 추종 로봇에 활용하기에 적합하다. 효과적인 제어기 및 시스템 설계분석을 통한 인간 추종 기법의 연구와 장애물을 만났을 때의 회피 방법의 연구 등을 진행하여 보다 나은 추종 로봇을 만들고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Kinect 센서의 장점은 무엇인가?	따라서 이동로봇에 대한 연구는 많은 센서들을 사용해 온 것이 관례적이나, 현재에는 저가형 Kinect 센서를 바탕으로 센서 사용을 줄이며 다양한 정보를 획득하기 위한 로봇이 개발 중에 있다. 특히 Kinect 센서는 가격이 저렴하며 카메라와 IR 센서 Microphone 등이 융합된 센서로 성능이 우수하기 때문에 각광 받고 있으며, 많은 연구가 이루어 지고 있다. Kinect 센서는 사람의 신체부위 및 움직임을 인식할 수 있기 때문에 센서와 사람 사이의 거리, 각 관절 값 등을 추종하는데 높은 성능을 보여준다. 현재는 많은 학습 알고리즘을 통해 인체의 특징 점은 물론 동작패턴 및 손가락 모양까지도 검출이 가능하다[4].
	이동로봇이 임무 수행 중 고려하는 사항은 무엇인가?	이동로봇은 주행을 하며 주어진 임무를 수행하는 로봇으로 위치측정, 속도 및 가속도, 장애물 인식, 이동경로설정 등의 복합적인 사항을 고려하게 된다[3]. 따라서 이동로봇에 대한 연구는 많은 센서들을 사용해 온 것이 관례적이나, 현재에는 저가형 Kinect 센서를 바탕으로 센서 사용을 줄이며 다양한 정보를 획득하기 위한 로봇이 개발 중에 있다.
	발 벡터를 이용한 발 끝점 추종 방법을 적용한 이동로봇의 장점은 무엇인가?	이 방법은 발을 추종 할 수 없는 경우를 제외한 상황에서 몸 중심점 추종 방법과 비교해 일반적인 상황에서의 장점이 크다는 것을 알 수 있었다. 키에 대한 오차 및 사람의 신체 조건에 대한 오차가 줄어 들었으며, 발 움직임의 큰 변화폭에 의한 빠른 센싱, 두 점 추종으로 인한 데이터 오류 효과 개선 등의 장점을 보유하고 있다. 제안된 방법을 적용시킨 이동로봇의 실험에서 보듯이 주행 중 급격한 수평이동 발생 시 이동 경로를 예측하여 곡선으로 주행하면서 이동거리의 줄이는 효과를 볼 수 있었다.

참고문헌 (17)

T.-S. Jin and J.-M. Lee, "Object position estimation and optimal moving planning of mobile manipulator based on active camera," The Transactions of the Korean Institute of Electrical Engineers, vol. 42, no. 5, pp. 1-12, Sep. 2005.
N.-Y. Ko, D.-J. Seo, and Y.-S. Moon, "A method for real time target following of a mobile robot using heading and distance information," Journal of Korean Institute of Intelligent Systems, vol. 18, no. 5, pp. 624-631, 2008.

원문보기 상세보기
B.-S. Choi and J.-M. Lee, "A capturing algorithm of moving object using single curvature trajectory," Journal of Control, Automation, and Systems Engineering (in Korean), vol. 12, no. 2, Feb. 2006.

원문보기 상세보기
Microsoft Research Kinect for Windows SDK Programming guide
G. Bradski, The OpenCV Library. Dr. Dobb's Journal of Software Tools, 2000.
V. Ganapathi, C. Plagemann, D. Koller, and S. Thrun, "Real time motion capture using a single time-of-flight camera," Proc. of CVPR, pp. 755-762, 2010.
Y. Amit and D. Geman, "Shape quantization and recognition with randomized trees," Neural Computation, vol. 9, no. 7, pp. 1545-1588, 1997.

상세보기
G. Mori and J. Malik, "Recovering 3D human body configurations using shape contexts," Pattern Analysis and Machine Intelligence, vol. 28, no. 7, pp. 1052-1062, Jul. 2006.

상세보기
C. Plagemann, V. Ganapathi, D. Koller, and S. Thrun, "Real-time identification and localization of body parts from depth images," In Proc. ICRA, pp. 3108-3113, 2010.
C. Bregler and J. Malik, "Tracking people with twists and exponential maps," Proc. of CVPR, pp. 8-15, 1998.
A. Carballo, A. Ohya, and S. Yuta, "Fusion of double layered multiple laser range finders for people detection from a mobile robot," Proc. of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, pp. 677-682, 2008.
C. Barron and I. A. Kakadiaris, "Estimating anthropometry and pose from a single image," Proc. of CVPR, pp. 1669-1676, 2000.
D. Comaniciu and P. Meer, "Mean shift: A robust approach toward feature space analysis," IEEE Trans. PAMI, vol. 24, no. 5, 2002.
J. Shotton, A. Fitzgibbon, M. Cook, T. Sahrp, M. Finocchio, R. Moore, A. Kipman, and A. Blake, "Real-time human pose recognition in parts from signle depth images," Proc. of CVPR, pp. 1297-1304, 2011.
D. Ramanan and D. A. Forsyth, "Finding and tracking people from the bottom up," In CVPR (2), pp. 467-474, 2003.
P. A. Viola and M. J. Jones, "Rapid object detection using a boosted cascade of simple features," Proc. of CVPR (1), pp. 511-518, 2001.
P. Udsatid, N. Niparnan, and A. Sudsang, "Human position tracking for side by side walking mobile robot using foot positions," Proc. of the 2012 IEEE International Conference on Robotics and Biomimetics, pp. 1374-1378, Dec. 2012.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증