[논문]TRT Pose를 이용한 모바일 로봇의 사람 추종 기법

최준현; 주경진; 윤상석; 김종욱

doi:10.14372/iemek.2020.15.6.281

TRT Pose를 이용한 모바일 로봇의 사람 추종 기법
Development of Human Following Method of Mobile Robot Using TRT Pose 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.15 no.6, 2020년, pp.281 - 287

최준현 (Donga-A University) , 주경진 (Donga-A University) , 윤상석 (Silla University) , 김종욱 (Donga-A University)

Abstract ▼ AI-Helper

In this paper, we propose a method for estimating a walking direction by which a mobile robots follows a person using TRT (Tensor RT) pose, which is motion recognition based on deep learning. Mobile robots can measure individual movements by recognizing key points on the person's pelvis and determine the direction in which the person tries to move. Using these information and the distance between robot and human, the mobile robot can follow the person stably keeping a safe distance from people. The TRT Pose only extracts key point information to prevent privacy issues while a camera in the mobile robot records video. To validate the proposed technology, experiment is carried out successfully where human walks away or toward the mobile robot in zigzag form and the robot continuously follows human with prescribed distance.

주제어

표/그림 (12)

그림 그림 1. trt pose를 이용한 사람인식 Fig. 1 Human recognition using trt pose
그림 그림 2. 화면 중심부 범위 Fig. 2 Screen center range
그림 그림 3. 키포인트를 이용해 사람의 각도 계산 Fig. 3 Calculate a person's angle using key points
그림 그림 4. 알고리즘 구성도 Fig. 4 Algorithm flow chart
그림 그림 5. 시스템 구성도 Fig. 5 System configuration diagram
그림 그림 7. 하드웨어 외관 Fig. 7 Hardware
그림 그림 8. 사람과 로봇사이 거리 Fig. 8 Distance between human and robot
그림 그림 9. 보행 각도에 따른 로봇의각도 Fig. 9 Angle of the robot according to the walking angle
그림 그림 6. RQT 그래프 Fig. 6 RQT graph
그림 그림 10. 사람이 멀어질 경우 Fig. 10 Follow when people get away
그림 그림 11. 사람이 가까워질 경우 Fig. 11 Follow when people close
그림 그림 12. 추종 시 사람의 골반 각도 변화량 Fig. 12 The amount of change in the angle of a person when following

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제안하는 추종 기법의 목적은 추종 대상자의 골격데이터와 depth 정보만을 이용하여 안정적으로 대상을 추종하는 것이다. 본 논문에서는 실시간으로 카메라 이미지에서 사람의 관절과 얼굴의 키포인트를 감지하는 오픈소스인 TRT pose와 3D depth 카메라 intel 프레임를 이용한다.
그림 1 은 TRT pose로 인식한 사람의 키포인트들을 보여준다. 본 논문에서는 TRT pose 기반 골격 인식 기술을 모바일 로봇의 사람 추종 분야에 적용해 대상인의 관절 좌표와 보행 방향을 관찰한 후 모바일 로봇이 대상인을 추종하는 방법을 제안한다.
본 논문에서는 TRT pose를 이용해 사람의 행동 패턴을 인식하여 추종하는 방법을 제시하였다. depth 카메라를 통해 사람의 키포인트를 추출하고 사람과 로봇 사이의 거리를 계산해 로봇이 안전거리를 유지하며 사람을 추종할 수 있도록 했다.
본 논문에서는 모바일 로봇이 사람의 골격을 인식하여 사람을 추종하는데 필요한 기술을 제시한다. 기존의 연구에서도 다양한 방법으로 사람을 인식하고 패턴을 분석하는 연구가 진행되었다 [1-4].
본 논문에서는 사람이 향하는 정확한 각도를 계산하는 것이 중요한 것이 아니라, 사람이 향하는 방향을 예측하고 미리 대비함으로써 사람이 로봇의 시야 범위 밖으로 벗어나는 것을 방지하는 것이 주요 목적이다. 그림 4는 본 시스템의 전체 알고리즘 구성도를 나타낸다.
본 논문에서는 실생활에서 로봇이 영상을 이용하여 사람을 추종할 때 발생하는 여러가지 문제에 대해 고려하여 사용자의 각 신체의 키포인트 정보만을 저장하고 분석해 사용자의 사생활 보호에 초점을 맞춘 연구를 진행하였다.
본 논문에서는 이러한 단점을 보완하기 위해 NVIDIA 플랫폼에서 제공하는 실시간 자세 추정 오픈소스인 TRT (Tensor RT) pose를 모바일 로봇에 탑재하여 실시간으로 대상인의 키포인트를 인식하고, 이로부터 대상인의 보행 방향을 추정하는 방법을 새롭게 제안한다. TRT pose는 카메라로 찍은 2차원 이미지로부터 사람의 신체 주요 관절과 얼굴 특징점 들을 키포인트 (key point)로서 인식하고 이를 기반으로 2차원 골격모델을 추출하기 때문에 사용자의 사생활과 개인정보를 보호할 수 있다.

제안 방법

제시하였다. depth 카메라를 통해 사람의 키포인트를 추출하고 사람과 로봇 사이의 거리를 계산해 로봇이 안전거리를 유지하며 사람을 추종할 수 있도록 했다. 이때 TRT pose는 영상이 아닌 사람의 키포인트만을 추출하여 개인의 사생활 보호를 강화하고 사용자가 더욱 안심하고 로봇을 사용할 수 있도록 하였다.
두 번째, 로봇은 사람이 카메라 시야각 밖으로 벗어나지 않게 화면의 중심부의 특정 범위 내에 사람이 위치할 수 있도록 좌우 방향을 제어한다. 본 논문의 시스템에서는 640x480 해상도 기준 축 픽셀 좌표 220에서 420까지를 시야범위로 지정하였다.
추종하는 모습을 보여준다. 로봇은 TRT Pose로 추출한 골반의 키포인트의 depth정보를 이용하여 사람의 골반각도를 계산하여 사람의 이동 방향을 예측한다. 사람을 트래킹하여 방향을 제어하는 과정에서 사람의 이동 방향을 예측함으로써 사람이 카메라의 시야각 밖으로 벗어나는 것을 방지하여 더욱 안정적으로 사람을 추종할 수 있다.
본 논문에서 제안하는 알고리즘은 TRT pose를 이용하여 사람의 골격을 인식하고 추출한 골격 정보와 depth 정보를 이용하여 대상을 추종한다. 알고리즘은 크게 두 가지 원리로 나눌 수 있다.
본 논문에서 제안한 방법의 정확성을 확인하기 위해 사람이 왼쪽으로 30°와 40°, 오른쪽으로 30° 와 40°로 지그재그 형태로 걸어갈 때 로봇과 사람 사이 거리와 추종하기 위해 회전한 각도를 먼저 측정했다.
본 논문에서는 각 장면에 대해, 변조된 광신호의 지연을 측정하여 거리정보를 측정하는 ToF (Time of Flight)방식을 적용하여 depth 프레임을 얻으며, PyrealSense2 패키지를 이용하여 RGB 프레임에서 TRT pose로 추출된 16개의 키포인트 픽셀 정보를이 depth 프레임에 적용하여 해당 키포인트의 거리 정보를 획득한다. [11].
안전거리를 유지하며 추종한다. 본 논문에서는 로봇과 사람 간의 기준거리를 2m로 지정하였다. TRT pose로 인식한 사람의 골반 중심의 depth 정보를 이용하여 현재 사람과 로봇 간의 거리를 인식하고, 정해진 기준거리와 로봇이 멀어지면 전진하며 가까워질 경우 후진을 한다.
대상을 추종하는 것이다. 본 논문에서는 실시간으로 카메라 이미지에서 사람의 관절과 얼굴의 키포인트를 감지하는 오픈소스인 TRT pose와 3D depth 카메라 intel 프레임를 이용한다.
카메라는 로봇이 약 2m 간격으로 사람을 추종할 때 사람의 골반이 화면에 나올 수 있는 높이에 인텔 D435i Depth 카메라를 장착하였다. 본 논문의 시스템 구동부는 ROBOTIS사의 로봇 컨트롤러인 OpenCR을 기반으로 하여 ROS Serial통신을 이용하여 제어했다. 그림 7은 본 시스템에서 사용한 로봇의 하드웨어 외관이다.
본 논문의 시스템에서는 640x480 해상도 기준 축 픽셀 좌표 220에서 420까지를 시야범위로 지정하였다. 트래킹 과정에서 사람과 로봇 사이의 거리측정에 기준이 되는 골반 중심의 픽셀 좌표를 지정된 시야 범위에 위치할 수 있도록 각속도를 조정하여 사람을 추종한다.
본 시스템에서는 분석된 사람의 속도와 각도에 대한 선속도와 각속도를 이용하여 모바일 로봇을 구동한다. 전송받은 선속도 와 각속도 를 이용하여 각 모터의 RPM (Rotate per minute)을 계산하여 각 모터에 계산된 RPM에 맞는 pulse를 전송하여 PWM (pulse width modulation) 제어를 하여 구동한다.
전송받은 선속도 와 각속도 를 이용하여 각 모터의 RPM (Rotate per minute)을 계산하여 각 모터에 계산된 RPM에 맞는 pulse를 전송하여 PWM (pulse width modulation) 제어를 하여 구동한다. 이때 RPMe 다음과 같은 방법으로 계산한다.

대상 데이터

trt_pose는 NVIDIA Jetson 환경에서 실시간으로 인간의 포즈를 추정하는 것을 목표로 개발되었으며 TensorRT 로 가속화 되었다. 또한, trt_pose에서 포즈 추정하기 위해 사용된 데이터 셋은 MSCOCO dataset 형식이며 Jetson Xavier에서 높은 FPS로 실시간 포즈 추정을 위해 resnet18_baseline_att_224x224_A 네트워크 모델을 사용하였다. 가벼운 네트워크 모델을 사용하고, tensorRT 모델을 변환할 수 있어서 복잡하고 큰 네트워크 모델도 고속으로 처리할 수 있다 [10].
trt_pose 노드에서 추출한 데이터 trt_pose_data를 trt_tracker 노드에서 계산하여 ROS의 표준 메시지인 Twist_msg로 로봇을 제어한다. 로봇은 ROBOTIS사의 모바일 로봇인 TurtleBot3 burger를 본 논문의 시스템에 맞게 개조하여 사용하였다 [12]. 카메라는 로봇이 약 2m 간격으로 사람을 추종할 때 사람의 골반이 화면에 나올 수 있는 높이에 인텔 D435i Depth 카메라를 장착하였다.
본 논문에서는 Intel D435i depth카메라와 Nvidia사의 Xavier NX를 이용하고, Ubuntu 18.04 환경에서 ROS를 이용하여 사람과 로봇간 거리를 인식하고 로봇의 바퀴를 제어하여 사용자를 추종한다.
로봇은 ROBOTIS사의 모바일 로봇인 TurtleBot3 burger를 본 논문의 시스템에 맞게 개조하여 사용하였다 [12]. 카메라는 로봇이 약 2m 간격으로 사람을 추종할 때 사람의 골반이 화면에 나올 수 있는 높이에 인텔 D435i Depth 카메라를 장착하였다. 본 논문의 시스템 구동부는 ROBOTIS사의 로봇 컨트롤러인 OpenCR을 기반으로 하여 ROS Serial통신을 이용하여 제어했다.

이론/모형

본 논문에서 사용된 실시간 포즈 추정 모델은 NVIDIA Jetson Community Projects에서 제공한 trt_pose project를 사용하였다 [9]. trt_pose는 NVIDIA Jetson 환경에서 실시간으로 인간의 포즈를 추정하는 것을 목표로 개발되었으며 TensorRT 로 가속화 되었다.

성능/효과

제어한다. ROS의 표준 메시지를 이용하여 제어함으로써 본 시스템에서 사용한 모바일 로봇이 아닌 같은 ROS 의 표준 메시지를 사용하는 어떠한 로봇에서도 간단한 파라메타 조정 후 사용할 수 있도록 구현하여 확장성을 증가시켰다.
TRT pose는 카메라로 찍은 2차원 이미지로부터 사람의 신체 주요 관절과 얼굴 특징점 들을 키포인트 (key point)로서 인식하고 이를 기반으로 2차원 골격모델을 추출하기 때문에 사용자의 사생활과 개인정보를 보호할 수 있다. 또한 depth 카메라와 골격 모델을 이용하여 사용자의 각 키포인트의 거리정보와 픽셀 좌표를 추출하여 로봇과 사용자 간의 거리를 측정하고 키포인트를 이용하여 사용자의 위치와 이동하는 방향을 예측하고 판단하여 더욱 안정적인 추종을 할 수 있다. 그림 1 은 TRT pose로 인식한 사람의 키포인트들을 보여준다.
IMU센서를 이용하여 측정한 것이다. 사람의 골반 각도를 이용하여 방향을 측정하여 로봇이 추종하는 것을 확인할 수 있다.

후속연구

더 나아가 사람 인식률을 높이고 사람의 행동 패턴을 분석하여 사람이 넘어지는 경우를 넘어 다른 위험한 행동을 한 경우도 조치를 할 수 있는 기술과 사람의 방향을 보고 추종하는 것이 아닌 행동 패턴을 분석하여 사람의 방향을 보다 정확하게 예측할 수 있는 방향으로 개선할 예정이다. 최종적으로는 추종 대상인의 보행 패턴을 분석하여 사람의 이미지 정보 없이 골격 정보만으로 그 대상인의 고유 패턴을 분석하고 학습하여 여러 사람 중 자신이 추종해야 하는 대상인을 스스로 판단하고 추종 할 수 있게 연구할 예정이다.
추후 추종과정에서 키포인트를 이용하여 사람의 보행 패턴을 인식하고 넘어짐 등 위험한 상황을 판단하여 노약자나 환자의 안전을 확보할 수 있는 쪽으로 연구를 할 예정이다. 또한 초음파 또는 LiDAR를 이용한 회피 알고리즘을 추가하여 추종 과정에서 장애물을 만나면 회피하여 안정적으로 추종을 지속할 수 있도록 개선하고, 키포인트를 이용하여 사람의 보행 패턴을 분석하여 거리정보와 더불어 더욱 정확한 보행속도를 예측하고 현재의 골반만을 이용하여 방향을 예측하는 방식 뿐 아니라 사람의 골격 전체의 정보를 분석하여 추종 대상인의 방향을 예측할 예정이다.
최종적으로는 추종 대상인의 보행 패턴을 분석하여 사람의 이미지 정보 없이 골격 정보만으로 그 대상인의 고유 패턴을 분석하고 학습하여 여러 사람 중 자신이 추종해야 하는 대상인을 스스로 판단하고 추종 할 수 있게 연구할 예정이다.
이때 TRT pose는 영상이 아닌 사람의 키포인트만을 추출하여 개인의 사생활 보호를 강화하고 사용자가 더욱 안심하고 로봇을 사용할 수 있도록 하였다. 추후 추종과정에서 키포인트를 이용하여 사람의 보행 패턴을 인식하고 넘어짐 등 위험한 상황을 판단하여 노약자나 환자의 안전을 확보할 수 있는 쪽으로 연구를 할 예정이다. 또한 초음파 또는 LiDAR를 이용한 회피 알고리즘을 추가하여 추종 과정에서 장애물을 만나면 회피하여 안정적으로 추종을 지속할 수 있도록 개선하고, 키포인트를 이용하여 사람의 보행 패턴을 분석하여 거리정보와 더불어 더욱 정확한 보행속도를 예측하고 현재의 골반만을 이용하여 방향을 예측하는 방식 뿐 아니라 사람의 골격 전체의 정보를 분석하여 추종 대상인의 방향을 예측할 예정이다.

참고문헌 (12)

A.Glandon, L.Vidyaratne, N. Sadeghzadehyazdi, Nibir K. Dhar, Jide O. Familoni, Scott T. Acton, K. M. Iftekharuddin, "3D Skeleton Estimation and Human Identity Recognition Using Lidar Full Motion Video," Proceedings of 2019 International Joint Conference on Neural Networks (IJCNN), pp. N-20332, 2019.
A. Jinguji, T. Fujii, S. Sato, H. Nakahara, "An FPGA Realization of OpenPose Based on a Sparse Weight Convolutional Neural Network," Proceedings of International Conference on Field-Programmable Technology (FPT), pp. 313-316, 2018.
S. Qiao, Y. Wang, J. Li, "Real-time Human Gesture Grading Based on OpenPose," Proceedings of 10th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI), pp. 14-16, 2017.
S. Liu, G. Hua, Y. Li, "2.5D Human Pose Estimation for Shadow Puppet Animation," KSII Transactions on Internet and Information Systems, Vol. 13, No. 4, pp. 2042-2059, 2019.

원문보기 상세보기
S. Park, D. Lee, "A Development of Visual Human Tracking System for Path Guidance Robot," The Korean Institute of Electrical Engineers, pp. 39-40, 2019 (in Korean).
Y. Xiao, V.R. Kamat, C.C. Menassa, "Human Tracking from Single RGB-D Camera Using Online Learning," Image and Vision Computing, Vol. 88, pp. 67-75, 2019.

상세보기
R. Algabri, M.-T. Choi, "Deep-learning-based Indoor Human Following of Mobile Robot Using Color Feature," Sensors, Vol. 20, No. 2699, pp. 1-19, 2020.

상세보기
S. Lee, J.W. Choi, C.V. Dang, J.-W. Kim, "Development of Human Following Method of Mobile Robot Using QR Code and 2D LiDAR Sensor," IEMEK J. Embed. Sys. Appl., Vol. 15, No. 1, pp. 35-42, 2019 (in Korean).
https://developer.nvidia.com/embedded/community/jetson-projects
https://github.com/NVIDIA-AI-IOT/trt_pose
https://www.intelrealsense.com/developers/
https://emanual.robotis.com/docs/en/platform/turtlebot3/overview/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증