[논문]공연로봇을 위한 인간자세 추정방법 개선에 관한 연구

박천유; 박재훈; 한재권

doi:10.5909/jbe.2020.25.5.750

공연로봇을 위한 인간자세 추정방법 개선에 관한 연구
A Study on Improvement of the Human Posture Estimation Method for Performing Robots 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.5, 2020년, pp.750 - 757

박천유 (한양대학교 융합로봇시스템학과) , 박재훈 (한양대학교 융합로봇시스템학과) , 한재권 (한양대학교 로봇공학과)

초록
AI-Helper

공연에 사용하는 로봇이 인간과의 상호작용하기 위한 기본 성능 중 하나는 인간의 행동을 빠르고 정확하게 파악하는 것이다. 따라서 로봇이 인간의 자세를 추정할 때 자세 인식의 정확도를 높임과 동시에 가능한 빠른 속도로 인식할 수 있어야 한다. 그러나 현재 인공지능 기술의 대표적인 방식인 딥 러닝을 사용하여 인간의 자세를 추정할 경우, 인식의 정확도와 속도라는 두 가지 성능을 동시에 만족하지 못하고 있다. 따라서 사용 목적에 따라 추론정확도가 높은 하향식 자세추정과 처리속도가 빠른 상향식 자세추정 중 하나를 선택해서 사용하는 것이 일반적이다. 본 논문에서는 앞서 언급한 두 가지 방식이 가진 장점을 모두 포함하면서 단점을 보완한 두 가지 방식을 제안한다. 첫 번째는 다중 그래픽 처리 장치를 활용해 상향식 자세추정과 물체검출을 병렬로 사용하는 방식이고, 두 번째는 상향식 자세추정과 단항분류를 융합하는 방식이다. 실험을 통해 두 가지 방식 모두 속도가 개선됨을 증명했다. 공연로봇에 이 두 가지 방식 중 하나를 사용한다면, 관객과 신뢰도 높으며 보다 빠른 상호작용을 수행할 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

One of the basic tasks for robots to interact with humans is to quickly and accurately grasp human behavior. Therefore, it is necessary to increase the accuracy of human pose recognition when the robot is estimating the human pose and to recognize it as quickly as possible. However, when the human pose is estimated using deep learning, which is a representative method of artificial intelligence technology, recognition accuracy and speed are not satisfied at the same time. Therefore, it is common to select one of a top-down method that has high inference accuracy or a bottom-up method that has high processing speed. In this paper, we propose two methods that complement the disadvantages while including both the advantages of the two methods mentioned above. The first is to perform parallel inference on the server using multi GPU, and the second is to mix bottom-up and One-class Classification. As a result of the experiment, both of the methods presented in this paper showed improvement in speed. If these two methods are applied to the entertainment robot, it is expected that a highly reliable interaction with the audience can be performed.

주제어

표/그림 (10)

그림 그림 1. 다중 그래픽 처리 장치를 사용한 병렬 추론 구조 Fig. 1. Structure of Parallel inference using multi GPU
그림 그림 2. 병렬 추론 방식을 사용한 자세추정 노드(청색 사각형)과 물체검출 노드(녹색 사각형)의 추론 결과 Fig. 2. Inference results of Object Detection (green) and Pose estimation (blue)
표 표 1. 물체검출과 자세추정을 기존 방식인 직렬로 추론한 결과 Table 1. Serial processing result of Object detection and Pose estimation
표 표 2. 모델에 각자 그래픽 처리 장치를 할당하여 병렬로 처리한 결과 Table 2. Parallel processing result by assigning GPU to each model
그림 그림 3. 자세추정 + 물체검출 결과 Fig. 3. Result of Pose estimation + Object Detection
그림 그림 4. 잘못 인식된 상향식 자세추정 Fig. 4. Wrong inference result of bottom-up Pose estimation
그림 그림 5. 하향식 자세추정과 상향식 자세추정 + 단항분류 구조 Fig. 5. Structure of Object detection and bottom-up + One-class Classification
그림 그림 6. 상향식 자세추정에 단항분류를 적용한 자세 추론 구조 Fig. 6. Inference process applying One-class Classification to Bottom-up Pose estimation
그림 그림 7. 상향식자세추정에단항분류를적용한결과. (좌)인간이아닌물체를 판별함 (우)자세추정 후 인간으로 판별 Fig. 7. (left) none human (right) human
표 표 3. 상향식 자세추정 + 단항분류에 소요되는 시간 Table 3. Time table of Bottom-up + One-class Classification

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

공연로봇의 자세추정 성능을 향상시키기 위해서 첫 번째로 다중 그래픽 처리 장치를 이용하여 서버에서 자세 추정과 물체 검출을 병렬로 추론하는 방법을 개발하였다. 그리고 두 번째로 기존에 사용되는 상향식 자세추정에 단항분류를 융합하는 방법을 제시하고자 한다. 이 두 가지 새로운 방식은 추론 속도와 인간 판별 정확도에서 장점이 있으며 공연 상황에 맞게 선택하여 사용할 수 있을 것이다.
본 논문에서는 새로운 자세추정방법으로 다중 그래픽 처리 장치(GPU, Graphic Process Unit)를 활용하여 서버에서 병렬 추론을 진행하는 방법과 기존의 상향식 자세추정에 단항분류(One-class Classification)를 융합하는 두 가지 방법을 제시하고자 한다.
앞서 언급한 문제점들을 해결하기 위해서 상향식 자세추정과 단항분류를 함께 사용하여 실시간 자세 추론에 필요한 속도를 확보하면서 인간 인식에 대한 정확도를 높이는 방법을 제시하고자 한다.

제안 방법

공연로봇의 자세추정 성능을 향상시키기 위해서 첫 번째로 다중 그래픽 처리 장치를 이용하여 서버에서 자세 추정과 물체 검출을 병렬로 추론하는 방법을 개발하였다. 그리고 두 번째로 기존에 사용되는 상향식 자세추정에 단항분류를 융합하는 방법을 제시하고자 한다.
본 논문에서는 두 개의 그래픽 처리 장치를 사용하여 전체 추론과정을 상향식 자세추정 과정과 물체검출 과정으로 나누어 병렬로 추론하는 방식을 제시함으로써 속도의 개선을 도모했다. 병렬추론의 실험결과, 기존의 직렬추론에 비해 평균 추론 속도가 더 빠른 것을 확인했다.
단항분류는 단항분류의 여러 방법들 중 정상, 비정상 데이터를 학습하여 판별하는 Supervised Anomaly Detection^[8] 방법을 사용했다. 분류 모델은 VGGNet^[9]을 변형하여 사용했다. 표 3은 640x480 크기의 이미지를 기준으로 상향식 자세추정에 단 항분류를 적용한 추론에 소모된 평균 시간을 정리한 것이다.
병렬추론을 위해서는 다수의 그래픽 처리 장치가 필요하기 때문에, 상황에 따라서 사용이 어려울 수 있다. 이러한 단점을 극복하기 위해 단일 그래픽 처리 장치로도 짧은 추론시간과 정확도 검증을 유지할 수 있는 방법으로, 상향식 자세추정에 단항분류를 적용한 방식을 제시했다.
자세추정 모델은 인체 주요 지점의 위치를 파악하고 신뢰도를 측정하여 결과로 내보낸다. 이를 단항분류 모델의 입력 값으로 사용하기 위해 인체 주요 지점의 위치를 바탕으로 물체의 전체 영역을 추정하여 15% 확장시킨 후 bounding box를 생성하였다. 각각의 bounding box 마다 인간인지 아닌지 단항분류를 진행한다.
추론 속도의 실시간성을 확인하기 위해서 본 논문에서 제시하는 병렬 추론 방식의 속도를 측정하였다. 실험에는 Intel(R) Xeon(R) CPU E5-2609 v4와 NVIDIA Titan XP 두 기가 사용되었다.
병렬추론을 위해서는 물체검출과 자세추정 처리를 담당하는 노드를 분리한 후 두 노드가 동시에 한 이미지에 접근해야 한다. 카메라로 입력된 이미지는 서버의 공유 메모리에 저장되며, 물체검출과 자세추정 노드는 공유 메모리에 저장된 이미지에 접근하여 추론과정을 진행한다. 두 노드에서 추론이 끝나면 각 결과 값이 융합 노드에 전달된다.

대상 데이터

추론 속도의 실시간성을 확인하기 위해서 본 논문에서 제시하는 병렬 추론 방식의 속도를 측정하였다. 실험에는 Intel(R) Xeon(R) CPU E5-2609 v4와 NVIDIA Titan XP 두 기가 사용되었다. 물체검출모델은 SSD MobileNet v2^[6]를 사용하였고, 자세추정모델은 PoseNet^[4]을 사용하였다.

이론/모형

실험을 위해 Intel(R) Xeon(R) CPU E5-2609 v4와 NVIDIA Titan XP로 환경을 조성했다. 단항분류는 단항분류의 여러 방법들 중 정상, 비정상 데이터를 학습하여 판별하는 Supervised Anomaly Detection^[8] 방법을 사용했다. 분류 모델은 VGGNet^[9]을 변형하여 사용했다.
실험에는 Intel(R) Xeon(R) CPU E5-2609 v4와 NVIDIA Titan XP 두 기가 사용되었다. 물체검출모델은 SSD MobileNet v2^[6]를 사용하였고, 자세추정모델은 PoseNet^[4]을 사용하였다. 추론정확도는 물체검출모델의 정확도에 비례하며, 본 논문에서 사용한 SSD MobileNet v2의 정확도는 COCO mAP(mean Average Precision) 22이다.

성능/효과

표 3은 640x480 크기의 이미지를 기준으로 상향식 자세추정에 단 항분류를 적용한 추론에 소모된 평균 시간을 정리한 것이다. 다중 그래픽 처리 장치를 사용한 병렬 추론의 소모시간인 51.08ms와 비교해보면, 상향식 자세추정에 단항분류를 적용한 추론의 소모시간이 38.92ms로, 12.16ms 더 빠른 것이 확인된다. 상향식 자세추정에 단항분류를 적용한 자세 추론은 초당 24회 추론이 가능하기 때문에 다중 그래픽 처리 장치를 사용한 병렬 추론에 비해 실시간성이 더 좋아진 것을 확인할 수 있다.
본 논문에서는 두 개의 그래픽 처리 장치를 사용하여 전체 추론과정을 상향식 자세추정 과정과 물체검출 과정으로 나누어 병렬로 추론하는 방식을 제시함으로써 속도의 개선을 도모했다. 병렬추론의 실험결과, 기존의 직렬추론에 비해 평균 추론 속도가 더 빠른 것을 확인했다. 또한 상향식 자세추정의 단점인 낮은 인간 판별 정확도를 물체검출과 융합하여 하향식 자세추정과 유사한 검증이 가능하게 했다.
하향식 자세 추정 방식은 많은 시간을 소모하는 region proposal 과 bounding box regressor^[7] 구간을 포함하는 물체 검출 과정을 거친다. 상향식 자세추정에 단항분류를 적용한 방식에서는 하향식 자세 추정 방식의 물체 검출 과정을 자세추정으로 대체하여 bounding box 검출 시간을 줄일 수 있었다.
16ms 더 빠른 것이 확인된다. 상향식 자세추정에 단항분류를 적용한 자세 추론은 초당 24회 추론이 가능하기 때문에 다중 그래픽 처리 장치를 사용한 병렬 추론에 비해 실시간성이 더 좋아진 것을 확인할 수 있다.
그림 7은 상향식 자세추정에 단항분류를 적용한 추론 방법의 결과를 보여준다. 상향식 자세추정에 의해서 그림 7의 좌측과 같이 인간이 아닌 물체의 자세가 감지되어도 단항 분류를 사용하여 인간이 아닌 것을 분류하여 판별할 수 있음을 확인하였다.
08ms의 시간이 필요하다. 소모시간을 보면 알 수 있듯이 본 논문에서 제시하는 방법으로 병렬추론을 할 경우 직렬추론과 비교하여 19.47ms의 개선이 이루어짐을 알 수 있다. 다중 그래픽 처리 장치를 사용한 병렬추론은 표 2와 같이, 초당 15회 이상인 19회 가량의 추론이 가능하기 때문에 실시간성을 보장한다.
위 실험을 통해 결과적으로 병렬 추론 방법으로 사람이 아닌 물체를 필터링하고 인간의 자세만 추정하는 결과를 얻을 수 있었다.
자세추정 노드는 주요 지점을 추정함에 있어 인정범위가 넓기 때문에 오탐지하는 물체가 다수 발생하였으나, 물체 검출 노드를 통해 오탐률을 낮출 수 있다는 것을 본 실험을 통해 확인했다.
그림 3은 COCO 2014 validation 데이터 세트의 병렬 추론을 적용한 다양한 결과 이미지들이다. 자세추정 노드에서 인간의 자세라고 추정되었지만, 퓨전 노드에서 물체검출 노드의 검출결과를 바탕으로 인간이 아닌 것으로 분류된 결과를 적색 사각형으로 표시했고, 인간으로 분류된 결과를 녹색 사각형으로 표시하였다. 자세추정 노드에서 인간의 자세로 추정된 물체 중 대부분은 물체검출 노드에서도 인간으로 검출했지만, 물체검출 노드가 비인간으로 판별하거나 아예 검출하지 못하는 경우도 종종 발생했다.
하지만 기존 데이터세트 중 명확한 비인간 데이터 세트가 없었기 때문에 데이터 수집 문제로 충분한 성능을 가진 모델 학습이 불가능했다. 하지만, 본 논문이 제시하는 방법론은 특정 단항분류 모델에 한정되지 않으므로, 양질의 데이터세트만 확보할 수 있다면, 높은 정확도를 가진 단항분류 모델을 학습할 수 있다. 이렇게 학습된 모델을 상향식 자세추정과 융합한다면 앞서 제시된 병렬 추론 방식과 더불어 공연로봇이 관객과 신뢰도 높은 상호작용을 수행 할 수 있을 것으로 기대된다.

후속연구

그리고 두 번째로 기존에 사용되는 상향식 자세추정에 단항분류를 융합하는 방법을 제시하고자 한다. 이 두 가지 새로운 방식은 추론 속도와 인간 판별 정확도에서 장점이 있으며 공연 상황에 맞게 선택하여 사용할 수 있을 것이다.
하지만, 본 논문이 제시하는 방법론은 특정 단항분류 모델에 한정되지 않으므로, 양질의 데이터세트만 확보할 수 있다면, 높은 정확도를 가진 단항분류 모델을 학습할 수 있다. 이렇게 학습된 모델을 상향식 자세추정과 융합한다면 앞서 제시된 병렬 추론 방식과 더불어 공연로봇이 관객과 신뢰도 높은 상호작용을 수행 할 수 있을 것으로 기대된다.
상향식 자세추정 + 단항분류 방식은 자세추정 과정에서 인식된 물체의 수만큼 이미지 크기 변환이 진행되어야하기 때문에 검출된 물체의 수만큼 연산량이 증가한다. 이와 같은 문제점을 해결하기 위해 ROI pooling layer를 추가하여 bounding box 마다 각각의 이미지 크기 변환 연산이 필요 없이 분류하는 방식을 적용 하여 보다 빠르고 정확한 자세추정 방법을 개발하려한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	공연에 사용하는 로봇이 인간과의 상호작용하기 위한 기본 성능 중 하나는 무엇인가?	공연에 사용하는 로봇이 인간과의 상호작용하기 위한 기본 성능 중 하나는 인간의 행동을 빠르고 정확하게 파악하는 것이다. 따라서 로봇이 인간의 자세를 추정할 때 자세 인식의 정확도를 높임과 동시에 가능한 빠른 속도로 인식할 수 있어야 한다.
	기존 상향식 자세추정과 하향식 자세추정의 장점을 모두 포함하면서 단점을 보완한 두 가지 방식은 무엇인가?	본 논문에서는 앞서 언급한 두 가지 방식이 가진 장점을 모두 포함하면서 단점을 보완한 두 가지 방식을 제안한다. 첫 번째는 다중 그래픽 처리 장치를 활용해 상향식 자세추정과 물체검출을 병렬로 사용하는 방식이고, 두 번째는 상향식 자세추정과 단항분류를 융합하는 방식이다. 실험을 통해 두 가지 방식 모두 속도가 개선됨을 증명했다.
	딥 러닝을 사용하여 인간의 자세를 추정할 경우 어떤 문제점이 있는가?	따라서 로봇이 인간의 자세를 추정할 때 자세 인식의 정확도를 높임과 동시에 가능한 빠른 속도로 인식할 수 있어야 한다. 그러나 현재 인공지능 기술의 대표적인 방식인 딥 러닝을 사용하여 인간의 자세를 추정할 경우, 인식의 정확도와 속도라는 두 가지 성능을 동시에 만족하지 못하고 있다. 따라서 사용 목적에 따라 추론정확도가 높은 하향식 자세추정과 처리속도가 빠른 상향식 자세추정 중 하나를 선택해서 사용하는 것이 일반적이다.

참고문헌 (10)

C. Breazeal et al., "Interactive robot theatre," Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No.03CH37453), Las Vegas, NV, USA, 2003, pp. 3648-3655 vol.3, doi: 10.1109/IROS.2003.1249722.
T. Mukai, M. Onishi, T. Odashima, S. Hirano and Z. Luo, "Development of the Tactile Sensor System of a Human-Interactive Robot "RI-MAN"," in IEEE Transactions on Robotics, vol. 24, no. 2, pp. 505-512, April 2008, doi: 10.1109/TRO.2008.917006.

상세보기
Ishiguro, H., Ono, T., Imai, M., Maeda, T., Kanda, T. and Nakatsu, R. (2001), "Robovie: an interactive humanoid robot", Industrial Robot, Vol. 28 No. 6, pp. 498-504. https://doi.org/10.1108/01439910110410051

상세보기
Oved, D. Real-time human pose estimation in the browserwith TensorFlow.js.TensorFlow Medium, May 2018. URL https://bit.ly/2KMnwgv. (accessed Jul. 14, 2020)
Jin, Sheng, et al. "Towards multi-person pose tracking: Bottom-up and top-down methods." ICCV PoseTrack Workshop. Vol. 2. No. 3. 2017.
Sandler, Mark, et al. "Mobilenetv2: Inverted residuals and linear bottlenecks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. https://doi.org/10.1109/cvpr.2018.00474
Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014. https://doi.org/10.1109/cvpr.2014.81
Chalapathy, Raghavendra, and Sanjay Chawla. "Deep learning for anomaly detection: A survey." arXiv preprint arXiv:1901.03407 (2019).
Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).
Girshick, Ross. "Fast r-cnn." Proceedings of the IEEE international conference on computer vision. 2015. https://doi.org/10.1109/iccv.2015.169

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증