본 논문은 비전 기반 동작 인식 방법으로 모범 동작의 유형을 모형화하고 이를 이용하여 사용자의 동작을 인식하고 모범동작과 사용자의 동작간의 유사도를 측정하는 방법을 제안한다. 동작 인식을 위하여 은닉 마르코프 모델 기반의 유형화 기법을 통하여 모범 동작의 유형 모델을 구성하고 이를 이용하여 사용자의 동작을 인식한다. 유사도 측정을 위하여 편집 거리 알고리즘을 응용하여 모범 동작과 사용자 동작의 유사도를 측정하고 점수 표기가 가능하도록 하였다. 본 논문에서 제안하는 동작 인식 처리 방법은 평균 93% 이상의 높은 인식율을 보였다. 본 연구의 결과는 동작 인식 기반 게임, 자세인식, 동작의 반복 훈련 및 훈련 달성도 측정을 요하는 재활훈련 시스템 등에 활용 가능하다.
본 논문은 비전 기반 동작 인식 방법으로 모범 동작의 유형을 모형화하고 이를 이용하여 사용자의 동작을 인식하고 모범동작과 사용자의 동작간의 유사도를 측정하는 방법을 제안한다. 동작 인식을 위하여 은닉 마르코프 모델 기반의 유형화 기법을 통하여 모범 동작의 유형 모델을 구성하고 이를 이용하여 사용자의 동작을 인식한다. 유사도 측정을 위하여 편집 거리 알고리즘을 응용하여 모범 동작과 사용자 동작의 유사도를 측정하고 점수 표기가 가능하도록 하였다. 본 논문에서 제안하는 동작 인식 처리 방법은 평균 93% 이상의 높은 인식율을 보였다. 본 연구의 결과는 동작 인식 기반 게임, 자세인식, 동작의 반복 훈련 및 훈련 달성도 측정을 요하는 재활훈련 시스템 등에 활용 가능하다.
In this paper, we present a vision-based human primitive motion recognition method. It models the reference motion patterns, recognizes a user's motion, and measures the similarity between the reference action and the user's one. In order to recognize a motion, we provide a pattern modeling method b...
In this paper, we present a vision-based human primitive motion recognition method. It models the reference motion patterns, recognizes a user's motion, and measures the similarity between the reference action and the user's one. In order to recognize a motion, we provide a pattern modeling method based on the Hidden Markov Models. In addition, we provide a similarity measurement method between the reference motion and the user's one using the editing distance algorithm. Experimental results show that the recognition rate of ours is above 93%. Our method can be used in the motion recognizable games, the motion recognizable postures, and the rehabilitation training systems.
In this paper, we present a vision-based human primitive motion recognition method. It models the reference motion patterns, recognizes a user's motion, and measures the similarity between the reference action and the user's one. In order to recognize a motion, we provide a pattern modeling method based on the Hidden Markov Models. In addition, we provide a similarity measurement method between the reference motion and the user's one using the editing distance algorithm. Experimental results show that the recognition rate of ours is above 93%. Our method can be used in the motion recognizable games, the motion recognizable postures, and the rehabilitation training systems.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문은 2차원 영상 특징 기반의 인체 동작 인식환경과 인식 동작 패턴을 판단하고 측정 지표로서의 유사도 점수를 계산하는 방법을 제시하였다. 제안한 동작 인식 처리 방법은 평균 93%의 높은 인식율을보였으며, 동작 인식에 그치지 않고 유사도 점수를계산함으로서 기반이 되는 모범 동작과의 비교 측정이 가능하다.
제안한 동작 인식 처리 방법은 평균 93%의 높은 인식율을보였으며, 동작 인식에 그치지 않고 유사도 점수를계산함으로서 기반이 되는 모범 동작과의 비교 측정이 가능하다. 본 연구의 결과는 동작 인식 기반 게임, 동작의 반복 훈련 및 훈련 달성도 측정, 동작 인식을 이용한 자세 인식 등에 활용 가능하다, 향후 운동 방향에 대한 근사율을 적용하여 방향 구분 시에 구분 경계에 걸치는 운동 방향에 대해서도 인식이 가능하도록 하고 동작에 대한 무게 중심 이동 등을 고려하여 동작 인식율을 높이는 방법에 대하여 연구하고자 한다.
제안 방법
동작 유사도 측정 실험은 보기 동작 A에 대하여 5 단계로 동작을 구분하고 전체 동작을 수행하지 않고 일부 단계 동작만을 행동하였을 때 동작 유사도 결과를 실험해 보았다.
. 또한 은닉 마르코프 모델 기법이 신체 일부에 제한적으로 적용되었던 것에 비하여 본 논문에서 제안하는 모델링 기법은 전신 부위에 대한 움직임 패턴 분석에 용이하고 움직임 정보 분석 방법에 있어서 시작 시각을 자동화하여 처리한다.
본 논문에서는 2차원 영상을 통한 동작 인식 방법으로서 전처리 과정에서 여러 정규 동작들에 대한 데이터를 준비하고 이를 이용하여 사용자 동작을 비교한다. 정규 동작들과 사용자 동작은 은닉 마르코프모델(HMM:Hidden Markov Model) 기반 패턴 인식 방법 [6-8]을 통하여 비교하였고 동작의 유사도 측정 방법으로는 편집 거리 알고리즘(Edit Distance) [9-12]을 사용하였다.
본 논문에서는 모델의 상태와 기호의 개수를 각각 10, 8로 설정하였으며 이에 따른 상태 전이 확률과 각 상태에서의 기호 발생 확률을 정리하면 다음과 같다.
본 논문에서는 유사도의 측정 기준으로 두 행동의 지표 간의 부분 일치율을 사용하였다. 유사도 계산 방식은 학습에 사용되었던 기호 시퀀스 Si(모범 행동) 와 사용자의 행동에 대한 기호 시퀀스 鬲 (사용자 행동)의 점수 행렬을 이용하여 두 시퀀스를 일치 시키는데 발생하는 비용(Cost)의 합을 완전 일치 했을 시에 값 C(score)에서 감산하는 방식이다.
따라서 모델링을 위한 기호 집합은 패턴의 고유 특징과 시간 변화에 대하여 전후 관계성을 포함하는 형식이 되어야 한다[7]. 본 논문에서는 이러한 고유 데이터-모델링 가능한 기호들-로 시간 변화에 따른 위치 변화 집합을 사용하였다.
본 논문에서는 첫 번째 과정으로 팔, 다리와 같은 인체 부위 특징점을 추출하고 이를 이용한 패턴 인식을 통하여 동작을 인식한다. 인체 부위 특징점 추출 방법으로는 적외선 발광 소자를 이용하여 머리, 양 손목, 양 발목의 5개 부분에 대하여 위치 좌표를 얻어낸 후, 각 부분에 대한 시간변화에 따른 위치 변화를 8개 구간으로 분류하여 사용하였다.
본 논문은 전신 동작을 분석하기 위해 특징점을 신체의 대표부위에 제한적으로 부여 하였으며 동작의 움직임 정보 추출을 위하여 고가의 센서 장비를 사용하는 대신 적외선 발광 소자(LED)와 영상 처리를 통한 필터기법을 이용하여 신체 일부에 대한 특징점의 움직임 정보를 획득한다. 이러한 움직임 정보는 시간 변화에 따른 움직임 정보로서 은닉 마르코프모델을 사용하여 패턴을 모델화하고 모델 정보와 사용자 동작간의 동작을 비교하여 유사여부를 판단한디.
본 실험에 사용된 시스템 환경 및 프로그램은 현재 삼육 재활 학교의 지체 장애 인 재활훈련에 활용 중이며 실험에 사용된 보기 동작 또한 재활 훈련 시나리오에 포함된 일부 동작을 사용하였다.
13Ghz, 2GB 메모리 정도의 사양이며, UMPC는 동작 인식 등에 계산은 수행하지 않고 영상 출력에 관련된 연산과 네트워크 연산만을 처리한다. 실험 방법은 3개의 보기 동작에 대하여 각2, 3m 정도 거리에서 10희, 20회, 30회 반복 실험에 의한 동작 인식율을산출하고, 두 번째로 한 동작을 2~5구간으로 구분하여 각 단계에 대한 부분 동작 실험으로 유사도 점수계산 결과를 확인하였다.
실험을 위한 보기 동작은 다음과 같으며, 보기 동작은 동작의 상하, 좌우 이동, 팔, 다리 등의 움직임을 기준으로 선택하고 인식 거리에 따른 인식 오인율을 확인하기 위하여 2m, 3m 거리 차를 두고 동작 인식율 실험을 수행하였다.
즉, 모델。는 학습에 사용된 기호 시퀀스에 최적화된 파라미터 값을 가진다고 말할 수 있다. 본 논문에서는 동작을 인식하기 위해서 학습을 통해 구해진 모델。에 대하여 사용자의 행동에 따른 기호 시퀀스와 학습에 이용하였던 기호 시퀀스를 이용하여 각각의 매칭 확률을 구하고 두 확률의 차가 일정 이하일 때 해당 동작 모델과 유사한 동작을 행동한 것으로 하였다. 모델에 대한 매칭 확률을 계산하는 방법은 모델링 시에 사용하였던 기호 시퀀스와 상태 시퀀스의 관계성을 이용하여 최적의 상태 시퀀스를 생성하고, 이러한 상태 시퀀스를 이용하여 전체 길이 Z 에대하여 상태 전이 확률과 기호 시퀀스의 발생 확률을 곱하여 구할 수 있다.
움직임 정보를 획득한다. 이러한 움직임 정보는 시간 변화에 따른 움직임 정보로서 은닉 마르코프모델을 사용하여 패턴을 모델화하고 모델 정보와 사용자 동작간의 동작을 비교하여 유사여부를 판단한디..
통하여 동작을 인식한다. 인체 부위 특징점 추출 방법으로는 적외선 발광 소자를 이용하여 머리, 양 손목, 양 발목의 5개 부분에 대하여 위치 좌표를 얻어낸 후, 각 부분에 대한 시간변화에 따른 위치 변화를 8개 구간으로 분류하여 사용하였다. 그림 1은 임의의 특징점의 위치와 시간에 따른 위치 변화를 기호화하는 방법을 나타낸다.
대상 데이터
실험에 사용한 PC는 영상 처리, 동작 인식 등 연산 처리를 위한 Host PC 1대와 사용자 영상 출력을 위한 UMPC 1대로 구성하였다. Host PC는 Core2Duo 2.
이론/모형
대한 유사도를 나타내지는 못한다. 본 논문에서는 이러한 부분 동작에 대한 유사도 즉정을 위하여 모델링에 사용하였던 기호 시퀀스 재구성하여 부분 일치도 측정을 위한 편집 거리(Edit Distance) 방법 [10-12]에 이용하였다.
이러한 패턴 모델링 기법은 보통 확률적 접근 방법이 일반적이다. 본 논문에서는 패턴의 모델링 방법으로서 음성인식, 손동작 인식 등에 사용되는 은닉 마르코프 모델 기법을 사용하였다.
방향 벡터는 8구간으로 구분된 공간에 배치되고, 시간에 따른 운동 벡터가 포함되는 구간이 해당 벡터의 기호가 돈1다’ 여기에서 기호는 계산 편의를 위하여 1~8까지의 숫자로 나타내었다. 이 방법만으로는 처음 시작 위치에 대한 기호가 생성되지 않기 때문에 처음 시작 위치에 대한 기호는 모든 특징점들을 'Convex Hull* 기법을 이용하여 다각형으로 만든 후에 무게 중심을 구하고, 무게중심점을 원점으로 하는 공간에 재배치하여 해당 특징점이 속하는 구간의 기호가 시작 위치에 대한 기호가 되도록 하였다. 이러한 방법에 의해 계산된 시간 변화에 따른 위치변화 집합(Sequence)은 동작에 대한 패턴 정보로 사용할 수 있다.
정규 동작들과 사용자 동작은 은닉 마르코프모델(HMM:Hidden Markov Model) 기반 패턴 인식 방법 [6-8]을 통하여 비교하였고 동작의 유사도 측정 방법으로는 편집 거리 알고리즘(Edit Distance) [9-12]을 사용하였다. 기존의 비전 기반 동작 인식 방법들을 2장에서 소개하고, 3장에서 은닉 마르코프모델 기반 동작 인식 방법을 설명한다.
이러한 점수행렬을 가지고 가능한 가장 작은 값을 가지는 최적 정렬 孔를 구하여 계산한 &의 값을 두 시퀀스 간의 불일치 값으로 사용함으로서 동작 유사도 값 C(score)를 구할 수 있다. 최적 정렬 查를 구하는 방법과 발생하는값은 'Levenshtein distance' 알고리즘[16]을 사용하여 구하였다. "Levenshtein distance* 알고리즘에서 정의되는 삽입비용과, 삭제 비용, 교체비용은 각각 삽입비용(insCost)은 S&) 가공백이 아니고 §(”가 공백일 때 발생하는 비용이고, 삭제비용(delCost)은 가 공백이고, 耳0)가 공백이 아닐 때 발생하는 비용이다.
성능/효과
동작 자체에 대한 인식률은 실험 때와 비슷한 결과를 보였으며, 유사도의 경우 짧은 이동거리와 보행 장애에 따른 몸 중심 이동의 불안정한 동작으로 인해 비교적 낮은 점수 결과를 보였다.
실험 결과 모든 부분 단계들을 모두 수행하였을경우 거리에 관계없이 정규 동작과 사용자 동작이 정확하게 일치했음을 보였고, 부분 적 단계를 수행하였을 경우 전체 동작에 비례한 점수 결과를 보였다. 동작의 처음 시작을 다르게 하였을 경우(a~c, d~e)에 대해서도 부분적인 동작 유사도 측정이 가능하였다.
실험 결과 카메라 위치를 기준으로 정면 운동에 대해서는 95% 이상의 인식율을 보였으며, 거리에 따른 인식율 차이는 크지 않았다. 보기 동작 C 에 대해서는 옆으로 이동할 시에 사용자의 행동에서 한걸음 이동 시 마다 좌 이동 후에 우로 무게 중심이 이동되면서 정규 동작 보다 무게 중심이 심하게 이동하면서 이동한 경우에서 인식에 오차가 발생하였다.
제안한 동작 인식 처리 방법은 평균 93%의 높은 인식율을보였으며, 동작 인식에 그치지 않고 유사도 점수를계산함으로서 기반이 되는 모범 동작과의 비교 측정이 가능하다. 본 연구의 결과는 동작 인식 기반 게임, 동작의 반복 훈련 및 훈련 달성도 측정, 동작 인식을 이용한 자세 인식 등에 활용 가능하다, 향후 운동 방향에 대한 근사율을 적용하여 방향 구분 시에 구분 경계에 걸치는 운동 방향에 대해서도 인식이 가능하도록 하고 동작에 대한 무게 중심 이동 등을 고려하여 동작 인식율을 높이는 방법에 대하여 연구하고자 한다.
참고문헌 (21)
정순기, 설창환, 원광연, "동작포착을 이용한 인체동작의 생성,"
양문모, "영상처리를 위한 수화인식," 한국과학재단, 1997.
Hiroshi Murase, Shree K and Nayar, "Visual Learning and Recognition 3D object from appearance," international journal of computer vision, Vol.14, 1995.
Andrew D.Wilson and Aaron F.Bobick, "Recognition and Interpretation of Parametric Gesture," Technical Report, MIT, No.421.
Thad Eugene Starner, "Visual Recognition of American Sign Language Using Hidden Markov Models," Technical Report, MIT, June, 1995.
arthur P.Dempster, Nan M.Laird, and Donald B.Rubin, "Maximum-likelihood from incomplete data via the EM algorithm," journal of the Royal Statistical Society, Series B, 1977.
Geoffrey J,McLachlan and Thiriyambkam Krishnan, "The EM algorithm and Extensions," Wiley, New York, 1996.
Michael I. Jordan and Robert A. Jacobs, "Hierarchical mixtures of experts and the EM algorithm," Neural computation, 1994.
S. B. Needleman and C. D. Wunsch, "A general method applicable to the search for similarities in the amino acid sequence of two proteins," Jrnl Molec. Biol, 1970.
E. Ukkonen "On approximate string matching," Proc, Int. Conf. on Foundations of Comp, Theory, Springer-Verlag, LNCS 158, pp. 487-495, 1983.
Stefan Erickeler, Stefan Muller and Gerhard Rigoll, "Improved Face Recognition Using Pseudo 2D Hidden Markov Models," Proc. Workshop on Advances in Facial Image Analysis and Recognition Technology, 1998.
V. I. Levenshtein, "Binary codes capable of correcting deletions, insertions and reversals," Doklady Akademii Nauk SSSR 163, pp. 845-848, 1965.
James William Davis, "Appearance-Based Motion Recognition of Human Actions," Technical Report, MIT, July 1996.
Takahiro Watanabe and Masahiko Yachida, "Real timer recognition of Gesture, Gesture Degree Information Using Multi Input Image Sequences," ICPR, Vol.2, pp. 185-188, 1998.
Yuanixin Zhu, Yuhuang, Guangyou Xu, Haibing Ren and Zhen Wen, "Vision-based Interpretation of Hand Gestures Bye Modeling Apperance Changes in Mage Sequences," MVA'98. IAPR Workshop on machine Vision Applications, 1998.
김선철, 박인찬, "사용자 제스처 인식을 활용한 유비쿼터스 홈네트워크 인터페이스 체계에 대한 연구," 감성과학, 제8권, 제3호, pp. 265-276, 2005.
I. Cohen, N. Sebe, A. Garg, M. S. Lew and T. S. Huang, "Facial Expression Recognition from Video Sequences," Proceedings of IEEE International Conference on Multimedia and Exposition, Vol.2, pp. 121-124, 2002.
이칠우, 이용재, "파라메트릭 제스처 공간에서 포즈의 외관 정보를 이용한 제스처 인식과 동작 평가," 멀티미디어학회 논문지, 제7권, 제8호, pp. 1035-1045, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.