선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 서비스 로봇의 응용으로 맞춤형 서비스를 제공하기 위해 사람의 평상시 걸음걸이를 통해 연령 및 성별을 분류하는 방법을 제안하였다. 이를 위해 다양한 사람들의 평상시 걸음걸이를 분석하기 위해 실제 환경에서 다수의 평상시 걸음걸이 데이터를 수집하여 새로운 걸음걸이 데이터 셋을 제작하였다.
- 본 연구에서는 실제 환경에서 사용자의 특성에 맞는 맞춤형 로봇 서비스를 제공하기 위해 사용자의 연령 및 성별을 분류하는 방법을 제안한다. 실제 환경에서 서비스 로봇의 적용을 고려하면 카메라가 사용자를 바라보는 방향에 상관없이 걸음걸이를 인식해야 하고, 실제 환경에서 나타나는 평상시의 걸음걸이를 인식해야 한다.
제안 방법
- 데이터베이스는 CASIA Dataset을 이용했으며, 특징 벡터로는 추정된 여러 가지 관절들 사이의 각도들의 최대값, 평균 값 등으로 총 22개의 물리적인 특징을 추출하여 남녀 성별을 분류하였다. 5개의 특징(엉덩이와 왼쪽 발 사이의 평균 각도, 엉덩이와 오른쪽 발 사이의 평균 각도, 자세의 최대각도, 프레임의 총 개수, 걸음걸이 시 무릎 각도의 평균)만을 사용했을 경우엔 좀 더 높은 정확도로 남녀 성별을 분류하였다. Sabir(18)는 비모델 접근 방법과 모델 기반 접근 방법을 융합하여 걸음걸이 윤곽 영상으로부터 시공간적인 거리(양 손 사이, 어께너비, 키, 양 발 사이, 양 무릎 사이)를 계산하고, 웨이블릿 변환(wavelet transform)과 융합하여 특징을 추출하여 남녀 성별을 분류하는 방법을 제안하였다.
- Arai(17)는 걸음걸이 윤곽 영상을 이용해 머리, 목, 엉덩이, 양쪽 무릎, 양쪽 발목의 총 7개의 관절 점을 추정하여 골격 모델(skeleton model)을 구성하였고, SVM을 통해 남녀 성별을 분류하는 방법을 제안하였다. 데이터베이스는 CASIA Dataset을 이용했으며, 특징 벡터로는 추정된 여러 가지 관절들 사이의 각도들의 최대값, 평균 값 등으로 총 22개의 물리적인 특징을 추출하여 남녀 성별을 분류하였다. 5개의 특징(엉덩이와 왼쪽 발 사이의 평균 각도, 엉덩이와 오른쪽 발 사이의 평균 각도, 자세의 최대각도, 프레임의 총 개수, 걸음걸이 시 무릎 각도의 평균)만을 사용했을 경우엔 좀 더 높은 정확도로 남녀 성별을 분류하였다.
- (22) 첫 번째 분류 방법은 1단계 방식 k-NN을 적용하여 성별 및 연령을 동시에 분류하는 것이다. 두 번째 분류 방법은 2단계 방식 k-NN을 적용하여 성별을 분류한 후에 연령을 분류하는 방식이며, 마지막 세 번째 방법은 SVM분류기를 적용하여 성별을 분류한 후 연령을 분류하는 방법으로 구현했다. 이때 각 분류기에 사용된 특징들은 아래의 Table 4와 같다.
- 이러한 조건을 만족시키기 위해 RGB-D 센서를 이용한 모델 기반 접근 방법을 이용하고자 한다. 또한 실제 환경에서 나타나는 자연스러운 걸음걸이를 인식하기 위해 다양한 사람들의 평상시 걸음걸이를 수집하여 데이터 셋을 만들고, 연령 및 성별에 따른 걸음걸이 특성을 고려하여 RGB-D 센서로부터 추정된 신체 관절 모델에 맞는 특징들을 제안한다.
- 이를 위해 다양한 사람들의 평상시 걸음걸이를 분석하기 위해 실제 환경에서 다수의 평상시 걸음걸이 데이터를 수집하여 새로운 걸음걸이 데이터 셋을 제작하였다. 또한 카메라가 사용자를 바라보는 방향에 상관없이 걸음걸이를 인식하기 위해 RGB-D 센서를 이용하여 센서 데이터를 통해 추출된 신체 모델에 맞는 특징을 제안하였고, 이를 연령 및 성별에 따른 걸음걸이 특성을 고려하기 위해 T-검정을 통해서 이들 중 연령이나 성별에 따라 유의한 차이가 나타나는 특징을 찾고 이를 특징으로 제안했다. 제안한 방법의 성능을 평가하기 위해 k-NN과 SVM 분류기를 통해 성능 비교 실험을 해봤으며, 그 결과 제안한 방법의 분류에는 SVM 분류기가 적합하며 이를 통해 연령은 82.
- 본 논문에서는 k-NN과 SVM을 사용하여 분류 정확도를 비교하였다. k-NN 분류기는 한 번에 다수의 항목을 구분할 수 있는 특징이 있고, SVM분류기는 한번에 두 개의 항목만 구분할 수 있다.
- 이렇게 제안된 걸음걸이 특징들을 앞에서 수집한 평상시 걸음걸이 데이터에 적용해 계산한 후 독립표본 T-검정(independent sample T-test)을 통해 연령 및 성별 간 걸음걸이 특징들이 통계적으로 유의한 차이성이 있는지 각각 검증했다. 연령과 성별에 대한 특성을 각각 독립적으로 알아보기 위해 비교 집단 군은 다음 4가지 집단의 걸음걸이 특징 간의 통계적 유의성을 확인하였다. Case 1, 2는 성별에 따른 차이를 알아보기 위한 것이며, Case 3, 4는 연령에 따른 차이를 알아보기 위한 것이다.
- 은 사람의 움직임을 운동학적(kinematics) 요소로 분석하여 걸음걸이를 인식하는 방법이다. 영상으로부터 다리, 허벅지, 팔 등 신체의 구성부분의 움직임을 추적(tracking)하여 보폭(stride), 분속 수(cadence), 걸음 속도(velocity) 등 각 개인의 특성을 나타낼 수 있는 특징을 추출하여 걸음걸이를 인식한다. 이러한 모델 기반 접근 방법을 통한 걸음걸이 인식은 어느 정도 카메라가 바라보는 방향이나 빛의 세기, 옷의 변화가 있어도 가능하다.
- 실제 환경에서 서비스 로봇의 적용을 고려하면 카메라가 사용자를 바라보는 방향에 상관없이 걸음걸이를 인식해야 하고, 실제 환경에서 나타나는 평상시의 걸음걸이를 인식해야 한다. 이러한 조건을 만족시키기 위해 RGB-D 센서를 이용한 모델 기반 접근 방법을 이용하고자 한다. 또한 실제 환경에서 나타나는 자연스러운 걸음걸이를 인식하기 위해 다양한 사람들의 평상시 걸음걸이를 수집하여 데이터 셋을 만들고, 연령 및 성별에 따른 걸음걸이 특성을 고려하여 RGB-D 센서로부터 추정된 신체 관절 모델에 맞는 특징들을 제안한다.
- 본 연구에서는 서비스 로봇의 응용으로 맞춤형 서비스를 제공하기 위해 사람의 평상시 걸음걸이를 통해 연령 및 성별을 분류하는 방법을 제안하였다. 이를 위해 다양한 사람들의 평상시 걸음걸이를 분석하기 위해 실제 환경에서 다수의 평상시 걸음걸이 데이터를 수집하여 새로운 걸음걸이 데이터 셋을 제작하였다. 또한 카메라가 사용자를 바라보는 방향에 상관없이 걸음걸이를 인식하기 위해 RGB-D 센서를 이용하여 센서 데이터를 통해 추출된 신체 모델에 맞는 특징을 제안하였고, 이를 연령 및 성별에 따른 걸음걸이 특성을 고려하기 위해 T-검정을 통해서 이들 중 연령이나 성별에 따라 유의한 차이가 나타나는 특징을 찾고 이를 특징으로 제안했다.
- Sabir(18)는 비모델 접근 방법과 모델 기반 접근 방법을 융합하여 걸음걸이 윤곽 영상으로부터 시공간적인 거리(양 손 사이, 어께너비, 키, 양 발 사이, 양 무릎 사이)를 계산하고, 웨이블릿 변환(wavelet transform)과 융합하여 특징을 추출하여 남녀 성별을 분류하는 방법을 제안하였다. 정확도 분석은 CASIA Dataset을 이용하여 남녀 성별을 분류하였다.
- 제안한 특징들의 성능을 알아보기 위해 연령 및 성별 분류 실험을 수행했다. 이때 분류기(classifier)는 대부분의 연령 및 성별 분류에 사용되는 k-NN(k-nearest neighbor)과 SVM(support vector machine)을 사용하여 두 분류기의 정확도를 비교하여 연령 및 성별 분류에 적합한 분류기를 선택한다.
- 데이터베이스는 CASIA Dataset을 이용하여 남녀 각각 31명의 데이터를 이용하였다. 특징 벡터로는 걸음걸이 에너지 영상을 5가지 영역(머리와 헤어스타일, 가슴, 등, 허리와 엉덩이, 다리)으로 나누어 각 영역의 영상 세기를 사용하여 남녀 성별을 분류하였다. Arai(17)는 걸음걸이 윤곽 영상을 이용해 머리, 목, 엉덩이, 양쪽 무릎, 양쪽 발목의 총 7개의 관절 점을 추정하여 골격 모델(skeleton model)을 구성하였고, SVM을 통해 남녀 성별을 분류하는 방법을 제안하였다.
- 실험대상은 총 14명의 피험자로 각 연령대 별로 7명씩 4명의 남성과 3명의 여성으로 구성했고, 한 사람 당 세 번씩 표준적인 걸음걸이로 걷는 장면을 측면에서 촬영하여 데이터 셋을 제작하였다. 특징벡터(feature vector)로는 경계선 영상의 중심점으로부터 경계선까지의 거리를 6도씩 총 60개를 사용하여 연령대를 분류하였다. Yu(16)는 걸음걸이 에너지 영상을 SVM(support vector machine)을 이용해 사람들의 성별을 분류하는 방법을 제안했다.
대상 데이터
- 1). 데이터 형식은 RGB 영상, Depth 영상 및 3차원 신체모델로 3가지 형태이다.
- Yu(16)는 걸음걸이 에너지 영상을 SVM(support vector machine)을 이용해 사람들의 성별을 분류하는 방법을 제안했다. 데이터베이스는 CASIA Dataset을 이용하여 남녀 각각 31명의 데이터를 이용하였다. 특징 벡터로는 걸음걸이 에너지 영상을 5가지 영역(머리와 헤어스타일, 가슴, 등, 허리와 엉덩이, 다리)으로 나누어 각 영역의 영상 세기를 사용하여 남녀 성별을 분류하였다.
- 은 걸음걸이 경계선 영상(contour image)을 이진화한 후, HMM(hidden markov model)을 이용하여 청년층(25~30세)과 노인층(60~65세)의 연령대를 분류하는 방법을 제안했다. 실험대상은 총 14명의 피험자로 각 연령대 별로 7명씩 4명의 남성과 3명의 여성으로 구성했고, 한 사람 당 세 번씩 표준적인 걸음걸이로 걷는 장면을 측면에서 촬영하여 데이터 셋을 제작하였다. 특징벡터(feature vector)로는 경계선 영상의 중심점으로부터 경계선까지의 거리를 6도씩 총 60개를 사용하여 연령대를 분류하였다.
- 걸음걸이 데이터베이스에 관한 연구 역시 활발히 진행 중이며, 대표적으로 CASIA Gait Database(Dataset B)(14)가 많이 사용되고 있다. 이 데이터 셋은 총 124명의 피험자들(남성 93명, 여성 31명)의 걸음걸이를 11개의 방향으로 수집하였으며, 피험자 한 명 당 6개의 영상 시퀀스로 총 372개의 시퀀스로 구성되어 있다. 제공하는 데이터 형식은 초당 25 프레임의 카메라 영상과 걸음걸이 윤곽 영상으로 제공해주고 있다.
- 따라서 평상시 걸음걸이 데이터를 수집하기 위해 다음과 같은 과정에 따라 데이터를 수집하였다. 이러한 과정으로 총 205명의 평상시 걸음걸이 데이터를 수집하였다.
- 이렇게 수집된 평상시 걸음걸이 데이터는 개인당 2걸음에서 3걸음 사이의 걸음걸이로 대략 3m 정도의 거리이고, 프레임 수는 대략 30~45 정도로 저장되었다(Fig. 1). 데이터 형식은 RGB 영상, Depth 영상 및 3차원 신체모델로 3가지 형태이다.
- 이 데이터 셋은 총 124명의 피험자들(남성 93명, 여성 31명)의 걸음걸이를 11개의 방향으로 수집하였으며, 피험자 한 명 당 6개의 영상 시퀀스로 총 372개의 시퀀스로 구성되어 있다. 제공하는 데이터 형식은 초당 25 프레임의 카메라 영상과 걸음걸이 윤곽 영상으로 제공해주고 있다. 또한 촬영 각도, 옷의 형태, 가방 유무 등 총 세 가지 사항에 대해 변화를 고려하여 데이터를 제공하고 있다.
- 이때 분류기(classifier)는 대부분의 연령 및 성별 분류에 사용되는 k-NN(k-nearest neighbor)과 SVM(support vector machine)을 사용하여 두 분류기의 정확도를 비교하여 연령 및 성별 분류에 적합한 분류기를 선택한다. 학습 데이터는 불균형 데이터 문제를 방지하기 위해 각 집단 당 20명의 데이터로 임의 선택(21) 검증 데이터는 각 집단 당 10명의 데이터를 사용했으며, 걸음걸이 데이터의 한 프레임 단위로 분류과정을 거치게 된다. 이때 각 집단의 검증 데이터의 프레임 수는 청년층 남성이 296 프레임, 장년층 남성이 330 프레임, 청년층 여성이 276 프레임, 장년층 여성이 305 프레임이다.
데이터처리
- 이렇게 제안된 걸음걸이 특징들을 앞에서 수집한 평상시 걸음걸이 데이터에 적용해 계산한 후 독립표본 T-검정(independent sample T-test)을 통해 연령 및 성별 간 걸음걸이 특징들이 통계적으로 유의한 차이성이 있는지 각각 검증했다. 연령과 성별에 대한 특성을 각각 독립적으로 알아보기 위해 비교 집단 군은 다음 4가지 집단의 걸음걸이 특징 간의 통계적 유의성을 확인하였다.
이론/모형
- 걸음걸이를 인식하기 위해서는 먼저 센서 데이터로부터 사람의 신체 및 신체의 구성성분들을 추정하고, 이렇게 추정된 신체 정보가 걸음걸이에 따라 어떻게 변화하는지 분석해야 한다. 본 논문에서는 Shotton의 알고리즘(13)을 이용하여 RGB-D센서의 깊이 영상으로부터 신체의 총 20개 관절의 3차원 좌표를 추정하고 이를 걸음걸이 인식에 사용한다.
성능/효과
- 은 각각 연령대와 성별에 따라 걸음걸이 특성이 어떻게 차이 나는지 비교하기 위해 모션 캡처 장비를 이용하여 보행검사를 실시하였다. T-검정을 통한 지표 분석 결과 연령대에 따라 분속수, 보폭, 보행속도, 엉덩관절의 각도, 무릎관절의 각도, 발목관절의 각도 등에서 걸음걸이 특성에 차이가 나타났고, 성별에 따라 보폭, 보간, 보행속도, 엉덩관절의 각도, 발목관절의 각도 등에서 걸음걸이 특성에 차이가 나타났다.
- 서비스 로봇이 사용되는 환경을 고려하여 연령대는 청년층(20대~30대)과 장년층(40대~50대)의 두 가지로 분류하고 성별은 남성과 여성 두 가지로 분류하였다. 결론적으로 수집된 데이터들은 청년층 남성, 장년층 남성, 청년층 여성, 장년층 여성으로 총 네 가지로 분류되었다. 분류된 데이터의 개수는 각각 청년층 남성은 94명, 장년층 남성은 35명, 청년층 여성은 42명, 장년층 여성은 42명이다.
- 남성의 연령에 따른 걸음걸이 특징 차이를 보면 다리 길이, 보폭은 청년층이 장년층 보다 더 큰 것으로 나타났으며, 걸음걸이 시 장년층이 청년층보다 다리 사이를 더 많이 벌리고 걷는 것으로 나타났고, 최대 보폭에서는 청년층이 장년층보다 다리를 더 많이 뻗는 것으로 나타났다.
- 결론적으로 수집된 데이터들은 청년층 남성, 장년층 남성, 청년층 여성, 장년층 여성으로 총 네 가지로 분류되었다. 분류된 데이터의 개수는 각각 청년층 남성은 94명, 장년층 남성은 35명, 청년층 여성은 42명, 장년층 여성은 42명이다.
- 여성의 연령에 따른 걸음걸이 특징 차이를 보면 다리길이와 보폭은 청년층이 장년층 보다 더 큰것으로 나타났으며, 걸음걸이 시 다리를 교차할 때에는 청년층이 장년층보다 다리 사이를 더 좁게 걷는 것으로 나타났다.
- 세 가지 분류기에 대한 정확도는 Table 5와 같다. 연령, 성별, 총 분류 정확도 모두 SVM이 가장 높은 것으로 나타났다. 일반적으로 SVM의 경우 적은 학습 데이터에서도 높은 성능을 나타내기 때문에 이러한 결과가 나온 것으로 해석된다.
- 장년층의 성별에 따른 걸음걸이 특징 차이를 보면 청년층과 마찬가지로 어깨 너비, 다리 길이, 보폭은 남성이 여성보다 더 큰 것으로 나타났으며, 걸음걸이 시 남성이 여성보다 다리 사이를 더 많이 벌리고 걷는 것으로 나타났다.
- 또한 카메라가 사용자를 바라보는 방향에 상관없이 걸음걸이를 인식하기 위해 RGB-D 센서를 이용하여 센서 데이터를 통해 추출된 신체 모델에 맞는 특징을 제안하였고, 이를 연령 및 성별에 따른 걸음걸이 특성을 고려하기 위해 T-검정을 통해서 이들 중 연령이나 성별에 따라 유의한 차이가 나타나는 특징을 찾고 이를 특징으로 제안했다. 제안한 방법의 성능을 평가하기 위해 k-NN과 SVM 분류기를 통해 성능 비교 실험을 해봤으며, 그 결과 제안한 방법의 분류에는 SVM 분류기가 적합하며 이를 통해 연령은 82.93%의 정확도로 분류했으며 성별은 85.58%의 정확도로 분류하여 총 72.24%의 정확도를 얻었다. 이는 이전 연구의 성능과 비교했을 때 비슷하거나 낮은 수준이나, 이전 연구들은 모두 측면도로만 걸음걸이를 인식할 수 있으며 실제 환경의 평상시 걸음걸이와 많은 차이가 있는 표준적인 걸음걸이 데이터 셋을 이용했기 때문에 실제 서비스 로봇의 응용을 고려하면 본 연구가 이전 연구에 비해 더 적합한 방법이 될 것이다.
- 청년층의 성별에 따른 걸음걸이 특징 차이를 보면 어깨 너비, 다리 길이, 보폭은 남성이 여성보다 더 큰 것으로 나타났으며, 걸음걸이 시 다리를 교차할 때에는 여성이 남성보다 다리 사이를 더 좁게 걷는 것으로 나타났고, 최대 보폭에서는 남성이 여성보다 다리를 더 많이 뻗는 것으로 나타났다.
후속연구
- 마지막으로 기존에 제안된 특징 벡터들은 영상에만 초점을 맞추고 있고, 연령 및 성별에 따른 특성들을 고려하지 않고 있다. 단순히 영상에서 추출할 수 있는 특징들에서 벗어나 연령 및 성별의 특성을 고려하여 특징을 추출하면 더 높은 정확도를 얻을 수 있을 것이다.
- 이는 이전의 연구들은 측면도의 표준적인 걸음걸이 데이터 셋을 이용했기 때문에 정확도가 높게 나올 수 있지만, 실제 환경에서 서비스 로봇의 응용을 생각한다면 측면도의 표준적인 걸음걸이가 나타나는 상황이 많지 않기 때문에 정확도는 현저히 떨어지게 될 것이라 예상한다. 본 연구에서는 평상시 걸음걸이 데이터 셋을 제작했고, RGB-D 센서를 이용하여 카메라가 사용자를 바라보는 방향의 변화에도 상관없이 강인하기 때문에 실제 환경에서 서비스 로봇의 응용을 고려하면 이전 연구에 비해 더 적합한 방법이 될 것이다.
- 추후에는 현재 방법의 오류를 분석해서 좀 더 정확하고 안정적인 알고리즘을 연구하는 것과 정확도를 높이기 위해 추가적인 특징 개발에 대해서 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.