본 논문에서는 걸음걸이 실루엣 영상을 이용한 걸음걸이 인식 방법을 제안한다. 걸음걸이 특징 정보는 걸음걸이의 방향 변화에 많은 영향을 받는다. 따라서 본 논문에서는 평면 호모그래피를 이용하여 실루엣을 고유시점으로 재구성함으로써 방향변화의 영향을 줄이고자 한다. 이때, 평면 호모그래피는 카메라 보정과 같은 복잡한 계산과정 없이 걸음걸이 시퀀스 정보만을 이용하여 추정된다. 동일인의 걸음걸이 실루엣이라 하더라도 배경 제거시의 에러 등으로 인해 공통적인 특성에서 벗어나는 영역이 존재한다. 각 개인의 동일 특성에서 벗어나는 특성을 분석하기 위하여, 본 논문에서는 주성분 분석 기법을 사용한다. 그러나 일반적인 패턴 분류에 적용되는 주성분 분석 기법과는 달리 본 논문에서는 공통적인 특성에서 벗어나는 정도의 판단과 그에 따르는 가중치 부여 기준으로써 사용한다. 실험결과 제안하는 걸음걸이 인식 기법은 걸음걸이 방향 변화에 강인하고, 분별력을 향상시킬 수 있음을 확인하였다.
본 논문에서는 걸음걸이 실루엣 영상을 이용한 걸음걸이 인식 방법을 제안한다. 걸음걸이 특징 정보는 걸음걸이의 방향 변화에 많은 영향을 받는다. 따라서 본 논문에서는 평면 호모그래피를 이용하여 실루엣을 고유시점으로 재구성함으로써 방향변화의 영향을 줄이고자 한다. 이때, 평면 호모그래피는 카메라 보정과 같은 복잡한 계산과정 없이 걸음걸이 시퀀스 정보만을 이용하여 추정된다. 동일인의 걸음걸이 실루엣이라 하더라도 배경 제거시의 에러 등으로 인해 공통적인 특성에서 벗어나는 영역이 존재한다. 각 개인의 동일 특성에서 벗어나는 특성을 분석하기 위하여, 본 논문에서는 주성분 분석 기법을 사용한다. 그러나 일반적인 패턴 분류에 적용되는 주성분 분석 기법과는 달리 본 논문에서는 공통적인 특성에서 벗어나는 정도의 판단과 그에 따르는 가중치 부여 기준으로써 사용한다. 실험결과 제안하는 걸음걸이 인식 기법은 걸음걸이 방향 변화에 강인하고, 분별력을 향상시킬 수 있음을 확인하였다.
In this paper, we propose a gait recognition method based on gait silhouette sequences. Features of gait are affected by the variation of gait direction. Therefore, we synthesize silhouettes to canonical form by using planar homography in order to reduce the effect of the variation of gait direction...
In this paper, we propose a gait recognition method based on gait silhouette sequences. Features of gait are affected by the variation of gait direction. Therefore, we synthesize silhouettes to canonical form by using planar homography in order to reduce the effect of the variation of gait direction. The planar homography is estimated with only the information which exist within the gait sequences without complicate operations such as camera calibration. Even though gait silhouettes are generated from an individual person, fragments beyond common characteristics exist because of errors caused by inaccuracy of background subtraction algorithm. In this paper, we use the Principal Component Analysis to analyze the deviated characteristics of each individual person. PCA used in this paper, however, is not same as the traditional strategy used in pattern classification. We use PCA as a criterion to analyze the amount of deviation from common characteristic. Experimental results show that the proposed method is robust to the variation of gait direction and improves separability of test-data groups.
In this paper, we propose a gait recognition method based on gait silhouette sequences. Features of gait are affected by the variation of gait direction. Therefore, we synthesize silhouettes to canonical form by using planar homography in order to reduce the effect of the variation of gait direction. The planar homography is estimated with only the information which exist within the gait sequences without complicate operations such as camera calibration. Even though gait silhouettes are generated from an individual person, fragments beyond common characteristics exist because of errors caused by inaccuracy of background subtraction algorithm. In this paper, we use the Principal Component Analysis to analyze the deviated characteristics of each individual person. PCA used in this paper, however, is not same as the traditional strategy used in pattern classification. We use PCA as a criterion to analyze the amount of deviation from common characteristic. Experimental results show that the proposed method is robust to the variation of gait direction and improves separability of test-data groups.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 제시하는 수식의 경우 Dimension이 없는 수치로 절대적인 수치의 비교가 힘들다. 그러나 본 논문에서 제시하는 알고리즘을 적용했을 경우와 적용하지 않았을 경우의 수치의 차이만을 상대적으로 비교하여 성능의 차이를 제시하고자 한다.
이러한 잡음 성분은 동일인을 식별하는데 도움이 되지 못할 뿐만 아니라, 다른사람과 우연히 일치하는 부분으로 인지될 가능성도 포함하고 있다. 따라서 본 논문에서는 PCA를 이용하여공통적인 특성에서 벗어나는 영역을 구분하고 그 특성에 따라 역의 가중치를 부여함으로써 잡음의 영향을 줄이고자 한다.
그러나 걸음걸이 실루엣은 각 프레임마다 위치가 변하기 때문에 영상의 중심 좌표를 변환의 중심으로 사용할 경우 영상 중심에서 거리가 먼 실루엣의왜곡은 그만큼 증가하게 된다. 따라서 본 논문에서는 걸음걸이 실루엣의 왜곡을 최소화하기 위하여 각 프레임에 따라 변환 중심을 다르게 설정하였다. 즉, 실루엣의중심 좌표를 변환 중심으로 설정하여 왜곡을 최소화하였다.
그러나 앞서 언급한 바와 같이 카메라와 걸음걸이 간의 각도가 변할 경우 추출된 걸음걸이 정보는 왜곡된다. 따라서 본 논문에서는 이러한 방향 변화의 영향과 걸음걸이 영상의 왜곡을 최소화하기 위한 방법으로 평면 호모그래피를 사용한 고유 시점 재구성 방법을 사용하였다. 걸음걸이 실루엣 영상을 누적시켜 보면 하나의 평면으로 근사할 수 있다.
본 논문에서는 걸음걸이 실루엣 영상을 사용한 걸음걸이 인식 기법을 제안하였다. 걸음걸이 인식의 경우 추출되는 걸음걸이 특징 정보가 걸음걸이 방향의 변화에 많은 영향을 받는다.
본 논문에서는 걸음걸이 인식의 단점 중 외부 요소에해당하는 시점 변화, 혹은 걸음걸이 방향 변화에 따른특징 추출 에러를 극복할 수 있는 방법으로써 평면 호모그래피 추정을 통한 고유 시점 재구성(Canonical view synthesis) 기법을 제시한다. 개인 식별을 위한 특징으로써는 실루엣 영상 시퀀스로부터 중심적인 특징을 포함하고 있는 키 실루엣을 생성하여 특징 정보로 사용하는 비 파라미터 접근 방법을 제안한다.
교차하는 두 직선을 평행하도록 하기 위해서는 교차점을 무한점으로 사상할 필요가 있다. 본 논문에서는 이를 위한 평면 대 평면의 변환, 즉 호모그래피를 걸음걸이 영상을 고유한 시점으로 일치시키는 변환으로 사용하고자 한다[11].
가설 설정
본 논문에서의 인식은 테스트 영상과 동일한 인물에 대한 실루엣 영상이 데이터베이스에 포함되어 있는 경우에만한정하였다. 본 논문의 핵심은 인식 자체의 성능보다 방향 변화에 얼마나 강인한 가를 비교 평가하기 위한 것이기 때문에 최고 상호 상관도 값을 갖는 사람으로 인식되었다고 가정한다. 총 30명에 대한 인식 실험결과를 [표 1]에 제시하였다.
제안 방법
그러나 본 논문에서는 한 사람의 실루엣 영상을 종류(MAX, MAX2MIN, MIN, MIN2MMX)에 따라 개별적으로 PCA를 적용하였다. 각각의 종류별로 다수의 키 프레임이 존재하고 각 종류별 키 프레임 실루엣의 평균은 키-실루엣으로 이미 구하였다. 따라서 각 종류별로 개별적인 데이터 집합이라 가정하여 PCA를 적용할 수 있다.
기법을 제시한다. 개인 식별을 위한 특징으로써는 실루엣 영상 시퀀스로부터 중심적인 특징을 포함하고 있는 키 실루엣을 생성하여 특징 정보로 사용하는 비 파라미터 접근 방법을 제안한다. 이때, 주성분 분석 기법을 활용함으로써 각 개인의 공통적인 특성을 정확히 반영핟 수 있는 방법을 제시한다.
실험을 진행하였다. 걸음걸이 인식 실험은 네 가지 경우에 대하여 성능을 비교하였다. 즉 평균영상만을 사용하는 경우, 가중치를 적용한 경우, 걸음걸이 방향 변화를 보정한 평균 영상을 사용한 경우 그리고걸음걸이 방향 변화를 보정한 후 가중치를 적용한 경우에 대하여 데이터베이스내의 정보와 비교하였다.
일반적인 패턴 인식에서 사용하는 PCA 기법은 서로 다른 데이터 군에 대하여 전체 데이터의 고유벡터(Eigenvector)를 구하고 데이터를 고유벡터 공간(Eigen space)으로 사상함으로써 그룹간 분별력을 높이는 방법이다. 그러나 본 논문에서는 한 사람의 실루엣 영상을 종류(MAX, MAX2MIN, MIN, MIN2MMX)에 따라 개별적으로 PCA를 적용하였다. 각각의 종류별로 다수의 키 프레임이 존재하고 각 종류별 키 프레임 실루엣의 평균은 키-실루엣으로 이미 구하였다.
구성된다. 두 번째 데이터 군은 첫 번째 데이터군과 유사한 방향으로 걷는 영상으로 시간을 달리하여촬영하였다. 이 데이터 군은 제안하는 유사도 계산 방법의 효용성을 검증하는데 사용한다.
걸음걸이 인식의 경우 추출되는 걸음걸이 특징 정보가 걸음걸이 방향의 변화에 많은 영향을 받는다. 따라서 본 논문에서는 걸음걸이 영상 시퀀스 내의 정보만을 이용하여 평면 호모그래피를추정하고 추정된 호모그래피를 이용하여 방향 변화를 보정해 줌으로써 걸음걸이 특징 정보의 왜곡을 최소화하였다. 이는 복잡한 연산 과정이 불필요하면서도 효과적으로 방향 변화를 보정해 줄 수 있음을 실험을 통해 확인하였다.
또한 PCA를 적용하기 위해서는 분석하고자 하는 데이터가 동일 차원 상의 점으로 표현이 가능하여야 한다. 따라서 본 실루엣의 크기의 정규화와 PCA 적용을 위해 실루엣 영상을 포함하는 최소 경계 사각형 (Minimum Bounding Rectangle, MBR) 이 30x70이 되도록 크기를 조절함으로써 각 실루엣을 정규화 하였다. [그림 4]는 PCA를 적용하기 이전 상태로써 크기에 대한 정규화 과정을 수행한 최종 보정된 실루엣 영상이다.
이 데이터 군은 제안하는 유사도 계산 방법의 효용성을 검증하는데 사용한다. 마지막으로 세 번째데이터 군은 카메라의 광축과 수직이 아닌 방향으로 걷는 영상으로 걸음걸이 방향 보정 기법의 효용성을 검증한다. 남여 각 10명씩 총 20명은 걸음걸이의 방향 변화가 30도 이내인 경우에 대하여 영상을 획득하였으며, 10 명에 대해서는 40도 이상 차이가 나는 경우에 대하여 영상을 획득하여 실험을 진행하였다.
본 논문에서는 걸음걸이 인식을 위해 동일한 포즈에 대하여 상호 상관도(Cross correlation) 값을 구하고 포즈별 상호 상관도 값의 총 합을 유사도 측정에 사용하였다. 이때 최대 고유치를 갖는 고유 벡터의 특성을 반영하여 공통적인 영역에서 벗어나는 영역에는 역의 가중치를 부여함으로써 잡음의 영향을 최소로 할 수 있다.
따라서 걸음걸이 방향을 보정하는데 한계가 있었으며 30명 중 4명의 경우에는 제안하는 알고리즘을 모두 적용한 경우에도 전혀 다른 인물과의 유사도가 더 커지는 결과를 보였다. 실험 영상을 확대하는 경우 오인식률이 더 커질 수 있는 가능성이 있기 때문에 세밀한 분석을 위하여 다른 사람과의 분별력이 얼마나 향상되는지를 비교하였다.
실험은 걸음걸이 인식 실험과 성별 구분(Gender classification) 실험을 진행하였다. 걸음걸이 인식 실험은 네 가지 경우에 대하여 성능을 비교하였다.
걸음걸이 인식을 위해서는 걸음걸이 실루엣 영상을 직접 사용한 비 파라메트릭 접근 방법을 취하였다. 이때 키-실루엣을 정의하고 PCA 기법을 활용하여 공통 정보가 아닌 위치에는 역의 가중치를 부여함으로써 걸음걸이 상호간의 분별력을 향상시켰다. 실험 결과, 제안한 방법을 적용할 경우 걸음걸이 방향 변화를 효과적으로 보정해 줄 수 있음을 확인하였고, 제안한 방법을 적용하지 않은 경우에 비교하여 인식률이 향상됨을 확인하였고, 걸음걸이 상호간의 분별력 또한 향상시킬 수 있음을 확인하였다.
개인 식별을 위한 특징으로써는 실루엣 영상 시퀀스로부터 중심적인 특징을 포함하고 있는 키 실루엣을 생성하여 특징 정보로 사용하는 비 파라미터 접근 방법을 제안한다. 이때, 주성분 분석 기법을 활용함으로써 각 개인의 공통적인 특성을 정확히 반영핟 수 있는 방법을 제시한다.
이와 같은 기존 대부분의 걸음걸이 인식 연구는 어떠한 특징 정보가 개개인을 식별하는데 효과적인지에 집중되어 있으며, 고정된 환경에서 걸음걸이 영상을 획득하고 인식 실험을 통해 제안한 기법의 효용성을 검증하였다. 그러나 영상 획득 환경에 따라 추출된 걸음걸이 특징 정보가 변하거나 걸음걸이 실루엣의 형태가 변할 경우 인식 성능이 급격히 떨어지는 단점을 갖는다.
걸음걸이 인식 실험은 네 가지 경우에 대하여 성능을 비교하였다. 즉 평균영상만을 사용하는 경우, 가중치를 적용한 경우, 걸음걸이 방향 변화를 보정한 평균 영상을 사용한 경우 그리고걸음걸이 방향 변화를 보정한 후 가중치를 적용한 경우에 대하여 데이터베이스내의 정보와 비교하였다. 본 논문에서의 인식은 테스트 영상과 동일한 인물에 대한 실루엣 영상이 데이터베이스에 포함되어 있는 경우에만한정하였다.
따라서 본 논문에서는 걸음걸이 실루엣의 왜곡을 최소화하기 위하여 각 프레임에 따라 변환 중심을 다르게 설정하였다. 즉, 실루엣의중심 좌표를 변환 중심으로 설정하여 왜곡을 최소화하였다. R 은 R를 새로 설정된 좌표계의 z축 상의 점 (£0, 1)r로 회전시키는 회전변환이다.
카메라의 광축과 수직인 방향으로 걸어간 걸음걸이데이터와 사선 방향으로 걸어간 걸음걸이 데이터에 대하여 걸음걸이 방향을 보정하기 전과 보정한 후의 성별구분 정확도를 비교하였다. 성별 구별 실험결과를 [표 3]에 보였다.
대상 데이터
마지막으로 세 번째데이터 군은 카메라의 광축과 수직이 아닌 방향으로 걷는 영상으로 걸음걸이 방향 보정 기법의 효용성을 검증한다. 남여 각 10명씩 총 20명은 걸음걸이의 방향 변화가 30도 이내인 경우에 대하여 영상을 획득하였으며, 10 명에 대해서는 40도 이상 차이가 나는 경우에 대하여 영상을 획득하여 실험을 진행하였다. [그림 8]에서 실험에사용한 일부 데이터를 보여주고 있다.
본 논문에서 제안한 걸음걸이 인식 기법을 검증하기 위해서 총 30명의 걸음걸이 데이터를 3회에 걸쳐 획득하여 사용하였다.
본 논문에서는 걸음걸이 인식을 위해 실루엣 영상을 이용하였다. 먼저 걸음걸이의 보폭 정보를 이용하여 키 프레임을 선정한다.
결과를 비교한다. 실험 데이터는 남자 15명과 여자 15명으로 구성되어 있고 남자 그룹에 대하여 키-실루엣 4장과 가중치 벡터 4개가 생성된다. 여자 그룹도 동일한 특징이 생성된다.
첫 번째 데이터 군은 데이터베이스에 저장될 정보로써 카메라의 광축과 수직인 방향으로 걷는 걸음걸이 영상으로 구성된다. 두 번째 데이터 군은 첫 번째 데이터군과 유사한 방향으로 걷는 영상으로 시간을 달리하여촬영하였다.
본 논문의 핵심은 인식 자체의 성능보다 방향 변화에 얼마나 강인한 가를 비교 평가하기 위한 것이기 때문에 최고 상호 상관도 값을 갖는 사람으로 인식되었다고 가정한다. 총 30명에 대한 인식 실험결과를 [표 1]에 제시하였다.
따라서본 논문에서는 보폭이 최대 . 최소일 때를 기준으로 최대와 최소의 중간 포즈 2개를 포함한 총 4가지 포즈 영상을 키 프레임으로 사용하였다. 그러나 이러한 프레임은 하나의 걸음걸이 시퀀스 상에서 주기적으로 발생한다.
데이터처리
성별 구별 실험은 [그림 9]의 구성도와 같이 제안하는 걸음걸이 인식 기법을 남녀의 그룹만을 구분하여 적용하고 결과를 비교한다. 실험 데이터는 남자 15명과 여자 15명으로 구성되어 있고 남자 그룹에 대하여 키-실루엣 4장과 가중치 벡터 4개가 생성된다.
성능/효과
따라서 (Cs — Co)의 최소값을 곱해줌으로써 최종 분별력 수치를 계산하였다. 결과적으로, 분별력 수치가 높으면 높을수록 같은 사람과 다른 사람간의 분별력이 높음을 의미한다. 그러나 제시하는 수식의 경우 Dimension이 없는 수치로 절대적인 수치의 비교가 힘들다.
그러나 40도 이상 차이가 나는 걸음걸이 영상의 경우 수직 방향의 걸음걸이와의 차이가 매우 많아진다. 따라서 걸음걸이 방향을 보정하는데 한계가 있었으며 30명 중 4명의 경우에는 제안하는 알고리즘을 모두 적용한 경우에도 전혀 다른 인물과의 유사도가 더 커지는 결과를 보였다. 실험 영상을 확대하는 경우 오인식률이 더 커질 수 있는 가능성이 있기 때문에 세밀한 분석을 위하여 다른 사람과의 분별력이 얼마나 향상되는지를 비교하였다.
전혀 인식하지 못함을 알 수 있다. 본 논문에서 제안하는 가중치 부여 방법을 적용한 경우에는 공통적이지 않은 부분을 보정하는 효과가 있어 평균만을 이용하는 경우에 비하여 약간의 성능 향상이 있었으나 40도 이상 차이가 나는 경우에 대해서는 정보의 손실이 크기 때문에 거의 인식을 못함을 알 수 있다. 제안하는 방향 보정 기법과 가중치 부여 방법을 적용할 경우가 가장 좋은 성능을 보임을 확인하였다.
본 논문의 실험 데이터에 대하여 인식 실험에 비하여성별 구분 실험은 성능이 떨어짐을 볼 수 있다. 이는 모든 데이터를 남여 두 그룹으로 분리하여 특징을 추출하기 때문이다.
분석하고자 하는 데이터가 분석할 데이터 개수에비해 매우 높은 차원이고, 분석할 데이터 개수만큼의 기저 벡터만을 요구하는 응용에서는 NX N 공분산 행렬을 직접 분석하는 것이 비효율적이다. 따라서 식 (9)와같이 변형된 공분산 행렬 #를 사용하고 S 행렬에 대한 Singular Value Decomposition(SVD)를 적용한다.
그러나 걸음걸이 방향이 변한 경우 보정 전데이터에 대해서는 정확도가 70%인 반면 호모그래피를적용하여 방향 변화를 보정해 준 경우 정확도가 90%로높아짐을 알 수 있다. 성별 구분 실험을 통하여 제안한기법이 걸음걸이 인식뿐만 아니라 성별 구분을 위해서도 사용될 수 있음을 확인할 수 있으며, 호모그래피가걸음걸이 방향 변화를 효과적으로 보정해 줌을 확인하였다.
실험 결과, 제안한 방법을 적용할 경우 걸음걸이 방향 변화를 효과적으로 보정해 줄 수 있음을 확인하였고, 제안한 방법을 적용하지 않은 경우에 비교하여 인식률이 향상됨을 확인하였고, 걸음걸이 상호간의 분별력 또한 향상시킬 수 있음을 확인하였다. 성별 분류 실험을 통해 기울어진 걸음걸이 영상에 대하여 20%의 성별 분류 성능이 향상됨을 확인하였다. 그러나 걸음걸이 방향이 40도 이상 차이가 나는 경우 본 논문에서 제안하는 방향 보정알고리즘을 적용하더라도 오 인식되는 경우가 발생함을 알 수 있다.
이때 키-실루엣을 정의하고 PCA 기법을 활용하여 공통 정보가 아닌 위치에는 역의 가중치를 부여함으로써 걸음걸이 상호간의 분별력을 향상시켰다. 실험 결과, 제안한 방법을 적용할 경우 걸음걸이 방향 변화를 효과적으로 보정해 줄 수 있음을 확인하였고, 제안한 방법을 적용하지 않은 경우에 비교하여 인식률이 향상됨을 확인하였고, 걸음걸이 상호간의 분별력 또한 향상시킬 수 있음을 확인하였다. 성별 분류 실험을 통해 기울어진 걸음걸이 영상에 대하여 20%의 성별 분류 성능이 향상됨을 확인하였다.
따라서 본 논문에서는 걸음걸이 영상 시퀀스 내의 정보만을 이용하여 평면 호모그래피를추정하고 추정된 호모그래피를 이용하여 방향 변화를 보정해 줌으로써 걸음걸이 특징 정보의 왜곡을 최소화하였다. 이는 복잡한 연산 과정이 불필요하면서도 효과적으로 방향 변화를 보정해 줄 수 있음을 실험을 통해 확인하였다. 걸음걸이 인식을 위해서는 걸음걸이 실루엣 영상을 직접 사용한 비 파라메트릭 접근 방법을 취하였다.
본 논문에서 제안하는 가중치 부여 방법을 적용한 경우에는 공통적이지 않은 부분을 보정하는 효과가 있어 평균만을 이용하는 경우에 비하여 약간의 성능 향상이 있었으나 40도 이상 차이가 나는 경우에 대해서는 정보의 손실이 크기 때문에 거의 인식을 못함을 알 수 있다. 제안하는 방향 보정 기법과 가중치 부여 방법을 적용할 경우가 가장 좋은 성능을 보임을 확인하였다. 그러나 40도 이상 차이가 나는 걸음걸이 영상의 경우 수직 방향의 걸음걸이와의 차이가 매우 많아진다.
후속연구
이는 본 논문에서 제시하고자 하는 알고리즘과 유사한 접근 방법을 취하고 있으나 카메라 보정과 같은 복잡한 연산을 필요로 하며, 실험 결과로 단순히 보정된 영상을 소수만 보여주고 있다. 결과로서 보여주는 영상을 보면 실제 인식에 어떠한 영향을 줄수 있는지 판단하기 힘들뿐만 아니라 실제 걸음걸이 인식에 관한 실험 결과나 보정 에러와 같은 정량적인 결과가 제시되어 있지 않기 때문에 효용성을 판단하기가 어렵다⑻.
이는 방향이 달라지는 것을 보정하더라도 정보의 손실이 크기 때문에 원 정보를 정확히 보정할 수 없는 한계가 존재하기 때문이다. 향후 카메라 광축과 걸음걸이 방향이 이루는 각도에 따른 성능의 정량적인 분석을 통해 각도와 호모그래피와의 의존성에 대한 분석이 이루어져야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.