선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 비디오에 나타난 사람의 걸음걸이 특성을 이용하여 인식을 하는 방법을 제안하였다. 이미지 실루엣으로부터 프로파일 벡터를 생성하고, DHMM 훈련을 위해서는 S0M에 의한 벡터 양자화를 수행하였고, CHMM의 파라미터 훈련을 위해서는 주성분 분석을 적용하여 벡터의 차원을 줄였다.
- 이 절에서는 사람의 걸음걸이를 이용한 인식과 밀접한 관련이 있는 추적, 검출 및 사람의 움직임에 대한 인식을 다룬 연구들을 살펴본다. 이에 대한 전반적인 소개와 기술은 J.
가설 설정
- C. 컬러 이미지에 대한 신뢰도와 에지 이미지에 대한신뢰도를 결합하고, 신뢰도가 너무 낮은 경우는 잘못 찾은 픽셀로 간주하고 제거한다.
제안 방법
- A. 새로운 입력 이미지에 대해 가중평균 방법을 이용하여 컬러 이미지와 수직 에지 이미지에 대한 각각의 배경 이미지를 생성한다. 이미지의 각 픽셀에 대해 배경 평균 픽셀값은 식 (1)의 방법으로, 표준편차는 식 (2)의 방법으로 갱신한다.
- D. 형태 연산과 연결 성분 분석을 적용하여 사람의 영역(blob) H를 결정한다.
- 이미지 실루엣으로부터 프로파일 벡터를 생성하고, DHMM 훈련을 위해서는 S0M에 의한 벡터 양자화를 수행하였고, CHMM의 파라미터 훈련을 위해서는 주성분 분석을 적용하여 벡터의 차원을 줄였다. DHMM에서는 양자화 코드북의 크기를 변경하면서, CHMM에서는 차원의 수를변 경하면서 성능의 변화를 알야보았고, 상태수의 변화에 대해서도 성능 실험을 하였다. 여러 가지의 실험을 종합한 결과 DHMM과 CHMM 모두 상태수를 7개로 했을때 가장 높은 성능을 보였다.
- 그리고, 이산 HMM(DHMM)과연속 HMM(CHMM) 각각을 모델로 하여 서로 다른 두가지의 인식기를 설계하였다. DHMM을 이용한 인식을위해서는 SOM을 양자화기로 하여 프로파일 벡터열을코드열로 바꾸었으며, CHMM을 이용한 인식에서는 고차원의 프로파일 벡터를 주성분 분석을 하여 차원을 낮춤으로서 훈련 데이타 부족으로 인한 과적응(overfitting) 이 발생하지 않도록 하였다.
- DHMM의 결과를 바탕으로 상태수 N을 7로 고정하였으며 PCA를 이용해서 차원을 바꿔가며 CHMM을 실험하였다. 그결과 프로파일 벡터를 8차원으로 줄였을 때 88.
- 이 때 출력 충의 각 노드는 하나의 자세를 표현하는 40차원 벡터이다. 그리고, 각각의 이미지에서 추출된 프로파일 벡터를 이용하여 각각의 노드에 대한 가중치 벡터를 훈련한다. 훈련된 가중치 벡터를 코드 벡터로 하여 프로파일 벡터와의 유사성을 비교하고 가장 유사한 코드 벡터가 프로파일 벡터를 대신한다.
- 이것은 Kale 등[5]의 방법과직접 비교가 가능한 특징이며 본 실험의 결과 더 우수한 성능을 나타내었다. 그리고, 이산 HMM(DHMM)과연속 HMM(CHMM) 각각을 모델로 하여 서로 다른 두가지의 인식기를 설계하였다. DHMM을 이용한 인식을위해서는 SOM을 양자화기로 하여 프로파일 벡터열을코드열로 바꾸었으며, CHMM을 이용한 인식에서는 고차원의 프로파일 벡터를 주성분 분석을 하여 차원을 낮춤으로서 훈련 데이타 부족으로 인한 과적응(overfitting) 이 발생하지 않도록 하였다.
- 데이타가 부족하면 HMM이 제대로 훈련되지 못하며 그에 따라 신뢰성이 크게 떨어진다. 따라서, CHMM의 입력 벡터의 차원을 낮출 필요가 있었으며 이를 위해서 주성분 분석을 적용하였다.
- 본 논문에서 제시한 방법의 적합성을 알아보기 위해 본 논문에 사용된 데이타와 동일한 비디오 데이타를 이용하여 J.J. Little 등[9]과 Kale 등[8]의 방법을 비교해보았다. JJ.
- 본 논문에서 제안한 방법의 특징은 사람의 구조적인 특징과 걸음걸이의 동적인 특징을 모두 고려한 것이다. 구조적인 특징은 좌·우측 실루엣으로 표현되고, 걸음걸이의 동적인 특징은 HMM에 의해 잘 나타내어진다.
- 본 연구에서 이용하는 HMM의 구조는 사람의 걸음걸이에 주기성이 있다는 것을 감안하여 무한순환 고리 구조로 구성한다(그림 4). DHMM의 파라미터는 SOM 벡터 양자화기로 양자화한 코드열 데이타를 사용하여 훈련하며, CHMM의 파라미터는 주성분 분석으로 차원을 낮춘 벡터로 훈련한다.
- 본 연구에서는 보행자의 동적인 특성을 고려하기 위해 DHMM와 CHMM을 인식/보행자 모델로 사용한다. DHMM의 입력 데이타는 SOM을 이용해 프로파일 벡터를 양자화한 코드열이고, CHMM의 입력 데이타는 프로파일 벡터에 대해 주성분 분석을 적용하여 차원을 낮춘 벡터이다.
- 은닉 마르코프 모델(HMM)[4]은 '마르코프 사슬'의 하나로서 변형과 잡음이 많은 시계열데이타 분석에 아주 적합한 모델이다. 본 연구에서는 이를 모델로 채택하였다. 인식에 사용될 프로파일 벡터는걸어가는 사람의 수직 중심축으로부터 좌.
- 본 연구에서는 이미지에서 사람의 실루엣을 찾고, 그 실루엣으로부터 걸음걸이의 구조적인 특성을 표현하는 프로파일 벡터를 생성한다. 움직이는 사람을 찾기 위해서는 J.
- 본 연구에서는 입력 이미지에서 사람을 찾기 위해서 배경 이미지와의 차이를 이용하고, 사람의 실루엣으로 프로파일 벡터를 생성하며, 프로파일 벡터열을 이용하여 걸음에 대한 특징을 표현한다. 그러나 비슷한 외양을 가진 사람이 있을 수도 있으므로 사람의 구조적인 특징을나타내는 실루엣만으로는 '인식을 하는데 한계가 있을것이다.
- 벡터 데이타에 대해 분산이 큰 방향이 작은 방향보다 상대적으로 많은 정보를 포함하고 있으므로, 데이타를 분산이 큰 방향의 축으로 변환하여 데이타의 차원을 줄인다. 본 연구에서는 프로파일 벡터 데이타에 주성분 분석을 적용하여 차원을 낮춘 후 CHMM을 훈련한다.
- 본 연구에서의 방법은 이미지에서 추출된 실루엣을 기반으로 특징 벡터를 생성하였지만 보행자가 입고 있는 옷이나, 빛 조건 및 보행자와 카메라간의 각도 변화에 따른 실루엣의 큰 변화에 대해서는 고려하지 않았다. 따라서, 향후 이에 대한 연구를 해야 할 것이다.
- 앞의 실험에서 CHMM의 N을 DHMM의 결과를 따라 7로 정하였는데 그것이 옳은 것인지를 확인하기 위해서 가장 높은 인식률을 보였던 8차원 데이타에 대해 차원을 고정시키고, N을 변화시키면서 다른 실험을 하였다. 그 결과가 표 5에 나와 있으며, DHMM의 경우와 같이 N을 7로 했을 때 가장 높은 인식률을 보였다.
- DHMM의 입력 데이타는 SOM을 이용해 프로파일 벡터를 양자화한 코드열이고, CHMM의 입력 데이타는 프로파일 벡터에 대해 주성분 분석을 적용하여 차원을 낮춘 벡터이다. 우선, DHMM 의 입력 데이타를 위한 SOM을 이용한 벡터 양자화를 먼저 설명하고, CHMM 의 입력 데이타 생성을 위한 주성분 분석을 설명한다.
- 실험 한 결과가 표 1에 나와 있다. 이 실험에서 M과 N이 모두 7일 때 높은 인식률을 보여, N을 7로고정시키고, M을 변화시키며 또 다른 실험을 했고(표 2), 반대로 M을 7로 고정시키고 N을 변화시키며 실험을 했다(표 3). 이들 실험에서 N을 7로 하였을 때 가장 인식률이 높았다.
- 이미지 실루엣으로부터 프로파일 벡터를 생성하고, DHMM 훈련을 위해서는 S0M에 의한 벡터 양자화를 수행하였고, CHMM의 파라미터 훈련을 위해서는 주성분 분석을 적용하여 벡터의 차원을 줄였다. DHMM에서는 양자화 코드북의 크기를 변경하면서, CHMM에서는 차원의 수를변 경하면서 성능의 변화를 알야보았고, 상태수의 변화에 대해서도 성능 실험을 하였다.
- 교차 검증으로 행하였다. 인식 실험은 양자화 코드열과 주성분 분석에 의한 연속 벡터열을 입력 데이타로 하여 각각에 대해 DHMM과 CHMM을 인식기로 사용하였다.
- 프로파일 벡터에 PCA를 적용하기 전에 PCA를 적용하는 것이 타당한지를 알아보기 위해 우선, 프로파일 벡터의 공분산을 살펴보았다. 공분산 행렬을 시각화한 그림 10을 보면, 일부 대각 성분의 값들이 비교적 밝게 나타나는데 이는 분산이 큰 곳, 즉 보행시에 신체를 많이움직이는 부분을 나타낸다.
- 그리고, 각각의 이미지에서 추출된 프로파일 벡터를 이용하여 각각의 노드에 대한 가중치 벡터를 훈련한다. 훈련된 가중치 벡터를 코드 벡터로 하여 프로파일 벡터와의 유사성을 비교하고 가장 유사한 코드 벡터가 프로파일 벡터를 대신한다. 즉, 식 (5)에 나타난 것과 같이 코드 벡터와 프로파일 벡터간의 거리를 계산함으로써 가장 작은 거리를 가지는 코드 벡터의 아이디가 프로파일 벡터에 대한 코드(codeword)로 결정된다.
대상 데이터
- 실험에 사용된 데이타는 캐나다 Calgary 대학의 데이타를 사용하였으몌 [13], 6명의 사람을 각각 7번씩 촬영하여 총 42개의 비디오로 되어 있다. 비디오는 초당 15 프레임으로 촬영되었으며, 각 비디오의 평균 프레임 수는 85이고, 약 6초간, 평균 6걸음의 길이이다.
- 비디오는 초당 15 프레임으로 촬영되었으며, 각 비디오의 평균 프레임 수는 85이고, 약 6초간, 평균 6걸음의 길이이다. 이미지의 크기는 320×160 픽셀이고 24비트 컬러이다.
데이터처리
- 실험 데이타가 충분하지 못하여 인식률 실험은 leave-one-out 교차 검증으로 행하였다. 인식 실험은 양자화 코드열과 주성분 분석에 의한 연속 벡터열을 입력 데이타로 하여 각각에 대해 DHMM과 CHMM을 인식기로 사용하였다.
이론/모형
- 반면, 모델이 없는 '특징 기반 방법'은 연속된 프레임간에 위치, 속도, 모양, 색상 등을 기반으로 특징 대응을 생성하는 방식이다. 본 연구에서는 사람의 걸음걸이에 대한 구조적 특징을 표현하기 위해서 '특징 기반 방법'을 이용한다.
- 본 연구에서는 이미지에서 사람의 실루엣을 찾고, 그 실루엣으로부터 걸음걸이의 구조적인 특성을 표현하는 프로파일 벡터를 생성한다. 움직이는 사람을 찾기 위해서는 J. Sabri 등이 사용한 방식[12]을 이용한다.
성능/효과
- 그림 17은 Kale 등에 의해 제안된 방법과 본 논문에서 제안한 방법의 결과를 비교한 것이다. CHMM의 상태를 5개로 했을 때(71.41%)는, Kale 등의 결과보다 조금 높은 성능을 보였고, 상태수를 7개로 했을 때 (88.10%)는 큰 차이를 보였다. 인식률의 차이를 보인 것은 고차원의 데이타를 5차원의 벡터로 변환하는 과정에서 발생한 오차에 의한 것으로 생각된다.
- Little 등의 연구에서는 본 논문에서 사용한데이타와 동일 데이타이지만, 해상도와 초당 프레임 수가 각각 2배인 데이타를 사용하였다. 광류(optical flow) 에의한 방식으로 움직임 및 주파수와 위상의 특징을 찾아 벡터를 생성하고, 이를 이용하여 90.5%의 인식률을 보였다. 본 논문의 인식률(88.
- 실험하였다. 그결과 프로파일 벡터를 8차원으로 줄였을 때 88.10%로 가장 높은 인식률을 나타내었다. 차원의 변화에 따른 인식률 결과는 표 4에 나타내었으며, 각 차원에 대해 CHMM의 인식기의 후보 개수를 고려하였을 때의 결과는 그림 15에 나타내었다.
- 인식률의 차이를 보인 것은 고차원의 데이타를 5차원의 벡터로 변환하는 과정에서 발생한 오차에 의한 것으로 생각된다. 그리고, DHMM을 인식기로 하여 실험을 한 결과에서도 Kale 등의 결과보다 더 좋은 성능을 보였다.
- 5%의 인식률을 보였다. 본 논문의 인식률(88.10%)과 비교하면 조금 높은 수치를 보이는데 이는 사용된 데이타의 해상도와 프레임 수가 성능에 영향을 미친 것으로 생각된다.
- 총 42개의 비디오로 되어 있다. 비디오는 초당 15 프레임으로 촬영되었으며, 각 비디오의 평균 프레임 수는 85이고, 약 6초간, 평균 6걸음의 길이이다. 이미지의 크기는 320×160 픽셀이고 24비트 컬러이다.
- DHMM에서는 양자화 코드북의 크기를 변경하면서, CHMM에서는 차원의 수를변 경하면서 성능의 변화를 알야보았고, 상태수의 변화에 대해서도 성능 실험을 하였다. 여러 가지의 실험을 종합한 결과 DHMM과 CHMM 모두 상태수를 7개로 했을때 가장 높은 성능을 보였다.
- Kale 등은 이진화된 이미지에서 실루엣의 폭을 이용해 특징 벡터를 생성한 뒤, 생성된 벡터를 이용해 k-means 클러스터링을 수행하여 5개의 기본 자세를 선택하였다. 이들 5개의 기본 자세와 입력 특징 벡터와의 유클리드 거리를 값으로 하는 5차원 벡터를 생성하고, HMM을 인식기로 하여 89.09%의 성능을 얻었다[5,8]. 한편, J.
후속연구
- 않았다. 따라서, 향후 이에 대한 연구를 해야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.