[논문]깊이 카메라 기반 3차원 인체 동작 분석

전성국

문제 정의

인체 동작 분석의 필요성 및 종류, 시스템 구성, 그리고 연구 시 고려사항에 대해 알아보았고, 사용되는 깊이 카메라의 원리 및 종류에 대해 소개하였다. 또한 실시 예로 깊이 카메라 기반 3차원 손동작 추적 연구와 3차원 발 형상 분석 연구에 대해 설명하였다.
본 절에서는 전술한 깊이 카메라를 통해 취득한 깊이 영상 기반 3차원 형상정보를 이용한 두 가지인체 동작 분석 연구 예시, 3차원 손 추적과 3차원 발 형상 분석 연구를 소개한다.
본고에서는 위의 방법들로부터 취득된 3차원 발 형상 데이터로부터 발의 특징을 추출하는 연구에 대해 서술한다. 널리 사용되는 임상학적 발의 특성을 나타내는 변수로는 발 길이, 발 폭, 발아치 높이, 아치 인덱스 등이 있다.
본고에서는 최근 많은 주목을 받고 있는 깊이 카메라를 통해 취득한 깊이 영상 기반의 3차원 인체 동작 분석에 대해 소개하였다. 인체 동작 분석의 필요성 및 종류, 시스템 구성, 그리고 연구 시 고려사항에 대해 알아보았고, 사용되는 깊이 카메라의 원리 및 종류에 대해 소개하였다.
이 분야의 대표적 예로는 입력 영상 내 신체 검출,^[2] 신체 추적,^[3] 신체 부위 검출,^[4], 그리고 신체 부위 추적^[1] 등이다. 신체 검출 및 추적 연구는 입력 영상에서 신체에 해당되는 영역을 찾고 연속된 영상 내 신체 영역의 변위를 추적하는 연구이며, 신체 부위 검출 및 추적 연구는 검출된 신체 영역 내 각 신체 부위별 위치를 검출하고 변위를 추정하는 연구이다. 이러한 하위 응용 연구는 그 자체뿐만 아니라 중위, 상위 응용 연구의 기반이 됨으로 매우 중요하다.
보안 시스템의 응용 연구는 인체의 비정상적 동작을 검출하는 연구이다. 신체 능력 증진 시스템은 사람마다 각기 다른 신체적 특성을 파악하고 이를 신체 능력 증진을 위해 활용하는 연구이다. 맞춤형 상품 개발 시스템은 사람마다 각기 다른 신체 특성을 파악하고 이를 기반으로 개인 맞춤형 제품을 제작하는 공정 기술을 개발하는 연구이다.
널리 사용되는 임상학적 발의 특성을 나타내는 변수로는 발 길이, 발 폭, 발아치 높이, 아치 인덱스 등이 있다. 이 중, 평발, 보통발, 요족을 구분하기 위해 사용되는 아치 인덱스의 자동 추출 방법에 대해 소개한다.
본고에서는 최근 많은 주목을 받고 있는 깊이 카메라를 통해 취득한 깊이 영상 기반의 3차원 인체 동작 분석에 대해 소개하였다. 인체 동작 분석의 필요성 및 종류, 시스템 구성, 그리고 연구 시 고려사항에 대해 알아보았고, 사용되는 깊이 카메라의 원리 및 종류에 대해 소개하였다. 또한 실시 예로 깊이 카메라 기반 3차원 손동작 추적 연구와 3차원 발 형상 분석 연구에 대해 설명하였다.

가설 설정

시스템의 목적이 동작, 표정 등의 인지와 같은 정성적 결과를 얻기 위함인지, 아니면 신체 부위의 위치, 변위, 길이 등과 같은 정량적 결과를 얻기 위함인지에 따라 영상 분석 방법, 카메라의 선택이 달라진다. 둘째, 시스템 목적에 따른 적절한 카메라를 선택해야 한다. 일반적으로 단일 컬러 카메라 영상은 인체 검출, 신체 부위 추적, 동작 인식 등의 연구에 활용될 수 있다.
3차원 신체 형상 분석 등을 위해서는 다수의 컬러 카메라를 통한 영상 재구성 또는 깊이 카메라, 3차원 스캐너를 활용한 입체정보 취득 데이터가 활용된다. 셋째, 입력 영상의 특성을 고려해야한다. 카메라를 통해 취득된 영상의 렌즈에 의한 왜곡, 잡음 등을 고려한 영상 보정과 정을 필요로 하며, 다수 카메라를 통해 취득된 영상의 경우에는 각 카메라의 상이한 위치를 고려한 좌표 변환 과정을 수행해야한다.
따라서 성공적인 비전 기반 인체 동작 분석 시스템을 위해서는 시스템 목적, 카메라의 선택, 영상의 질, 영상 분석 방법의 네 가지 고려사항을 염두에 두어야 한다. 첫째, 시스템의 목적을 고려해야 한다. 즉, 취득된 영상으로부터 어떠한 인체 동작 분석 결과를 얻고 싶은지 명확히 정의해야 한다.

제안 방법

Microsoft사의 Kinect 기반 인체 뼈대 추적 연구에서는 영역의 형상 정보 추출을 위해 depth difference feature를 제안하였다.^[1] 제안된 특징은 해당 화소의 주변 영역 내 두 화소의 깊이 값이 차가 분별력을 갖는 두 화소를 선택하여 그 깊이 차를 특징으로 한다. 이 외에도 CNN을 위한 마스크 기반 특징 추출, 형상의 곡률 추출, spin image, 2.
따라서 발과 지면과의 접촉면의 검출이 선행되어야 다. 깊이 영상의 발 형상으로부터 접촉면을 검출하기 위해, 발 영역의 각 화소의 곡면 정보, 카메라로부터의 거리값, 색상값 등을 복합적으로 고려하여 접촉면과 비 접촉면을 분류한다. 이를 위해 영상 분할 알고리즘인 Markov Random Fields(MRF) 또는 미리 대략적으로 정의된 형태 모델을 주어진 데이터에 맞도록 변형하는 Active Shape Model(ASM) 등이 활용될 수 있다.
먼저, 사용자의 손동작을 포함하는 입력 깊이 영상의 각 화소를 분류기를 통해 손 부위별로 분류한다. 다음으로 손 부위별로 분류된 각 화소의 3차원 좌표를 이용하여 손 모델의 각 마디를 정합한다. 이를 통해 appearance 기반 방법의 단점 즉, 분류기 학습 데이터에 포함되지 않은 손동작이 입력되어 오분류가 발생하더라도 손 모델 정합 과정에서 이를 상쇄하며, 모델 기반 방법의 단점 즉, 이전 영상의 손 모델 정합이 부정확하더라도 초기화 할 필요 없이 손 부위별로 분류된 화소의 3차원 위치를 기반으로 손 모델을 정합한다.
본고에서 소개하는 3차원 손 추적 방법은 전술한 두 방법을 융합하여 기존 연구의 단점을 극복한다. 먼저, 사용자의 손동작을 포함하는 입력 깊이 영상의 각 화소를 분류기를 통해 손 부위별로 분류한다.
영상 분석부는 영상 센싱부로부터 취득된 영상을 분석하여 목적에 맞는 신체 동작 분석을 수행한다. 이 모듈은 일반적으로 전처리부, 데이터 분석부, 결과 생성부로 나눠지며, 전처리부에서는 취득된 영상 내 잡음 제거 및 보정을 통한 영상의 질 개선 또는 다수 카메라로부터 취득된 영상 간 좌표 변환 등을 수행한다.
이를 극복하기 위해 깊이 카메라를 통해 취득된 발 형상을 담은 깊이 영상을 분석하여 아치 인덱스를 자동 계산하는 방법을 제안한다. 제안된 방법은 발바닥 밑에 설치된 깊이 카메라로부터 취득된 깊이 영상을 입력 데이터로 하여 입력 데이터의 전처리 단계, 발 접촉면 검출 단계, 발 접촉면 기반 아치 인덱스 계산 단계로 구성되며, 일련의 과정이 자동으로 수행되어 수작업 기반의 전통적 아치 인덱스 계산 방법의 단점을 극복한다.
손 모델의 각 마디를 손 부위로 분류된 화소의 집단의 3차원 위치에 가까워지도록 반복적 오류 최소화 기법을 활용하여 정합한다. 이를 위해 이전 영상의 결과 손 모델을 초기 모델로 설정하고 이 모델의 변형을 현재 영상의 손 부위별 분류 결과를 참조하여 진행한다. 따라서 기존 모델 기반 방법의 손 모델 추적 실패 후 회복하기 어렵다는 단점을 극복할 수 있다.
이를 극복하기 위해 깊이 카메라를 통해 취득된 발 형상을 담은 깊이 영상을 분석하여 아치 인덱스를 자동 계산하는 방법을 제안한다. 제안된 방법은 발바닥 밑에 설치된 깊이 카메라로부터 취득된 깊이 영상을 입력 데이터로 하여 입력 데이터의 전처리 단계, 발 접촉면 검출 단계, 발 접촉면 기반 아치 인덱스 계산 단계로 구성되며, 일련의 과정이 자동으로 수행되어 수작업 기반의 전통적 아치 인덱스 계산 방법의 단점을 극복한다.
학습 데이터 내 깊이 영상의 각 화소는 그림 10과 같이 미리 대응되는 손 부위에 대한 정보를 가지고 있다. 학습 과정 중에 손 부위별 정보를 포함한 깊이 영상의 각 화소집단이 입력 데이터로 분류기에 주어지며 주어진 화소가 미리 정의된 손 부위로 분류되도록 분류기를 학습한다.
학습이 완료된 분류기를 이용하여 입력된 깊이 영상의 각 화소의 손 부위 분류를 수행한다. 이를 통해 각 화소에 대응되는 손 부위를 찾을 수 있다.
화소별 분류를 위한 분류기의 학습을 위해 화소별 특징을 추출한다. 이러한 특징 추출은 각 손 부위별로 화소를 구별하기 위한 화소마다의 분별력을 높이기 위한 것으로, 화소 자체가 가지고 있는 깊이 값 또는 3차원 좌표를 사용할 수 있고 화소 주변 영역의 형상정보를 가공하여 특징으로 정의할 수 있다.

대상 데이터

분류기 학습은 주어진 데이터의 부류를 추정할 수 있도록 분류기를 모델링하는 과정으로, 이를 위한 미리 부류가 정의된 학습 데이터를 이용한다. 본 연구에서는 다양한 형태의 손동작의 깊이영상으로 구성된 학습데이터를 사용한다. 학습 데이터 내 깊이 영상의 각 화소는 그림 10과 같이 미리 대응되는 손 부위에 대한 정보를 가지고 있다.

이론/모형

다음으로 화소 분류 결과를 기반으로 하여 3차원 손 모델 정합을 수행한다. 손 모델의 각 마디를 손 부위로 분류된 화소의 집단의 3차원 위치에 가까워지도록 반복적 오류 최소화 기법을 활용하여 정합한다. 이를 위해 이전 영상의 결과 손 모델을 초기 모델로 설정하고 이 모델의 변형을 현재 영상의 손 부위별 분류 결과를 참조하여 진행한다.

후속연구

인체 동작 분석 연구는 전술한 바와 같이 미래의 IoT 사회에서의 핵심기술로서 그 중요성 및 필요성이 더욱 부각될 것이다. 특히 정보 디스플레이 산업 측면에서는, 센싱 기술의 발달로 인한 데이터 홍수의 시대를 맞이하여 데이터 시각화 및 디스플레이와 인간과의 즉각적, 지능적 상호작용을 위한 NUI 기술의 중요성이 대두되고 있는 상황에서, 인간의 동작 인식 및 의도를 인지/해석하는 기술은 NUI 실현을 위한 필수 기술로 활용될 것이다.
이와 같은 깊이 카메라 기반 3차원 손 추적 연구는 앞서 언급한 증강/가상현실과 같은 3차원 정보 디스플레이 환경에서의 NUI로서 활용될 수 있다. 즉, 3차원 디스플레이를 통해 출력되는 고차원의 데이터들을 사용자의 손을 통해 자유롭게 제어/조작하기 위한 중요한 입력 기기로서 활용될 수 있을 것이다. 그림 13은 손동작 추적 기술을 활용한 가상 조각 시스템의 구동 예시이다.
인체 동작 분석 연구는 전술한 바와 같이 미래의 IoT 사회에서의 핵심기술로서 그 중요성 및 필요성이 더욱 부각될 것이다. 특히 정보 디스플레이 산업 측면에서는, 센싱 기술의 발달로 인한 데이터 홍수의 시대를 맞이하여 데이터 시각화 및 디스플레이와 인간과의 즉각적, 지능적 상호작용을 위한 NUI 기술의 중요성이 대두되고 있는 상황에서, 인간의 동작 인식 및 의도를 인지/해석하는 기술은 NUI 실현을 위한 필수 기술로 활용될 것이다.
특히, 추출된 발 특성 변수를 기반으로 3차원 신발모델의 디자인을 변경하고 이를 제조 민주화로 대표되어 최근 주목받고 있는 3차원 프린팅을 통해 출력하여 맞춤형 신발을 제작하는데 활용할 수 있을 것이다.

핵심어	질문	논문에서 추출한 답변
	비전 기반 인체 동작 분석은 무엇인가?	비전 기반 인체 동작 분석은 단일 또는 다수의 카메라로부터 취득된 영상을 기반으로 인체의 상이한 근골격계로부터 발생되는 다양한 정적, 동적 동작에서의 신체의 모양, 크기, 신체적 특성 등을 인지, 해석하는 연구이며, 신체 또는 신체 부위 위치 추적, 제스처, 표정 인식 그리고 이를 활용한 보안 시스템(Surveillance system), 증강/가상현실 등 다양한 분야에 적용 및 응용된다.
	ToF 방식의 깊이 카메라는 무엇이 있는가?	ToF 방식은 카메라의 발광부에서 쏘아진 IR 신호가 피사체 표면에 반사되어 카메라의 수신부로 되돌아오는 시간차를 기반으로 형상을 취득하는 방식이다. 대표적 깊이 카메라로는 Microsoft사의 Kinect 2.0, Softkinetic사의 DepthSense 525 등이 있다(그림 5). 구조광 방식은 카메라의 발광부에서 쏘아진 IR 패턴이 표면에 투영된 위치를 분석하여 형상정보를 취득한다.
	깊이 카메라가 3차원 형상 정보를 취득하는 방법은 무엇인가?	깊이 카메라는 일반적으로 카메라에서 발광 후 피사체 표면으로부터 반사되어 카메라로 수신되는 적외선(IR, Infrared ray) 신호를 분석하여 화각 내 공간의 3차원 형상 정보를 취득한다. 취득된 IR 신호는 깊이 카메라의 CCD에 수신되고 이를 통해 깊이 영상을 구성한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

깊이 카메라 기반 3차원 인체 동작 분석 원문보기

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

후속연구

질의응답

참고문헌 (17)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

깊이 카메라 기반 3차원 인체 동작 분석 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

후속연구

질의응답

참고문헌 (17)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper