초록 ▼

연구의 목적 및 내용
본 연구에서는 기존 단일 센서 기반 휴먼 인식 기술에서의 성능 한계를 멀티 스펙트럼 3차원 데이터 기반 휴먼 인식 기술을 이용하여 극복하고자 한다. 이를 위하여 우선 비주얼/근적외선/열적외선/깊이 센서 등 이종 센서를 정합한 멀티 스펙트럼 융합 데이터를 획득한다. 생성된 융합 데이터를 이용하여 대상 객체 주변의 환경을 3차원으로 모델링하고 인식 성능에 영향을 미치는 환경 요소들을 제어함으로써 환경 변화에 강인한 3차원 휴먼정보 검출 및 추적을 수행한다. 마지막으로 기존 수동적 감시 시스템에서 휴먼 행동 및

연구의 목적 및 내용
본 연구에서는 기존 단일 센서 기반 휴먼 인식 기술에서의 성능 한계를 멀티 스펙트럼 3차원 데이터 기반 휴먼 인식 기술을 이용하여 극복하고자 한다. 이를 위하여 우선 비주얼/근적외선/열적외선/깊이 센서 등 이종 센서를 정합한 멀티 스펙트럼 융합 데이터를 획득한다. 생성된 융합 데이터를 이용하여 대상 객체 주변의 환경을 3차원으로 모델링하고 인식 성능에 영향을 미치는 환경 요소들을 제어함으로써 환경 변화에 강인한 3차원 휴먼정보 검출 및 추적을 수행한다. 마지막으로 기존 수동적 감시 시스템에서 휴먼 행동 및 주변 상황에 대한 예측을 동시에 수행하는 능동형 스마트 감시 시스템으로 확장, 관련 연구를 수행한다. 본 연구에서 수행한 연구들은 휴먼 객체에 제한하지 않고 위장 얼굴 검출, 전방 보행자 및 객체 검출 및 추적 등 다양한 어플리케이션에 적용될 수 있는 범용적인 기술로 개발하는 것이 본 연구의 궁극적인 연구 목표이다.
연구결과
본 연구는 각 연구 목적에 따라 크게 멀티 스펙트럼 데이터 획득, 3차원 환경 모델링, 능동형 휴먼 검출/인식/추적에 관한 연구로 구분될 수 있고, 연구 목적에 따라 세부 단계별로 연구가 수행되었다. 우선 멀티 스펙트럼 데이터 획득을 위해 이종 센서 간 위치 관계를 계산하고, 각 센서 데이터들을 정합할 수 있는 방법을 제안하였다. 특히, 깊이 센서로부터 취득한 3차원 정보를 타 센서 정보와 융합함으로써 3차원 멀티스펙트럼 데이터를 생성하였다. 센서 정합에 대한 정량적 평가로 Re-projection 오차를 측정 하였고 약 2pixel 정도의 높은 성능을 보임을 입증하였다. 3차원 환경 모델링의 경우 기존 깊이 정보만을 이용한 방법에서 추가로 비주얼 정보를 이용하는 방법을 제안함으로써 실측 거리 평균 1 cm 오차 미만의 3차원 복원 성능을 나타내는 모델링 방법을 제안하였다. 이를 이용하여 센서 전방 영역으로부터 객체를 추출하고 주요 휴먼 정보인 손 영역 및 얼굴 영역을 검출하는 방법과 손 영역 추적을 통한 제스쳐 인식, 얼굴 포즈 예측 방법을 제안하였다.
손 제스쳐 인식의 경우 96%의 인식 정확도를 보였고 환경변화를 고려한 기존 연구들의 90% 대 인식 정확도 대비 향상된 성능을 보였다. 능동형 휴먼 감시 시스템에서의 이상행동 인식을 위해 3차원 휴먼 스켈레톤 정보를 추출하고, 이를 이용하여 다양한 행동을 인식하는 방법을 제안하였고, 추가적으로 3차원 정보를 이용한 얼굴 인식 방법에 대해 연구를 수행하였다. 최종으로 각 단계별로 수행된 연구결과를 종합하여 멀티 스펙트럼 3차원 휴먼 정보를 이용한 능동형 3차원 감시 시스템을 구축하였다. 제안했던 연구 목적 외에도 추가로 실외에서의 휴먼 및 객체 검출 상황을 고려한 도로 영역 검출 및 전방 객체검출 방법 연구를 수행하였고, 센서 정보를 이용한 위조 얼굴 판별 방법에 대한 연구 또한 수행하였다.
연구결과의 활용계획
본 연구로 도출된 결과를 이용하여 보안 산업뿐만 아니라 게임, 영화, 의료, 차량 등 휴먼 검출/추적/인식 기술을 필요로 하는 다양한 분야에 활용할 계획이다. 게임 및 영화 분야에서는 제안된 3차원 손동작인식 방법과 3차원 휴먼 스켈레톤 기반 동작 인식 기술을 3차원 User Interface 및 3차원 휴먼 동작 인식의 요소 기술로써 활용하고자 한다. 의료 분야에서는 제안된 이종 센서 정합방법을 응용하여 MRI, CT등 의료 영상 데이터와의 융합데이터를 생성하고, 이를 이용한 정밀 의료 진단 시스템으로의 활용을 생각할 수 있다.
차량 안전 시스템 분야에서는 도로영역 검출 및 전방 객체 검출 방법을 이용하여 전방의 보행자 및 객체를 검출함으로써 충돌 전 차체 제어를 통한 차량-보행자간 안전 시스템으로 활용될 수 있다.

Abstract ▼

Purpose&contents
In this research, we propose a new method for multi-spectrum 3D data which can be used as an probabilistic model of environmental condition that is robust against environmental changes, and this method can be adopted to the research of adaptive 3D human information detection and

Purpose&contents
In this research, we propose a new method for multi-spectrum 3D data which can be used as an probabilistic model of environmental condition that is robust against environmental changes, and this method can be adopted to the research of adaptive 3D human information detection and tracking. Conventional surveillance systems, which are passive in most cases, can be expanded up to active smart surveillance systems by accurately recognizing multi-spectrum 3D human information. There is a possibility that our proposed methodology is not limited to human information but is rather applicable to techniques of general-purpose.
Result
We divide this research in three general parts by means of the major study objects: Acquisition of multi-spectrum 3D data, 3D modeling of environmental condition and active system for human detection/tracking/recognition. First, we compute location relations of heterogeneous sensors for the purpose of sensor registration. Especially, we generate 3D multi-spectrum data by fusing 3D information from depth sensor with heterogeneous sensor information. In order to evaluate sensor registration performance, re-projection error is used as a quantitative measure which proves the effectiveness of our proposed method having approximately only 2 pixel-error. Second, we propose a new 3D modeling method using the combination of visual information and depth information which obtains less then 1cm of actual measurement average error of 3D reconstruction performance. This method enables detecting objects in the anterior area of the sensor, tracking hand and face, hand gesture recognition and head pose estimation. The accuracy of our hand gesture recognition method is 96% which outperforms the conventional methods in environmental changes having around 90% of accuracy. To recognize abnormal behavior in active human surveillance system, we extract 3D human skeleton information that can be used for behavior recognition. Also, we did additional study on 3D face recognition. Finally, we put all the subsections together in order to build a 3D multi-spectrum active surveillance system. Furthermore, we went beyond the proposed range by conducting study on road and forward object detection for the outdoor scenario and counterfeit face detection for data security issue.
Expected Contribution
On the basis of this research, it is possible to apply the experimental results not only to surveillance security industry but also to game, movie, medical service, automobile industry as human detection/tracking/recognition techniques provide great advantages. Particularly in game and movie industry, the system using our proposed 3D hand gesture recognition and 3D human skeleton based behavior recognition methods can be a boon in pursuit of a 3D user interface. In medical service industry, sensor data registration on medical image data such as MRI and CT can be useful for precise medical diagnosis system. In vehicle safety system, road detection and forward object detection must be beneficial enough to strengthen both intervehicular and vehicle-to-pedestrian safeties.

목차 Contents

• 핵심연구사업 최종보고서(평가용) ... 1
• 목 차 ... 2
• 연구계획 요약문 ... 3
• 연구결과 요약문 ... 4
• 한글요약문 ... 4
• SUMMARY ... 5
• 연구내용 및 결과 ... 6
• 1. 연구개발과제의 개요 ... 6
• 2. 국내외 기술개발 현황 ... 11
• 3. 연구수행 내용 및 결과 ... 36
• 4. 목표달성도 및 관련분야에의 기여도 ... 86
• 5. 연구결과의 활용계획 ... 92
• 6. 연구과정에서 수집한 해외과학기술정보 ... 96
• 7. 주관연구책임자 대표적 연구실적 ... 98
• 8. 참고문헌 ... 99
• 9. 연구성과 ... 101
• 10. 기타사항 ... 106
• 끝페이지 ... 111