보고서 정보
주관연구기관 |
한국과학기술연구원 Korea Institute Of Science and Technology |
연구책임자 |
최종석
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2017-07 |
과제시작연도 |
2016 |
주관부처 |
산업통상자원부 Ministry of Trade, Industry and Energy |
등록번호 |
TRKO201800040058 |
과제고유번호 |
1415145864 |
사업명 |
로봇산업핵심기술개발 |
DB 구축일자 |
2018-10-13
|
키워드 |
개별 사람 검지.개별 사람 추적.다중 사람 추적.실시간 다수사용자 개인/단체 행동 인식.시점 변화에 강인한 개인/단체 행동인식.돌발 상황 인식.얼굴검출.얼굴인식.딥러닝 기반 얼굴인식.
|
초록
▼
핵심기술
실환경하에서 로봇이 주변센서와 융합하여 사용자의 신원, 행위 및 위치 정보를 인식하는 기술
최종목표
실환경하에서 로봇이 주변센서와 융합하여 사용자의 신원, 행위 및 위치 정보를 인식하는 기술 개발을 목표로한다. 공간내 설치된 다중 인식 자원(카메라, 마이크, Kinect, Laser sensor 등)과 로봇의 자원을 융합하여 다중 사용자가 혼재하는 상황에서 로봇과 인터렉션이 요구되는 사용자의 3W(사용자가 누구인지, 무슨 행동을 하는지, 어디에 있는지) 정보의 최고 수준 인식성능 확보한다. (30명
핵심기술
실환경하에서 로봇이 주변센서와 융합하여 사용자의 신원, 행위 및 위치 정보를 인식하는 기술
최종목표
실환경하에서 로봇이 주변센서와 융합하여 사용자의 신원, 행위 및 위치 정보를 인식하는 기술 개발을 목표로한다. 공간내 설치된 다중 인식 자원(카메라, 마이크, Kinect, Laser sensor 등)과 로봇의 자원을 융합하여 다중 사용자가 혼재하는 상황에서 로봇과 인터렉션이 요구되는 사용자의 3W(사용자가 누구인지, 무슨 행동을 하는지, 어디에 있는지) 정보의 최고 수준 인식성능 확보한다. (30명 이내 98% 이상 / 10가지 제스처, 5가지 행동인식 99% 이상 / 휴먼 검출 99%, 추종 95% 이상)
개발내용 및 결과
· PSN 구축 및 Sound 센서 네트워크 기반 로봇 서비스 제어
- 서비스 시나리오 기반의 HRI comp.를 고려한 센서 구축
(Kinect, PTZ 카메라, 사운드 센서)
- 실환경 선정 및 이동형 PSN/모니터링 시스템 구축
- 음원 환경 시뮬레이터 개발
- 멀티채널 선형 마이크 배열 사운드 센서 설계
- AV브리징 기술을 적용한 멀티사운드 센서 데이터 획득장치 개발
- 증거이론에 기반한 음원위치추정 알고리즘 개발
· 다중뷰/멀티센서 융합 기반 신원인식 모듈 개발
- 2D 기반 전방향 얼굴 검출기 개발
- 딥러닝 기반 얼굴 인식기 개발
- 2D기반 MCT+AdaBoost를 이용한 성별 판별기 개발
- 2D기반 BIF, 계층적 SVR을 이용한 연령대 인식기 개발
- 2D기반 시선 방향 인식기 개발
- 3D기반 Random Forest를 이용한 사용자 자세 추정 및 신원 인식기 개발
- 멀티 센싱 기반 신원 인식 기술 개발
· 다중뷰/멀티센서 융합 기반 행위인식 모듈 개발
시점 변화에 강인한 개인행동 인식을 위해 영상 속 객체의 지역적 움직임을 Dense Trajectory로 추출함. 시점 변환에 강인하기 위해 이들의 2nd order 특성을 추출하여 행동 기술자를 구성함.
Benchmark DB인 Act42, IXMAX, NIXMAS, WVU DB에서 평균 90% 이상의 성능을 보임을 증명함.
· 다중뷰/멀티센서 융합 기반 위치인식 모듈 개발
- Background subtraction과 head detection 기술을 결합한 사람 검지 기술
- Particle filter와 Watershed 기법을 이용한 검지된 사람에 대한 지속적인 추적 기술
· 클라우드 기반 실시간 분산처리 제어 기술
- 3W 데이터 및 Perception 컴포넌트의 Cloud 업로드 및 검증
· 인간 친화적 로봇 서비스 실환경에 대한 서비스 모델 구축 및 적용
- 실환경 HRI 평가용 DB 구축 및 처리 기술 개발
- 돌발상황 즉각알림 서비스 모델 개발 및 적용
-센서 네트워크를 이용한 3W 인지 모듈의 분석 결과를 기반으로 단기 및 장기 분석을 통하여 상위의 의미론적 인지 데이터 생성
- 실환경에서의 학습태도 분석 모델 개발 및 적용
· 국내 표준 및 국제 표준화 단체와 연구 결과 표준화 연계
- 서비스 모델링 관련 표준화
- HRI 서비스를 위한 서술방법 표준화
- 감성 인터랙션 Action 표준화 등
기술개발 배경
21세기는 서로 다른 분야의 기술 융합을 통해 출현한 새로운 기술 및 산업이 세상을 이끌어가는 기술 융합의 시대이다. 다양한 센서의 서로 다른 정보를 결합하며, 최대한 많은 정보를 이용하여, 서비스 로봇과 공조하는 것을 목표로 한다. 실환경하에서 로봇이 주변센서와 융합하여 사용자의 신원, 행위 및 위치 정보를 인식하는 기술 개발을 목표로 한다. 공간내 설치된 다중 인식 자원(카메라, 마이크, Kinect, Laser sensor 등)과 로봇의 자원을 융합하여 다중 사용자가 혼재하는 상황에서 로봇과 인터렉션이 요구되는 사용자의 3W(사용자가 누구인지, 무슨 행동을 하는지, 어디에 있는지) 정보의 최고 수준 인식성능 확보한다. 서비스 로봇 역시, 다양한 기술의 융합체로 개발되고 있으며, 사람의 위치정보(WHERE), 인식정보(WHO), 행위정보(WHAT) 의 3W 융합 기술의 연구도 이에 효과적으로 대응하고, 기술융합을 적극적으로 추진한다.
카메라 기반의 사람검지 및 추적은 임의의 사용자에 대한 신원과 행위 및 위치정보를 인식하기 위한 기반 기술이며, 검지된 사람영역을 토대로 사람의 신원을 판단하기 위한 얼굴 영역을 검출할 수 있고, 사람의 위치를 인식할 수 있으며, 지속적인 위치 정보는 행위 분석을 위한 기초적인 정보를 제공할 수 있다.
또한, 다수의 사용자가 등장하는 실 환경에서 행동 인식 시스템의 성공적인 적용을 위해서는 각 개인의 행동을 정확하게 인식하기 위해 배경 잡음 제거, 가려짐, 시점 변화 문제를 해결하는 것이 필수적이다.
대상의 신원을 인식하는 기술은 기반 기술로써 다른 응용에 다양하게 적용될 수 있다. 신원 인식 기술을 통해 감시, 교육, 의료 등 대상에게 개별 적용될 서비스를 선택할 수 있으며, 이를 위해서 정확한 신원 인식 기술이 요구된다. 기존의 신원 인식 기술은 한 장의 영상을 가지고 신원정보를 파악하는 방식이 대부분이다. 하지만 최근 3D카메라, 음향 위치 등 다양한 센서가 개발됨에 따라 이를 신원 인식에 이용한다면 인식률을 크게 향상 시킬 수 있을 것으로 기대된다. 또한 단일 카메라가 아닌 복수의 카메라로부터 정보를 얻고 이들 정보로부터 얻은 단서들을 결합하면 사람의 위치나 행위를 인식하는데 단일 카메라 기반의 인식 기법보다 인식률을 향상시킬 수 있다. 따라서 본 과제에서는 기존기술의 한계점으로 지적되어 오던, 낮은 인식률을 멀티카메라 및 멀티 센싱 기법과 딥러닝 기술을 사용함으로서 99%이상으로 향상 시킨 고성능 신원 인식기를 개발 및 연구를 하였다.
각 모듈의 성능 개선 뿐만 아니라, 종래 학생의 수업태도 분석장치는 사용자인 학생이 직접 뇌파측정 또는 자세측정 센서 등을 착용하거나 디바이스 특수단말기를 이용하여 수업태도를 분석해 왔는데, 이러한 종래 수업태도 분석 장치는 센서를 착용하여야 하는 번거로운 문제점이 있고 디바이스를 이용할 경우 대리사용과 같은 부정행위가 존재하고 대처 방안이 부족하다는 문제점 존재한다. 따라서 이와 같은 문제점을 해결하고 학생 및 학부모, 교사에게 유용한 정보를 제공하는 기술을 개발하고자 한다.
핵심개발 기술의 의의
· 3W 정보 융합 기술 제공 및 서비스 모델로 응용
· 실환경에서의 성능 검증과 데이터 베이스 시스템 구축
· 음원 환경 시뮬레이터 및 AV 브리징 기술을 통한 음원위치추정 기술 구축
· 개발된 RGB-D 카메라 기반의 사람 검지 및 추적 기술은 좁은 공간에서 다수의 사람이 존재하는 환경하에서도 적용될 수 있는 기술임. 기존의 기술들은 상기 환경에서 사람 검지 및 추적에 취약함
· 다수의 사용자가 등장하는 실생활 환경에 적용 가능한 시점 변화에 강인한 행동 인식 시스템
· 실시간 다중 얼굴 검출 및 인식 기술을 개발하여 관련분야 요소 기술 제공
· 조명, 포즈, 로봇 움직임 등 다양한 환경 변화에서도 안정된 인식 성능을 보이는 고성능 지능형 검출 및 인식 기술 확보
· 생체 인식, 물체 인식, 가상현실, 스마트홈 분야에 대한 파급 효과로 경제적, 산업적 기여
적용 분야
· 영상기반 응용 분야(영상 보안, 고객 동선 파악, 출입 인원 파악)
· 공공장소 보안 모니터링, Human-Computer Interaction, Human-Robot Interaction
· 교육용 로봇, 노약자 보조 로봇, 유아용 로봇
· 휴먼 컴퓨터 인터페이스, 지능형 감시, CCTV, 방범시스템, 자동차 출입 통제, 자율주행 자동차의 Driver Monitoring System(DSM), 포토앨범 관리, 근테 관리, 출석관리, 모바일 전자 결제
(출처 : 최종보고서 초록 4p)
목차 Contents
- 표지 ... 1
- 제 출 문 ... 2
- 기술개발사업 최종보고서 초록 ... 3
- 기술개발사업 주요 연구성과 ... 15
- 목차 ... 19
- 제 1장 서론 ... 20
- 제 1절 과제의 개요 ... 20
- 제 2장 과제 수행의 내용 및 결과(기술개발 내용 및 방법) ... 22
- 제 1절 최종 목표 및 평가 방법 ... 22
- 제 2절 단계 목표 및 평가 방법 ... 28
- 제 3절 연차별 개발 내용 및 개발 범위 ... 31
- 제 4절 수행 결과의 보안등급 ... 132
- 제 5절 유형적 발생품(연구시설, 연구장비 등) 구입 및 관리현황 ... 133
- 제3장 결과 ... 134
- 제1절 연구개발 최종 결과 ... 134
- 1. 연구개발 추진 일정 ... 134
- 2. 연구개발 추진 실적 ... 138
- 3. 기술개발 결과의 유형 및 무형 성과 전체를 기재 ... 140
- 제2절 연구개발 추진 체계 ... 143
- 1. 각 기관/기업별 역할 및 추진 내역 ... 143
- 제3절 고용 창출 효과 ... 146
- 제4절 자체보안관리진단표 ... 147
- 제 4장 사업화 계획 ... 148
- 제 1절 시장 현황 및 전망 ... 148
- 제 2절 사업화 계획 ... 150
- 1. 사업화 소요기간, 예상 매출 규모, 시장 점유율, 마케팅 계획 ... 150
- 제 3절 향후 추가 기술 개발 계획(개발기술 응용 등) ... 155
- 끝페이지 ... 156
※ AI-Helper는 부적절한 답변을 할 수 있습니다.