초록 ▼

1. 단계최종목표
$\circ$ 시각기반 자율 조작 기능의 실현을 위하여 환경 변화에 강인하고 실시간 처리가 가능한 물체 인식 및 위치/자세추정, 물체/작업환경 모델링, 비주얼서보 및 3차원 데이터 획득 (3차원 카메라) 관련 독창적 핵심 원천 기술 개발
- 인식/자세추정: 표면특성/텍스처, 조명(200-1000lux), 가려짐(50%)에 강인; 정형/반투명 물체 포함 (75종류); 실시간(1Hz), 인식률 (95%), 자세추정 오차(5mm-3도/1m)
- 작업환경 모델링: 실시간 전액 기하특징

1. 단계최종목표
$\circ$ 시각기반 자율 조작 기능의 실현을 위하여 환경 변화에 강인하고 실시간 처리가 가능한 물체 인식 및 위치/자세추정, 물체/작업환경 모델링, 비주얼서보 및 3차원 데이터 획득 (3차원 카메라) 관련 독창적 핵심 원천 기술 개발
- 인식/자세추정: 표면특성/텍스처, 조명(200-1000lux), 가려짐(50%)에 강인; 정형/반투명 물체 포함 (75종류); 실시간(1Hz), 인식률 (95%), 자세추정 오차(5mm-3도/1m)
- 작업환경 모델링: 실시간 전액 기하특징 근사 모델링 (실시간: 1Hz, 근사오차: 길이기반 5%); 범주기반 물체 자가 등록/인식 (모델링 오차: 길이기반 5%/1m)
- 비주얼 서보: 자연마커 기반, 제어 사이클: 5Hz/$640\times480$, 상대오차: 3mm
- 3차원 카메라: 해상도 (640*480) ,거리정밀도 (1mm/m), 속도(5Hz), 측정범위(0.5m-4m), 저전력(30W)
$\circ$ 다양한 물체들이 복잡/조밀하게 구성되어 있는 가정환경에서 상차리기, 심부름, 정리정돈과 같은 고기능 생활지원 서비스제공을 위한 강인한 실시간 3차원 인식/모델링 소프트웨어 및 하드웨어 컴포넌트 및 툴킷 개발
2. 개발내용 및 결과
$\circ$ 인지/행위 프로세스를 인식/자세추정과 결합하여 강인성 및 실시간성 확보 (목표 달성률: 95%): 자율적 증거선택/수집과 확률적 시공간 다중증거 융합의 고유 접근방법으로 표면특성/텍스처, 조명(200lux-1000lux) 및 가려짐(50%)에 강인한 실시간(1Hz) 인식(인식률 95%/30 종류) 및 자세추정(자세 오차: 5mm-3도/1m) 달성
$\circ$ Voxel/평면 기반 근사 모델링 기법을 통한 실시간 작업환경 모델링 기술 완성 (목표 달성률: 95%): 주요 평면특징들과 다 해상도 Voxel 기반 물체 표현에 의한 작업환경의 실시간(1Hz, $640\times480$ 영상 pair 정합시간 100ms 이내) 근사 모델링(근사오차 길이기반 5%) 달성
$\circ$ 3차원 물체 자가 모델링/범주 인식 돌파 기술 확립 (목표 달성률: 105%) 3차원 에지 검출과 표면 patch 분리 및 분류를 통한 입체 기하 원형 인식 기술을 범주 모일과 결합하여 3차원 물체 자가 모델링(모델링 오차: 길이기반 4%/1m, 크기 정밀도: ${\pm}3mm$/1m) 및 범주 인식(회전 대칭형과 육면체 조합 물체) 기술 확립
$\circ$ 구조광 기반 3차원 카메라의 고정밀도, 표면특성/거리 변이 강인성 및 고속화 실현 (목표 달성률: 90%): 신호분리 CODEC, 자동노출 조정, 자동초점 조정, SoC화를 통한 고정밀도(거리 정밀도: 2mm/1m, 공간 해상도: $640\times480$), 강인성(표면반사 무관, 측정범위: 0.6m-3m), 고속화(3Hz, 동적환경: 0.1m/s) 달성
$\circ$ 물체 인식, 추적과 비주얼 서보를 결합하여 자연표식 기반 고속 서보 달성 및 시각과 힘을 Task 수준에서 결합하여 문 열기/책 꼽기 등을 자동 수행하는 Vision force Coupled Servo 개발 (목표 달성률: 100%): 관심영역의 고속 추적과 인식의 병렬 프로세스에 의한 고속(비주얼 프로세스: 100ms/$640\times480$, 제어 사이클: 200ms/$640\times480$) 자연표식 기반 비주얼 서보 달성
3. 기대효과(기술적 및 경제적 효과)
$\circ$ 3차원 물체인식은 commonsense 지식과 더불어 지능로봇의 2대 난제중의 하나로서 차세대 서비스로봇의 실현을 위해서는 필수적인 기술로 본 과제를 통해 개발된 증거 선택 및 수집, 시공간 다중증거 확률적 융합, context 및 학습의 활용 등의 인식기술은 cognitive process와 기존의 visual process를 결합하는 cognitive vision기술로 breakthrough의 발판을 마련
$\circ$ 3차원 작업 공간의 실시간 모델링은 서비스 로봇의 조작/파지 동작계획을 위한 필수 원천기술임. 실시간성과 동작계획을 위한 필요정보 제공을 동시에 만족할 수 있는 전역적 기하 특징 표현과 다중 해상도 근사 표현 방법을 독자적으로 제시하여 장애물 회피를 포함한 로봇의 빠르고 자연스러운 조작을 실현하기 위한 기본 기술을 구현/제공함
$\circ$ 저장된 범주 지식을 활용하여 새로운 물체의 형상/특징/기능을 자동으로 이해/모델링하고 학습/등록하는 자가 모델링 기술은 차세대 서비스 로봇의 물체등록 문제를 해결하는 데 필수적일 뿐만 아니라 물체의 범주 인식을 실현하기 위해서 반드시 필요 본 기술은 신속 시작품 제작, Bin-picking 등의 산업용 로봇 관련 산업에도 많은 파급 효과와 함께 국내 사용자 중심의 로봇 산업의 기술 발전에도 크게 기여할 수 있을 것으로 예상,
$\circ$ 서비스 로봇 기능에 필수적인 3차원 인식과 모델링을 위해 텍스처, 조명 물체표면 성질에 의존하는 기존의 Stereo 카메라의 취약점을 독창적 CODEC 기술과 자동노출/초점 기술의 개발을 통해 보완하고 이를 로봇에 장착 가능하도록 개발함. 본 3차원 센서의 개발을 통하여 가정용 서비스 로봇 실현을 위한 핵심 부품 원천 기술의 경쟁력 우위를 확보
$\circ$ 서비스 로봇의 조작/파지는 시각기반 3차원 인식과 모델링이 취급하기 어려운 예상치 못한 last mile 에러를 필연적으로 수반 이의 보정을 위한 인식기반 비주얼/Vision-Force 서보기술의 개발을 통해 신뢰성 있는 조작을 위한 핵심 기반 기술 마련. 이는 서비스 로봇 뿐만 아니라 나노/바이오 미세 조작 등의 기술에 활용 가능
4. 적용분야
$\circ$ 강인한 3차원 물체인식 기술: 홈 서비스 로봇, 군사 로봇, 보안, 단말기, 지능형 자동차/교통시스템, 실시간 지능시스템과 가상현실 게임, 내용기반 웹 검색, 차세대 컨텐츠
$\circ$ 3차원 작업 공간의 실시간 모델링: 서비스 로봇 조작/주행, 증감현실(Augmented Reality), 공장자동화, 원격 의료, 광고/마케팅
$\circ$ 3차원 물체/환경 모델의 자가 생성/등록: 지능로봇의 인지 및 학습 기술에 적용, 신속 시제품 제작, 물체복제 3차원 게임, 전자 상거래, 물체 모델링 자동화
$\circ$ 3차원 실시간 인지를 위한 플랫폼: 3차원 검사장비, 3차원 역공학 장비, 차세대 조립 자동화, 의료로봇, 3차원 영화
o 영상기반 3차원 비주얼 서보잉/자가보정: 가정, 청소, 사무 등의 생활지원 부문과 수술, 장애인/노약자 보조, 간호 등의 의료복지, 우주 로봇, 나노 및 마이크로 제어

목차 Contents

• 제 1 장 서론 ...10
• 제 1 절 머리말 ...10
• 제 2 절 단계 및 연차별 연구개발 목표 ...11
• 1. 2단계 최종 연구목표 ...11
• 2. 연차별 연구개발 목표 ...13
• 제 3 절 연구결과 요약 ...20
• 제 2 장 기술개발 내용 및 방법 ...27
• 제 1 절 실시간 3차원 물체인식/자세추정 기술 ...27
• 1. 다중 증거 융합 기반 3차원 물체 인식 및 자세추정 ...27
• 가. 서론 ...27
• 나. 연구내용 및 결과 ...27
• 1) In-Situ Monitoring ...28
• 2) Feature Evidence ...28
• 3) Cognitive Perception Engine(CPE) ...29
• 가) Bayesian Theorem based Evidence Selection ...30
• 나) Evidence Collection Process ...30
• 다. 실험 결과 ...32
• 라. 결론 ...32
• 마. 참고문헌 ...34
• 2. Particle 필터 기반 시공간 다중 증거-모델 융합 ...36
• 가. 서론 ...36
• 나. 연구내용 및 결과 ...36
• 1) Outline ...36
• 2) Particle Filtering ...37
• 가) Motion model ...37
• 나) Observation Likelihood ...37
• 다) Similarity Assignment ...38
• 3) Object Matching Similarity from Features ...39
• 가) Similarity assignment from SIFT feature ...39
• 나) Similarity assignment from line feature ...41
• 다) Similarity assignment from color feature ...41
• 다. 실험 결과 ...42
• 라. 결론 ...47
• 마. 참고문헌 ...47
• 3. 반사에 강인한 엘리베이터 버튼 인식 ...49
• 가. 서론 ...49
• 나. 연구내용 및 결과 ...50
• 1) 특징 추출과 반사 효과 제거 ...50
• 가) Feature Extraction ...50
• 나) Virtual lines elimination ...51
• 다) Selecting the candidate lines ...51
• 1) Generation of Multiple interpretations ...52
• 2) Particle filtering Based Interpretation fusion ...54
• 가) Interpretation Fusion and Implementation Algorithm ...54
• 다. 결론 ...58
• 라. 참고문헌 ...58
• 제 2 절 3차원 물체/환경 실시간 모델링 기술 ...60
• 1. 다양한 정보를 이용한 광역 실 평면 검출방법 ...60
• 가. 서론 ...60
• 나. 연구내용 및 결과 ...61
• 1) 3차원 라인 검출 ...61
• 가) 2D 라인 컬러 히스토그램을 이용한 라인 매칭 ...61
• 나) 라인 교점을 이용한 라인 매칭 ...63
• 다) 2D 이미지와 3차원 포인트들을 이용한 3차원 라인 검출 ...63
• 2) 평면 검출 ...64
• 가) 3차원 포인트를 이용하여 3차원 평면을 검출하는 방법 ...64
• 나) 3차원 라인을 이용하여 3차원 평면을 검출하는 방법 ...64
• 3) 가상 평면 제거 ...65
• 가) 가시성 검사 ...65
• 나) 특정 평면의 일반적인 특성을 이용한 가상평면 제거 ...65
• 4) 실험 및 결과 ...66
• 다. 결론 ...68
• 라. 참고문헌 ...68
• 2. 3차원 포인트 밀도와 분포를 이용한 새로운 옥트리 셀 분해방법 ...70
• 가. 서론 ...70
• 나. 연구내용 및 결과 ...71
• 다. 결론 ...74
• 라. 참고문헌 ...75
• 3. 다중 해상도의 옥트리 구조에서의 이웃 셀을 찾는 기법 ...76
• 가. 서론 ...76
• 나 연구내용 및 결과 ...77
• 1) 전체 프로세스 ...77
• 2) 옥트리 셀의 주소 인코딩 ...77
• 3) 인코딩된 옥트리 셀 주소의 특징 ...78
• 4) 동일 해상도의 옥트리 셀의 이웃 검색법 ...80
• 5) 유효한 이웃의 주소값 조사법 ...80
• 6) 다중 해상도 옥트리의 이웃 검색법 ...82
• 7) 실험 결과 ...83
• 다. 결론 ...83
• 라. 참고문헌 ...84
• 4. 실시간 작업 환경의 모델링을 위한 다중 영상에서의 Octree 정합 기법 ...86
• 가. 서론 ...86
• 나. 연구내용 및 결과 ...86
• 1) Octree Update 전략 ...88
• 2) Difference Octree 생성 ...88
• 3) Octree Cell 제거 ...90
• 4) Octree Update 실험 결과 ...92
• 다. 결론 ...97
• 라. 참고문헌 ...98
• 5. 스테레오 기반 영상 특징 점을 이용한 다중 영상 정합 기법 ...100
• 가. 서론 ...100
• 나. 연구내용 및 결과 ...100
• 1) ICP기반 영상 정합의 문제점 ...100
• 2) SIFT기반 영상 정합의 문제점 ...100
• 3) 다중 영상에서의 Epipolar Geometry를 이용한 영상정합 ...101
• 4) 좌표 변환 행렬의 계산 ...102
• 5) 3차원 점 융합과 변환행렬의 보정 ...103
• 6) 실험 결과 ...105
• 다. 결론 ...106
• 라. 참고문헌 ...106
• 제 3 절 3차원 물체/환경모델의 자가 생성/등록 ...107
• 1. Preprocess + 3D Edge Detector기반 물체 분리 ...108
• 가. 서론 ...108
• 나. 연구내용 및 결과 ...108
• 1) Pre-process ...108
• 2) Edge Detector ...109
• 다. 3D Edge Detector 실험 결과 ...111
• 1) Gaussian Smoothing 반복 횟수에 따른 Noise 변화 ...111
• 2) 4개의 특징 점과 피팅된 Line을 통한 패턴 분석 ...112
• 3) Line Fitting Mask 크기에 따른 Edge Detector ...114
• 4) 결론 ...115
• 2. Generic Model 기반 회전 대칭형 물체 자가 모델링 ...117
• 가. 서론 ...117
• 나. 연구내용 및 결과 ...117
• 1) Configuration of Generic Model ...117
• 2) Rotational Symmetric Primitive Model Generation ...119
• 3) Milk Pack Object Generation ...120
• 4) Model Recognition ...121
• 3. 실제 모델링 및 인식 실험 결과 ...122
• 가. 실험 환경 ...122
• 나. 실험 결과 ...122
• 1) 모델링 반복 정밀도 ...122
• 2) 위치 변화량 정확도 ...123
• 4. 참고문헌 ...123
• 제 4 절 3차원 실시간 인지를 위한 플랫폼 ...125
• 1. 환경에 강인한 자동노출 기법 ...125
• 가. 서론 ...125
• 나. 연구내용 및 결과 ...125
• 1) 문제 기술 ...125
• 2) 접근 방법 ...126
• 가) 노출 ...126
• 나) 특성 곡선 ...127
• 3) 알고리즘 ...128
• 다. 결론 ...128
• 라. 참고문헌 ...130
• 2. 다양한 거리 변화에 유연한 자동초점 기법 ...132
• 가. 서론 ...132
• 나. 연구내용 및 결과 ...132
• 1) 문제기술 ...132
• 2) 접근방법 ...132
• 가) 블러 측정 ...132
• 나) 프로젝터 자동 초점 알고리즘 ...135
• 다) 프로젝터 렌즈 제어 알고리즘 ...136
• 라) 프로젝터-카메라 시스템 구성 ...137
• 마) 실험 결과 ...137
• 다. 결론 ...138
• 라. 참고문헌 ...139
• 3. 오류 정정 기술 ...140
• 가. 서론 ...140
• 나. 연구내용 및 결과 ...141
• 1) 다시점 영상 기하학 ...141
• 가) 카메라.프로젝터 모델 ...141
• 나) 삼각측량 ...142
• 다) 에피폴라 기하학 ...144
• 라) 세 시점 (three view) 구조광 시스템 ...145
• 2) 카메라-프로젝터 대응점 검출 ...146
• 가) 가로-세로 패턴의 교점 추정 ...146
• 나) 프로젝터 좌표 계산 ...147
• 3) 프로젝터-카메라 대응점 유효성 검사 ...148
• 가) 패턴 경계면의 방향 제약 조건 ...148
• 나) 에피폴라 기하학 제약 조건 ...149
• 다) 프로젝터-카메라 1:1 대응 조건 ...149
• 라) 측정 범위 제약 조건 ...149
• 마) 세 시점 에피폴라 기하학 제약 조건 ...149
• 4) 실험 결과 ...149
• 가) 오류 정정 ...149
• 나) 프로젝터 시점 영상 복원 ...150
• 다. 결론 ...150
• 4. SoC 기반 고속 3차원 플랫폼 ...151
• 가. 서론 ...151
• 나. 연구내용 및 결과 ...151
• 1) 3차원 카메라 SoC 시스템 개요 ...151
• 2) 카메라 시스템 ...153
• 3) Hardware System Architecture ...156
• 가) 2D영상 처리 회로 ...156
• 나) CPU 인터페이스 처리 회로 ...157
• 다. 결론 ...157
• 제 5 절 영상기반 3차원 비주얼 서보잉/자가보정 ...158
• 1. 인식 기반 비주얼 서보 ...158
• 가. 서론 ...158
• 나. 연구내용 및 결과 ...159
• 1) 전체적인 framework ...159
• 2) 모델 기반 인식 ...160
• 가) SIFT 추출 시간에 관한 실험 ...160
• 나) 인식 알고리즘 ...161
• 3) 관심영역 ...161
• 가) 관심영역의 크기 결정 ...162
• 나) 관심영역의 적응적 변화 ...163
• 다) 관심영역의 위치 결정 ...163
• 라) 관심영역에 대한 실험 ...163
• 4) 물체 인식과 tracking의 결합 ...165
• 5) 비주얼 서보잉 ...167
• 6) 결과 ...167
• 다. 결론 ...169
• 라. 참고문헌 ...170
• 2. Vision/force coupled servo ...172
• 가. 서론 ...172
• 나. 연구내용 및 결과 ...173
• 1) 전체적인 framework ...173
• 가) 물체의 표현 ...173
• 나) Task-oriented grasp planning ...174
• 2) 일상의 작업을 위한 vision/force coupling ...174
• 가) External position-based 비주얼 서보임 ...175
• 나) Vision/force coupling ...176
• 3) 작업 수행 ...177
• 가) 작업 설명 ...178
• 나) Reaching ...178
• 다) Interaction ...180
• 다. 결론 ...181
• 라. 참고문헌 ...181
• 제 3 장 결과 및 향후계획 ...184
• 제 1 절 2단계 연구 결과 확보한 핵심 기술 ...184
• 제 2 절 2단계 연구 성과물 목록 ...186
• 1. 논문/특허/기술이전 실적 ...186
• 2. 지적재산권(특허) 현황 ...186
• 3. 홍보 활동 등 ...188
• 제 3 절 결론 및 향후 계획 ...189
• 1. 연구결과 활용 계획 ...189
• 2. 향후 연구 계획 ...189
• 부록 ...191
• 제 1 절 Selected Papers ...191