초록 ▼

1. 단계최종목표
본 연구에서는 실내 판결 내에 있는 물체에 대하여 Category level의 물체 모델의 학습 및 인식이 가능하며, 사람과의 직접 교시를 통해 실내 환경의 개별적 물체들을 비전 센서에 기반을 두어 인식해 가는 로봇 지능을 개발한다 또한, 물체인식 기술을 자율 주행을 위한 환경 인식 기술에 적용하여 로봇이 물체에 기반을 두어 global localization을 수행하며 물체들 사이의 공간적 연관관계를 인식하는 기술을 개발한다.
2, 개발내용 및 결과
본 연구에서는 로봇 비전의 연구를 지각-행위의

1. 단계최종목표
본 연구에서는 실내 판결 내에 있는 물체에 대하여 Category level의 물체 모델의 학습 및 인식이 가능하며, 사람과의 직접 교시를 통해 실내 환경의 개별적 물체들을 비전 센서에 기반을 두어 인식해 가는 로봇 지능을 개발한다 또한, 물체인식 기술을 자율 주행을 위한 환경 인식 기술에 적용하여 로봇이 물체에 기반을 두어 global localization을 수행하며 물체들 사이의 공간적 연관관계를 인식하는 기술을 개발한다.
2, 개발내용 및 결과
본 연구에서는 로봇 비전의 연구를 지각-행위의 통합적 인지과정으로 바라봄으로서 로봇이 더 지능적으로 변모할 수 있도록 주력했다. 전역 위치 추정기술을 모바일 로봇의 핵심 기술 중의 하나로 인식하여 환경 내의 개별 물체들을 비전 센서에 의해 인식 하고 그에 대한 3차윈 정보를 이용하여 로봇의 위치를 추정하는 방법을 고안하였으며, 단일 비전 센서만을 활용한 지능로봇 개발에 필수적인 3D visual feature 기반의 전역위치 추정기술도 개발하였다 또한 로봇 스스로 주변 환경의 이해를 돕기 위한 미지 물체 자동 등록 및 학습 기술을 개발하여, 사람의 관여가 적게 필요한 semi-unsupervised 방식의 물체 모델링 연구를 수행하였다. 마지막으로. 리눅스 기반의 실시간 스테레오 기술 및 calibration tool을 개발하여 로봇 플랫폼에 최적의 시스템을 지원하였다.
3. 기대효과(기술적 및 경제적 효과)
본 연구를 통해서 실내의 정적 및 동적 환경에 대응할 수 있는 비전 센서에 기반 한 주행 기술을 확보하였으며, 이러한 기술은 지능로봇의 환경 인식에 대한 능력을 향상시켰다. 현재 국내 수준의 인간-로봇 상호 작용에 대한 연구는 interface 관점에서의 sensing modality에 대한 연구 수준이나, 본 연구를 통해서 총괄적인 인간-로봇 상호 작용 모듈을 구현할 수 있는 기술로 제시 가능하다. 이 중에서 비전센서를 활용한 전역위치 추정기술은, 다른 센서들을 이용한 방법에 비해 훨씬 다양하고 풍부한 정보를 제공하며, 가격적인 면이나 공간적인 측면에서도 가장 유리한 대안이 된다 또한, 본 연구의 결과는 비단 주행 기술 뿐만 아니라, 3차원 환경정보 획득, 물체 추적 및 인식 그리고 휴먼 컴퓨터 인터랙션 응용 부분으로의 확산이 용이하다. 따라서, 원천요소기술의 모듈화를 통하여 산업, 군사, 복지, 엔터테인먼트 등 타 산업 분야 제품에의 확대 적용이 가능하다.
4. 적용분야
본 연구에서 개발된 지능형 자율주행 기술은 지능형 자동차, 움직일 수 있는 모든 시스템의 주행알고리즘으로 사용 가능하다. 특히 지능형 원칩에 개발되어진 주행기술을 넣어 다양한 산업분야의 활성화에 이바지 가능하다. 또한, 본 연구를 통해서 개발된 human-robot interaction module을 다른 응용 지능로봇들의 interaction software engine의 base frame 역할을 수행할 수 있으리라고 본다.

목차 Contents

• 제 1 장 서론 ...14
• 제 1 절 연구 개발의 필요성 ...14
• 1. 기술적 측면 ...14
• 2. 경제.산업적 측면 ...14
• 3. 사회.문화적 측면 ...15
• 제 2 절 연구 개발의 목표 ...16
• 제 2 장 기술개발 내용 및 방법 ...20
• 제 1 절 물체 인식 기반 전역적 자기 위치 추정 ...20
• 1. 지도 표현 ...20
• 가. 지역적 복합 지도 (Local Hybrid Map) ...20
• 1) 수평 거리 지도 (Horizontal Depth Map) ...20
• 2) 물체 위치 지도 (Object Location Map) ...21
• 나. 전역적 위상 지도 (Global Topological Map) ...23
• 2. 전역적 자기 위 치 추정 ...24
• 가. Coarse pose 측정 ...24
• 제 2 절 Object-entity based Hybrid map 생성을 위한 Mobile robot의 효율적인 Exploration 알고리즘 개발 ...31
• 1. 거리 정보 기반의 탐사 및 위상 지도 생성 ...31
• 가. Skeleton 추출 ...31
• 나. 노드의 분류 ...33
• 다. 노드의 추출 ...35
• 라. Exploration ...37
• 2. 물체 위치 지도 생성 및 간소화 ...41
• 가. Object database ...41
• 나. 유사도의 측정 ...43
• 제 3 절 Feature Grid Map을 이용한 Vision-based Localization ...45
• 1. 연구 배경 ...45
• 2. 특징점을 저장하기 위한 지도 표상 방법 비교 ...45
• 가. Grid Map ...45
• 1) 2D Grid Map ...45
• 2) 3D Voxel ...46
• 나. kd-tree ...46
• 3. Particle Filter에서 Feature Matching ...47
• 4. 실험 결과 ...49
• 제 4 절 스테레오 카메라를 이용한 사용자 기반 실내 환경 지도 작성 ...50
• 1. 연구 배경 ...50
• 2. 로봇 시스템 및 시나리오 ...51
• 가. 로봇 시스템 ...51
• 나. 실험 환경 ...51
• 다. 시나리오 ...52
• 3. Visual Landmark 및 지도 표상 방법 ...53
• 가. Visual Landmark ...53
• 나. 지도 표상 방법 ...53
• 다. U/R-Node ...55
• 4. 사용자 안내 단계 ...55
• 가. 가상 버튼을 이용한 명령 전달 ...55
• 나. 얼굴 인식 및 사용자 따라가기 ...56
• 다. U-Node 등록 및 R-Node 선정 ...57
• 5. 로봇 자율 학습 단계 ...58
• 가. 노드간 상대 자세 보정 ...58
• 나. R-Node 재방문 및 혼합 지도 갱신 ...59
• 6. 결론 ...60
• 제 5 절 Multi-modal 기반의 Object modeling에 관한 연구 ...62
• 1. 연구 개요 ...62
• 2. Object modeling의 Process ...62
• 가. Object Modeling의 Process 구분 ...62
• 1) 사용자의 위치 추정 ...63
• 2) 사용자의 손 검출 ...64
• 3) 등록 물체의 Segmentation ...64
• 나. Pointing Mode의 세부 절차 ...65
• 1) 사용자와 지시하는 손의 위치 추정 ...65
• 2) Pointing Vector의 생성 ...66
• 3) ROI(Region Of Interest)의 결정 ...67
• 4) ROI에서 지시물체 추출 ...68
• 제 6 절 물체인식알고리즘 개발 ...69
• 1. Introduction ...69
• 가. Overview ...69
• 나. Relation to Phase II proposed work ...69
• 2. Category Recognition ...70
• 가. Overview ...71
• 나. Affine correction ...72
• 다. Additional features ...75
• 라. Affinity estimation ...76
• 마. Other algorithm modifications ...78
• 바. Examples and discussion ...79
• 3. Specific Object Recognition ...82
• 가. Filtering and Cueing ...84
• 1) Algorithm overview ...84
• 2) Training performance and limitations ...87
• 3) Selection of scanning windows ...88
• 4) Selection of thresholds ...94
• 나. Matching ...98
• 1) Convergence issues ...99
• 2) Scale issues ...102
• 3) Analysis of scoring and density of features ...103
• 4. Other activities ...105
• 제 7 절 범주 인식 기반 문 인식 알고리즘 개발 ...107
• 1. 알고리즘 개요 ...107
• 2. 알고리즘 설명 ...107
• 가. 문 후보군 검지 ...107
• 나. 문 검지 ...108
• 3. 연구 성과 ...109
• 가. 문후보군 검지 결과 ...109
• 나. 문 검지 결과 ...109
• 제 3 장 결과 및 향후계획 ...110
• 제 1 절 2단계 목표 및 연구 달성도 ...110
• 제 2 절 연구 개발 성과 목록 ...112
• 1. 논문 개제 ...112
• 2. 산업재산권 ...112
• 3. 학술회의 발표 ...113
• 제 3 절 연구 개발 성과의 실용화 전망 ...115
• 1. 연구 개발 성과의 실용화 ...115
• 가. 국내외 시장 현황 및 전망 ...115
• 1) 물체 중심의 지도 표상 및 전역위치 추정기 ...115
• 2) 3D Visual Feature 기반의 전역위치 추정 기술 ...115
• 나. 사업화로서의 활용가능성 ...115
• 1) 물체 중심의 지도 표상 및 전역위치 추정기 ...115
• 2) 멀티모달 기반의 미지물체 자동 등록/학습 기술 ...115
• 3) 3D Visual Feature 기반의 전역위치 추정 기술 ...115
• 4) 로봇 플랫폼을 위한 스테레오 비전 기술 ...115
• 제 4 절 연구 개발 성과의 기대 효과 ...116
• 1. 연구 개발을 통하여 파생된 성과 및 파급효과 ...116
• 가. 기술적 파급 효과 ...116
• 1) 물체 중심의 지도 표상 및 전역위치 추정기 ...116
• 2) 멀티모달 기반의 미지물체 자동 등록/학습 기술 ...116
• 3) 3D Visual Feature 기반의 전역위치 추정 기술 ...116
• 4) 로봇 플랫폼을 위한 스테레오 비전 기술 ...116
• 나. 산업적 파급효과 ...116
• 1) 물체 중심의 지도 표상 및 전역위치 추정기 ...116
• 2) 멀티모달 기반의 미지물체 자동 등록/학습 기술 ...116
• 3) 3D Visual Feature 기반의 전역위치 추정 기술 ...117
• 4) 로봇 플랫폼을 위한 스테레오 비전 기술 ...117
• 제 4 장 참고문헌 ...118
• 표 1 Coordinates of the cluster centers shown in Figure 69 ...90
• 그림 1 수평 거리 정보 수집 및 수평 거리 지도 (a) 실내 환경에서 수평 거리정보 수집 (b) 수평 거리 지도 ...21
• 그림 2 물체 위치 치도의 예 ...22
• 그림 3 전역적 위상 지도의 예 ...23
• 그림 4 로봇이 인식한 물체의 point cloud ...25
• 그림 5 후보 node에 포함된 물체의 point cloud ...25
• 그림 6 Point cloud fitting ...25
• 그림 7 획득한 laser data(a), laser data로부터 생성한 폐영역(b) ...32
• 그림 8 폐영역의 이진 영상(a), 폐영역의 채움 영상(b) ...32
• 그림 9 세선화를 거친 결과 영상 ...33
• 그림 10 Concave node 의 예시 ...34
• 그림 11 Branch node(아래쪽 원)와 End node(위쪽 원) ...34
• 그림 12 (a) End node, (b) Branch node, (c) Arc ...35
• 그림 13 Skeleton 영상에서 branch node를 추출한 결과 ...36
• 그림 14 Branch node 검색에서 발생하는 문제점 ...36
• 그림 15 Robot의 이동이 불가능한 branch node의 필터링 ...37
• 그림 16 Final branch node를 표시한 topology ...37
• 그림 17 First child node의 정의 ...38
• 그림 18 First child node의 검색(1) ...38
• 그림 19 First child node 검색(2) ...39
• 그림 20 First child node 검색(3) ...39
• 그림 21 Concave node ...41
• 그림 22 물체 모델의 구성 (a)mask 영상 (b)물체의 특징점 정보 ...42
• 그림 23 다양한 각도와 거리에서 촬영한 물체 모델 ...42
• 그림 24 순서도 ...44
• 그림 25 지도 표상을 위한 데이터 구조들 ...47
• 그림 26 map으로부터 sample view를 만드는 방법 ...47
• 그림 27 지도 좌표계에서 로봇 좌표계로의 변환 ...48
• 그림 28 로봇 좌표계에서 지도 좌표계로의 변환 ...48
• 그림 29 D Feature Grid Map을 이용한 Vision-based Localization 실험 결과 ...49
• 그림 30 본 연구에서 사용된 이동 로봇 ...51
• 그림 31 ㅁ자 모양의 복도 환경 모습 ...52
• 그림 32 혼합 지도(Hybrid Map)의 예 ...54
• 그림 33 가상 버튼을 통한 명령 전달 ...56
• 그림 34 좌상: 입력 영상, 좌하: 입력 상이도 영상, 우상: 인식된 얼굴, 우하: 얼굴 및 배경과 분리된 사용자 상이도 영상 ...56
• 그림 35 ㅁ자 모양의 복도 환경에서 네 귀퉁이에 각각 U-Node를 지정하고 얻은 전방향 영상 ...57
• 그림 36 사용자 안내 단계에서 얻은 전역적 위상지도 ...58
• 그림 37 로봇 자율 학습 단계 후 갱신된 전역적 위상 지도 ...60
• 그림 38 지시기반의 Control Block Diagram ...62
• 그림 39 On-Hand Mode Process ...63
• 그림 40 입력 영상(좌)과 Color Back-projection 및 이진화결과(우) ...64
• 그림 41 등록 물체 Segmentation(좌)과 Disparity Map(우) ...64
• 그림 42 Pointing Mode 개념도 ...65
• 그림 43 얼굴과 손 검출 Process별 결과 화면 ...66
• 그림 44 Pointing Vector 개요도 ...66
• 그림 45 카메라 좌표계에서 포인팅 좌표계로 변환 ...67
• 그림 46 Distance Slicing Process ...67
• 그림 47 Window내의 Point Cloud 밀도 계산 ...68
• 그림 48 Context Filtering의 세부 과정 ...68
• Figure 49 Run-time matching (left) and learning phase (right). ...72
• Figure 50 Category recognition results of the previous algorithm. ...72
• Figure 51 Block diagram of the proposed affine learning algorithm. ...74
• Figure 52 Transformation of the raw training examples ...74
• Figure 53 Definition and estimation of the curvature features ...76
• Figure 54 New curvature image. ...76
• Figure 55 Vector of features used in defining the affinity ...78
• Figure 56 Example detections ...80
• Figure 57 Example detections ...80
• Figure 58 Comparison of baseline performance with modified algorithms on the new dataset ...81
• Figure 59 Experimental results on new data ...81
• Figure 60 Example detections, including one false positive. ...82
• Figure 61 Example detections, including one false positive. ...82
• Figure 62 Using integral images to estimate histograms over windows. ...85
• Figure 63 The multi-class version is slower to train but has better accuracy ...86
• Figure 64 Percentage of non-object pixels retained after filtering ...86
• Figure 65 Percentage of on-object pixels correctly retained after filtering. ...87
• Figure 66 Performance of the SVM classifier one the training data. ...88
• Figure 67 Distribution of the horizontal and vertical sizes of the bounding boxes over all the object types over the entire training data ...89
• Figure 68 Distributions of the bounding box sizes for two example object types ...90
• Figure 69 Cluster centers obtained by applying K-means to the distributions of bounding box sizes from Figure 64 (K=6). ...91
• Figure 70 Example of mapping an instance of a bounding box to the closest cluster center estimated from the entire training data. ...92
• Figure 71 For efficiency, the image is scanned at discrete locations separated by a step size $\underline{\Omega}$ = (rows*0.15)/2 = 18. ...93
• Figure 72 Example filtering outputs before (left) and after (right) ...94
• Figure 73 Example filtering outputs before (left) and after (right) ...94
• Figure 74 The thresholds are automatically selected by computing the cumulative distribution of scores from the SVM classifier on windows from the ground truth data. ...95
• Figure 75 Left: Example histograms of scores for four object types. Right: Corresponding cumulative distributions. ...97
• Figure 76 Left: Example histograms of scores for four object types. Right: Corresponding cumulative distributions. ...98
• Figure 77 Convergence rate for a typical recognition example. ...100
• Figure 78 Value of the coordinate-wise ratio Mv/v vs. the entries of the dominant vector after a [mite number of iterations of the power methods. ...101
• Figure 79 Left: Entries of the dominant vector of the affinity matrix Right: Entries of the dominant vector after filtering by the ratio test. ...102
• Figure 80 Features matched by the recognition algorithm "cn" object. ...102
• Figure 81 Scale focus approach:. ...103
• Figure 82 Example of detection outputs with the corresponding scores. ...104
• Figure 83 Example of detection outputs with the corresponding scores. ...104
• Figure 84 Correct detections with their scores (bottom) and incorrect detections due to occlusions (top). ...105
• Figure 85 Illustration of the effect of occlusion and of salient parts of the object ...105
• 그림 86 (a) The door (b) The doorknob ...107
• 그림 87 연구의 개요 ...107
• 그림 88 Guessing Door 알고리즘 과정 ...108
• 그림 89 Finding Door 알고리즘 과정 ...108