보고서 정보
주관연구기관 |
한국과학기술원 Korea Advanced Institute of Science and Technology |
연구책임자 |
김정
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
대한민국
|
발행년월 | 2023-01 |
과제시작연도 |
2022 |
주관부처 |
과학기술정보통신부 Ministry of Science and ICT |
등록번호 |
TRKO202300005428 |
과제고유번호 |
1711178367 |
사업명 |
한국과학기술원연구운영비지원(주요사업비) |
DB 구축일자 |
2023-08-30
|
키워드 |
매니퓰레이션.촉각 센서.포인트 클라우드.지도학습.자세 추정.Manipulation.Tactile Sensor.Point Cloud.Supervised Learning.Pose Estimation.
|
초록
▼
□ 연구개발 목표 및 내용
◼ 최종 목표
본 연구에서는 비전 센서가 제한된 상황 속에서 물체 표면과 촉각 센서 사이의 상호작용을 통해 수집된 접촉 정보만을 활용하여 효과적인 물체 인지 및 자세 추정 기술을 개발하고 이를 다양한 시나리오에서 활용하는 것을 목적으로 한다. 세부적으로는 먼저 기존에 존재하는 비전 기반의 촉각 센서 제작 및 로봇 manipulation 시스템을 구축하고, 개발된 기술을 구현할 수 있는 다양한 시나리오를 계획할 것이다. 시나리오 속에서 개발된 기술의 유효성과 정확도를 검증할 것이며 더 나아가, 산
□ 연구개발 목표 및 내용
◼ 최종 목표
본 연구에서는 비전 센서가 제한된 상황 속에서 물체 표면과 촉각 센서 사이의 상호작용을 통해 수집된 접촉 정보만을 활용하여 효과적인 물체 인지 및 자세 추정 기술을 개발하고 이를 다양한 시나리오에서 활용하는 것을 목적으로 한다. 세부적으로는 먼저 기존에 존재하는 비전 기반의 촉각 센서 제작 및 로봇 manipulation 시스템을 구축하고, 개발된 기술을 구현할 수 있는 다양한 시나리오를 계획할 것이다. 시나리오 속에서 개발된 기술의 유효성과 정확도를 검증할 것이며 더 나아가, 산업적으로 특화된 응용 분야에 대한 적용 가능성을 검증하고, 발전시킬 예정이다.
◼ 전체 내용
본 연구를 진행하기 위한 세부적인 내용은 아래와 같다.
1) 시뮬레이션을 통한 물체의 부분적인 접촉 정보 데이터 수집
: 시뮬레이션에 사용할 물체는 산업에 특화된 현장이나, 연구실 주변에서 흔히 볼 수 있는 도구나 부품으로 선정할 예정이다. testbed를 진행하기 위해 우선, McMaster Dataset에 존재하는 3D 모델링 파일을 이용한다. 선정된 부품은 Figure 1과 같다. 이후 실제 실험에서는 3D scanning 기술을 통해 직접 주변 물체의 3D model을 구현 할 예정이다.
촉각 센서를 이용하여 직접 물체의 접촉 정보 데이터를 수집하는 것은 시간이 많이 소요되며, challenging한 작업이다. 이러한 비용을 줄이기 위해, MuJoCo라는 simulation을 사용하여, 물체(Figure 2는 Routing eyebolt)의 부분적인 깊이 맵(Figure 2a)과 해당 맵의 포인트클라우드(Figure 2b)를 추출한다.
부분적인 깊이 맵과 포인트 클라우드를 추출하는 과정은 다음과 같이 진행된다. MuJoCo simulation 상의 origin에 깊이 카메라가 z축을 향해 바라보도록 설치한 후, 선정한 object를 z축 상에 임의 구성으로 배치한다. 이후 설정된 기준값만큼 물체를 정렬하고, 카메라로부터 거리가 5mm 미만인 깊이 맵만 추출하도록 한다. 추출된 깊이 맵을 바탕으로 포인트클라우드로 변환하여 데이터에 저장한다.
2) 수집된 데이터를 바탕으로 지도학습을 통한 물체 인지 algorithm 구현
: MuJoCo simulation을 통해 수집된 데이터를 바탕으로 지도학습을 통해 물체를 분류하는 algorithm을 구현한다. 포인트클라우드 데이터를 활용하여 지도학습을 통해 분류, 세분화, 포인트 재구성 등 다양한 활용을 위한 연구가 활발히 진행되어왔다. 하지만 실제에서 얻어낼 수 있는 물체의 포인트클라우드 정보는 물체의 일부분인 경우가 대다수이다. 부분적인 포인트클라우드 데이터를 바탕으로 물체의 인지 algorithm을 위해 선행 연구들의 지도학습 네트워크의 구조와, 포인트클라우드가 가지는 데이터의 특성을 먼저 공부해야 할 필요가 있다. 관련 기술과 연구의 동향 등을 분석한 후, 직접 지도학습 네트워크의 구조를 구현하여 네트워크의 인지 성능을 검증할 예정이다.
3) 포인트클라우드의 ICP(Iterative Closest Point) algorithm을 활용한 물체 자세 추정 검증
: ICP algorithm은 3차원의 포인트클라우드 데이터를 정합(registration)하는 algorithm이다. 두 개의 포인트클라우드 데이터셋의 점들의 거리를 최소한으로 만들어주는 회전행렬과, 이동벡터를 반복적으로 구해 오차가 기준값보다 작은 경우 정합을 완성 시켜 준다.
본 연구에서는 부분적인 포인트클라우드를 바탕으로 지도학습을 통한 물체 인지 과정을 수행하고, ICP algorithm을 활용하여 부분적인 포인트클라우드 데이터와 글로벌한 포인트클라우드 데이터사이의 정합을 통해 물체의 자세 추정을 수행한다(Figure 3).
4) 2, 3에서 연구한 내용을 바탕으로 실제 manipulation system에 적용 (sim-to-real)
: 정교한 manipulation 시스템은 인간과 같은 풍부한 촉각, 고유감각을 아우르는 체성감각 정보를 수집하기 위한 센서의 필요성이 존재하기 때문에, 이를 위한 다양한 접근방법으로 촉각 센서를 개발한 연구들이 발표되어왔다. 그중, MIT 연구팀이 개발한 Gelsight / Gelslim 의 경우, 비전 기반의 촉각 센서로, 실리콘 기반의 막을 덮어 센서 내부의 카메라를 활용하여 실리콘의 변형을 역추적하여 촉각 정보(depth map, slip detection, force distribution 등)를 인식한다(Figure 4).
본 연구는 로봇 그리퍼(Kinova사의 Gen2 그리퍼 및 Robotiq 사의 F85 그리퍼)에 Gelslim을 부착하여 manipulation system을 구축하고, 이 시스템을 활용하여 물체의 부분적인 포인트 클라우드를 추출하고, simulation 상에서 학습된 지도학습 모델과 ICP algorithm을 바탕으로 파지 된 물체의 인지와 자세 추정을 수행한 다. 전체적인 Pipeline은 Figure 5와 같다.
Figure 5의 pipeline을 바탕으로 다양한 시나리오에서 해당 기술의 정확도, 사용 가능성, 유효성을 검증할 예정이다.
□ 연구개발성과 활용계획 및 기대 효과
산업적으로 특화된 시나리오 (Collaborative manipulation, Pick-rotate-place, Planar manipulation)에서 비전 센서와 함께 충분한 촉각 정보 채널을 활용하여 파지된 물체의 인지 및 자세 추정 작업을 진행 할 수 있다.
(출처 : 요약문 3p)
Abstract
▼
1. 연구개발과제의 개요
Haptic is generally regarded as a perceptual system mediated by two sensory nervous systems, the cutaneous and kinesthetic, and mainly involves active exploration . Compared with vision and audition, which provide rich information about space and time, haptic interacts directly with
1. 연구개발과제의 개요
Haptic is generally regarded as a perceptual system mediated by two sensory nervous systems, the cutaneous and kinesthetic, and mainly involves active exploration . Compared with vision and audition, which provide rich information about space and time, haptic interacts directly with objects while processing information about objects such as surface texture, material properties, and temperature .
For haptic exploration in humans, it is an important mechanism for themselves to find out the properties of objects, focusing on touch rather than the sense of motion in haptic perception, so-called kinesthetic . The human hand, the most dexterous end-effector in nature, has about 17,000 mechanoreceptors and offers a highly advanced system for exploring the environment . By utilizing hands, humans rapidly and accurately identify three-dimensional objects. During exploration, humans use their hands to follow procedures, such as lateral motion, pressure, en-closure, and contour following. A key property of human haptic exploration is that it explores actively through purposive movements . Inspired by human hands’ specific movement strategies during exploration, it has been reflected in the active exploration of robot systems for many decades, coupling with manipulation. Haptic exploration and manipulation are complementary since manipulation needs an accurate object model, which can be achieved by exploration and vice versa. However, unlike humans that can actively explore the world through haptic sensation, the use of haptic information for robots is quite limited because of the lack of real-world interactions. For compensating this limitation, researchers on robot haptic exploration frequently use other sensors such as vision or laser sensors.
The ability to characterize and identify objects without reliance on vision is beneficial in some scenarios. Suppose that humans are in a situation where it has dim light conditions or where they are not able to utilize their sense of vision well. For example, when finding some objects in a deep bag, when waking up in the middle of the night and looking for a cellular phone, reaching a computer mouse or cup while staring at the computer monitor, or, in the extreme case, underwater situation or blind people. Without visual feedback, humans perform exploration only relying on the sense of touch dealing with objects’ partial features detected from their fingers . This work, inspired by those situations, utilizes partial features of objects that can be obtained from vision-based sensors to classify and localize the in-hand objects.
(source : 본문 8p)
목차 Contents
- COVER ... 1
- 최종보고서 ... 2
- 요 약 문 ... 3
- 목차 ... 7
- 1. 연구개발과제의 개요 ... 8
- 2. 연구개발과제의 수행 과정 및 수행 내용 ... 8
- 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 14
- 1) 연구수행 결과 ... 14
- 2) 목표 달성 수준 ... 19
- 4. 연구개발성과의 관련 분야에 대한 기여 정도 ... 20
- 5. 연구개발성과의 관리 및 활용 계획 ... 20
- 6. 참고 문헌 ... 20
- End of Page ... 24
※ AI-Helper는 부적절한 답변을 할 수 있습니다.