선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- Controller는 Model과 View 사이에서 서로의 입출력을 조정하고 제어하는데 이 3가지 개념을 이용해서 최대한 독립적으로 프로그래밍하여 객체를 구성하는 것을 목표로 했다.(11)
- 본 연구는 스마트폰으로 실시간 영상처리를 하며 물체를 찾아가는 약병전송 로봇시스템에 관한 연구이다. 스마트폰을 이용하여 카메라 스트림 데이터에서 이미지 부분만을 분할하는 처리를 하였고 이미지 데이터를 통하여 물체를 추적하는 알고리즘을 구성하였다.
- 스마트폰을 이용한 영상 처리의 연산 속도에 제한이 있으므로 데이터를 최소화하기 위하여 자체적인 통신을 구축하였다. URLConnection을 이용하여 스트림 데이터를 획득하였으며, Marker를 이용하여 이미지의 시작과 끝을 찾아내 이미지 데이터만을 스마트폰에서 확인할 수 있도록 하였다.
- 우리 개발 로봇의 주 기능은 환자나 노약자에게 약병을 자율적으로 갖다 주는 것을 목표로 하였으며 이 로봇을 스마트폰으로 제어하거나 영상을 처리하여 정확한 약병을 갖다 주는 임무를 부여 받게 제작하였다. 방 안의 공간을 자유롭게 이동하기 위하여 바퀴형태의 구동뿐 아니라 4족으로 구동할 수 있게 구동부를 설계하여 장애물 극복이나 로봇 구조의 변형을 가능하게 하여 장애물을 쉽게 극복하게 하였다.
- 본 연구에서는 집안에 거주하는 독거노인을 대상으로 하였다. 핵가족화의 증가와 비례하여 독거노인의 비율은 날이 갈수록 증가하고 있으며 동물로봇의 개발은 반려동물을 대체하여 외로움을 느끼는 노인들을 보조하는데 그 목적을 두고 있다. 기존 감성로봇의 연구로는 일본의 노인용 로봇 바다표범 파로, 미국의 자폐치료용 테디베어 로봇, 벨기에의 외로운 어린이용 로봇 프로보 등이 있다.
제안 방법
- 화면의 특정부분에 물체가 걸리면 스마트폰에서 명령을 보내주며 PSD의 값을 받아 물체와의 거리를 측정한다. DSP에서 스마트폰으로 물체가 인식되었다는 확인을 통신으로 보내주면 영상처리를 하여 잡으려는 물체가 맞는지 확인 후 물체를 잡는다. 물체인식을 할 때 카메라만 의존하는 것이 아니라 센서와 함께 사용하여 사용해서 물체의 인식 성공확률을 높였다.
- 기본적인 RGB 색 공간(Color Space)는 조명과 같은 주변 환경에 영향을 많이 받기 때문에 RGB 색 공간의 단점을 보완할 수 있는 HSV색 공간(13)을 사용하였다. Hue 채널과 Saturation 채널을 함께 사용하여 원하는 색 정보에 대한 임계값을 실험적으로 구하여 범위를 지정하였다.(14) 영상처리는 스마트폰 내에서 데이터 처리를 통하여 이루어지므로 기존의 영상처리를 컴퓨터에서 처리하여 무선으로 결과를 알려주는 방식과는 차별성이 있다.
- 스마트폰을 이용한 영상 처리의 연산 속도에 제한이 있으므로 데이터를 최소화하기 위하여 자체적인 통신을 구축하였다. URLConnection을 이용하여 스트림 데이터를 획득하였으며, Marker를 이용하여 이미지의 시작과 끝을 찾아내 이미지 데이터만을 스마트폰에서 확인할 수 있도록 하였다. 이는 스트림 데이터 중 음성 데이터, 카메라를 구동하는 PTZ (Pan, tilt, zoom) 모터 제어 데이터 등 많은 데이터가 들어오기 때문에 스마트폰에서 구현하기 위한 데이터를 최소화 하기 위하여 반드시 필요하다.
- 11n은 이론적으로 최대 600Mbps까지 가능한 것으로 나와있다. Wi-Fi를 사용하기 위하여 IP주소와 포트(Port)가 필요하고 영상을 획득하기 위한 IP 카메라, 로봇을 제어하기 위한 MCU인 DSP 2812, 그리고 로봇을 조정하고 영상처리를 하기위한 스마트폰 이 세 가지의 Process들이 서로 통신하기 위한 방법이 필요했다. 이 세 가지의 프로세스들을 앞에서 언급한 Fig.
- 8에 나타나 있다. 각기 다른 색깔로 구별된 약통을 대상으로 영상처리 실험을 스마트폰에서 수행하였다. 기본적인 RGB 색 공간(Color Space)는 조명과 같은 주변 환경에 영향을 많이 받기 때문에 RGB 색 공간의 단점을 보완할 수 있는 HSV색 공간(13)을 사용하였다.
- 느린 이동속도 문제를 바퀴와 4족을 동시에 사용할 수 있게 함으로써 빠른 속도와 장애물 극복의 두 가지 목적을 동시에 달성할 수 있게 설계하였다. 다른 기능으로는 독거노인 또는 부양가족의 부재나 따로 떨어져 사는 경우에 요양기관이나 가족이 상황을 지켜볼 수 있게 카메라를 탑재하여 어느 곳에서든 집안 상황을 지켜볼 수 있게 했다.
- 또한 일반적인 RGB 색 공간은 조명이나 주변 환경에 민감한 반응을 보이기 때문에 특정한 물체를 추적하기 위한 HSV 색 공간을 사용하였다.
- 로봇이 약통을 가져다 줄 때 영상 처리를 하여 약통을 인식하고 로봇이 스스로 약통을 잡을 수 있도록 영상처리를 통하여 약통의 형태나 색깔을 구분하게 하였다. 실험에 사용한 약통의 사진은 Fig.
- 명령어는 Char형태의 프로토콜(Protocol)을 정하여 그에 따라 처리 되며 각각의 명령어에 대한 모터제어, 각종 센서를 DSP2812를 이용하여 구현하였다.(7,8,) Fig.
- 우리 개발 로봇의 주 기능은 환자나 노약자에게 약병을 자율적으로 갖다 주는 것을 목표로 하였으며 이 로봇을 스마트폰으로 제어하거나 영상을 처리하여 정확한 약병을 갖다 주는 임무를 부여 받게 제작하였다. 방 안의 공간을 자유롭게 이동하기 위하여 바퀴형태의 구동뿐 아니라 4족으로 구동할 수 있게 구동부를 설계하여 장애물 극복이나 로봇 구조의 변형을 가능하게 하여 장애물을 쉽게 극복하게 하였다.
- 본 시스템에서는 로봇과의 통신 및 카메라의 스트림 데이터(Stream data)를 연결해주는 URL Connection을 이용한 두 개의 네트워크가 구성된다.
- 본 연구에서는 MAC OS 기반의 Objective-C 언어를 이용하는 X-code 프로그램으로 제작하였으며 스마트폰은 Apple A5(dual-core) 프로세서가 내장된 I-Phone 4S를 사용하였다. 윈도우 프로그램과 마찬가지로 라이브러리와 UI (user interface)를 사용자 편의에 맞도록 꾸밀 수 있는 View가 있으며 코드와 인터페이스간 링크를 할 수 있다.
- 본 연구는 스마트폰으로 실시간 영상처리를 하며 물체를 찾아가는 약병전송 로봇시스템에 관한 연구이다. 스마트폰을 이용하여 카메라 스트림 데이터에서 이미지 부분만을 분할하는 처리를 하였고 이미지 데이터를 통하여 물체를 추적하는 알고리즘을 구성하였다.
- 실시간으로 영상처리를 구현하기 위해 Sonde 알고리즘을 통하여 부분적으로 영상처리를 하여 최적화 하였다. 따라서 실시간 영상처리가 가능할 만큼 빠른 처리속도를 가진다.
- 영상처리를 통하여 인지된 물체의 추적을 위한 정보를 BSD소켓통신을 이용하여 Wi-Fi 모듈로 전송하였고 이를 DSP에서 시리얼 통신을 이용하여 물체를 찾아가서 잡도록 구현하였다.
- Wi-Fi를 사용하기 위하여 IP주소와 포트(Port)가 필요하고 영상을 획득하기 위한 IP 카메라, 로봇을 제어하기 위한 MCU인 DSP 2812, 그리고 로봇을 조정하고 영상처리를 하기위한 스마트폰 이 세 가지의 Process들이 서로 통신하기 위한 방법이 필요했다. 이 세 가지의 프로세스들을 앞에서 언급한 Fig. 2와 같이 클라이언트 이용하고 클라이언트들이 서로 통신하기 위하여 서버로 라우터를 사용하였다. 로봇 접속에 필요한 IP주소는 라우터에서 DHCP로 자동적으로 할당이 된다.
- 로봇이 약통을 인식하고 잡을 때는 카메라와 PSD센서를 함께 사용하였다. 주변 환경에 민감한 카메라의 단점을 인식률이 높은 PSD센서를 이용하여 물건 인식의 정확도를 높였으나 PSD센서만을 이용하여서는 로봇이 계속 움직이므로 약통과의 정확한 거리의 측정이 힘들어 카메라를 함께 이용하여 약통과 로봇과의 거리를 측정할 수 있는 방법을 고안하였다.
- 을 이용하여 스트림 데이터를 이용한 영상처리 기법을 이용하였다. 즉 BSD 소켓을 이용하여 로봇과 통신하면서 간단하게 로봇을 조작할 수 있으며 실시간으로 약통을 찾아가기 위하여 URLConnection 을 이용하여 카메라 영상을 확인한다.
- 컴퓨터를 이용하지 않고 스마트폰만을 이용하여 영상처리 및 로봇제어의 구현을 가능하게 하였으며 핸드폰 카메라가 아닌 IP카메라를 이용하여 실시간으로 영상처리를 가능하도록 하였다.
- 물체인식에서 영상에만 의존을 하게 되면 영상신호의 불확실성으로 물체를 지나가거나 통신상의 오류로 인하여 물체인식을 실패할 경우가 발생하기 때문에 부가적으로 그리퍼 앞부분의 PSD센서를 이용하였다. 화면의 특정부분에 물체가 걸리면 스마트폰에서 명령을 보내주며 PSD의 값을 받아 물체와의 거리를 측정한다. DSP에서 스마트폰으로 물체가 인식되었다는 확인을 통신으로 보내주면 영상처리를 하여 잡으려는 물체가 맞는지 확인 후 물체를 잡는다.
대상 데이터
- 로봇이 약통을 인식하고 잡을 때는 카메라와 PSD센서를 함께 사용하였다. 주변 환경에 민감한 카메라의 단점을 인식률이 높은 PSD센서를 이용하여 물건 인식의 정확도를 높였으나 PSD센서만을 이용하여서는 로봇이 계속 움직이므로 약통과의 정확한 거리의 측정이 힘들어 카메라를 함께 이용하여 약통과 로봇과의 거리를 측정할 수 있는 방법을 고안하였다.
- 본 연구에서는 집안에 거주하는 독거노인을 대상으로 하였다. 핵가족화의 증가와 비례하여 독거노인의 비율은 날이 갈수록 증가하고 있으며 동물로봇의 개발은 반려동물을 대체하여 외로움을 느끼는 노인들을 보조하는데 그 목적을 두고 있다.
- 물건을 붙잡았을 경우 손에 달려 있는 압력센서로부터 신호를 받아 그 물체 파지여부를 판단한다. 프레임은 아크릴 밀도의 1/2을 가지고 있는 포맥스(Fomax) 라는 재질을 사용하였으며 이는 로봇 손의 무게를 최소화 하기 위함이다.
이론/모형
- 개발 로봇은 거동이 불편한 장애자나 노약자 분들을 대상으로 하였는데 사용자가 약을 먹을 시간을 깜빡 하고 안 먹는 경우가 종종 발생하기 때문에 어플리케이션 프로그램에서 약 먹을 시간을 알려줄 수 있는 기능을 추가하였는데 IOS에서 제공하는 UILocalNotification Class Reference(16)를 이용하였다. 이는 어플리케이션이 실행되거나 Back ground 모드일 때 Push 알림을 구현할 수 있다.
- 각기 다른 색깔로 구별된 약통을 대상으로 영상처리 실험을 스마트폰에서 수행하였다. 기본적인 RGB 색 공간(Color Space)는 조명과 같은 주변 환경에 영향을 많이 받기 때문에 RGB 색 공간의 단점을 보완할 수 있는 HSV색 공간(13)을 사용하였다. Hue 채널과 Saturation 채널을 함께 사용하여 원하는 색 정보에 대한 임계값을 실험적으로 구하여 범위를 지정하였다.
- 로봇과의 통신은 BSD 소켓 통신을 이용하였으며 Sonde 알고리즘(12)을 이용하여 스트림 데이터를 이용한 영상처리 기법을 이용하였다. 즉 BSD 소켓을 이용하여 로봇과 통신하면서 간단하게 로봇을 조작할 수 있으며 실시간으로 약통을 찾아가기 위하여 URLConnection 을 이용하여 카메라 영상을 확인한다.
성능/효과
- (15) 영상처리를 하지 않은 기존의 이미지 데이터 중지시간(Fig. 15)을 0으로 놓고 실시간으로 데이터를 받아도 스마트폰에서 영상을 확인하는데 문제가 없으나 약통을 추출하는 과정에서는 속도가 다소 지연되는 것을 확인할 수 있었다. 따라서 평상시 카메라 영상을 확인 할 때는 실시간 영상을 확인하고 영상처리 과정이 들어가게 되면 중지시간을 8로 설정하였다.
- Sonde 알고리즘을 적용한 이미지뷰와 실시간 보이는 카메라 이미지뷰는 거의 시간지연 없이 동일함을 확인하였다.
- 여러 가지 실험 결과 센서를 사용하지 않고 카메라 영상에만 의존하여 Sonde 알고리즘만을 적용하였을 때 로봇을 완벽하게 구현하기가 힘들었다. 그러나 PSD 센서와 초음파센서를 함께 융합하여 구현하였을 때는 카메라에만 의존한 것 보다 약병을 잡아내는 오차율을 줄일 수 있었고 80% 이상의 성공확률을 실험 결과로 알 수 있었다.
- 따라서 실시간 영상처리 과정에 메모리 누수를 최소화하며 또는 없애기 위하여 X-code 시뮬레이션에서 지원되는 누수(Leaks) 기능을 이용하였다 이는 실시간으로 메모리 누수가 발생하면 그래프로 확인할 수 있을 뿐만 아니라 어떠한 부분에서 메모리 누수가 생기는지를 확인할 수 있다. Fig.
- 따라서 스마트폰으로 전체 이미지뷰를 영상처리하면 약병을 인식하여도 실제 비추는 이미지 뷰와 영상 처리 된 후의 이미지뷰의 속도 차이가 발생하게 되어 로봇이 인식하지 못하고 물체를 지나치는 오차가 발생하게 된다. 따라서 우리는 Sonde알고리즘을 적용하여 영상처리 하는 픽셀을 줄임으로 실시간 영상처리를 할 때 연산 속도를 높일 수가 있었다.
- DSP에서 스마트폰으로 물체가 인식되었다는 확인을 통신으로 보내주면 영상처리를 하여 잡으려는 물체가 맞는지 확인 후 물체를 잡는다. 물체인식을 할 때 카메라만 의존하는 것이 아니라 센서와 함께 사용하여 사용해서 물체의 인식 성공확률을 높였다.(9) Fig.
- 본 연구에서 우리는 여러 가지 색상의 약병들을 테스트 하였는데 HSV 색 공간은 RGB 색 공간의 단점을 보완해 원하는 색상만을 찾아내 추출할 수가 있으나 조명에 따른 반사광 등에 따라서 민감하게 반응하는 것을 확인했다. 그 이유는 영상처리에 있어 컴퓨터나 스마트폰은 물체의 질과 물체가 빛을 반사하는 강도 등에 따라서 반사 질이 영향을 받기 때문이다.
- 실시간으로 전체 이미지뷰(image view)를 영상 처리하게 되면 실제 카메라의 영상보다 3초나 경우에 따라서는 더 많은 시간지연이 생기며 데이터가 실시간으로 계속 들어오지 않아 영상이 끊겨서 보이는 것을 확인하였다.
- 실시간으로 화면의 중간 부분에 흰색의 가로 길이를 측정한 값과 우리 로봇에서 그리퍼의 안쪽에 위치하였을 때의 픽셀 정보를 가지고 있어 현재 계산된 픽셀 값과 저장되어 있는 픽셀 값을 매칭시켜 약통이 로봇의 그리퍼 안쪽에 위치한 것이 확인되면 그 순간에 로봇을 멈추고 약통을 집을 수 있도록 DSP 에 명령을 보내 주었다. DSP에서는 이미 Test를 통하여 PSD가 인식할 수 있는 30Cm내의 범위에 대한 정보를 가지고 있으며 PSD에 물건이 감지되는 경우 다가가서 물건을 잡고 물건이 감지 되지 않을 경우 스마트폰으로 물건이 없음을 알려준다.
- 여러 가지 실험 결과 센서를 사용하지 않고 카메라 영상에만 의존하여 Sonde 알고리즘만을 적용하였을 때 로봇을 완벽하게 구현하기가 힘들었다. 그러나 PSD 센서와 초음파센서를 함께 융합하여 구현하였을 때는 카메라에만 의존한 것 보다 약병을 잡아내는 오차율을 줄일 수 있었고 80% 이상의 성공확률을 실험 결과로 알 수 있었다.
후속연구
- 로봇이 물체를 추적하기 위하여 카메라에만 의존하는 것이 아니고 로봇의 센서와 함께 센서 퓨전을 통하여 높은 인식률을 나타내었으며, 현재처럼 약병만 인식하는 것이 아니고 많은 물건들을 찾아 거동이 불편한 사용자들을 대신해 줄 수 있도록 데이터베이스들을 저장하고 인식할 수 있도록 알고리즘의 보완이 이루어 지면 거동이 불편한 분들이나 사회 복지 시설 등에서도 매우 효과적으로 적용될 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.