[논문]카메라 영상기반 전방향 이동 로봇의 제어

김봉규; 류정래

doi:10.5391/jkiis.2014.24.1.084

카메라 영상기반 전방향 이동 로봇의 제어
Control of an Omni-directional Mobile Robot Based on Camera Image 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.24 no.1, 2014년, pp.84 - 89

김봉규 (서울과학기술대학교 전기정보공학과) , 류정래 (서울과학기술대학교 전기정보공학과)

초록
AI-Helper

본 논문에서는 카메라를 탑재한 전방향 이동 로봇에서의 표적 추종을 위한 영상기반 시각 서보 제어를 다룬다. 기존 연구에서는 카메라 영상에서 추출한 표적의 영상 좌표로부터 표적 추종을 위한 바퀴의 회전 각속도를 구하기 위하여 카메라의 수학적 모델과 이동 로봇의 기구학 특성으로부터 구한 수학적 영상 자코비안을 널리 활용하였다. 본 논문에서는 표적의 영상 좌표 정보를 이용한 단순한 규칙기반 제어 방식과 영상에 포착된 표적의 크기 정보를 조합하여 바퀴의 회전 각속도를 생성하는 새로운 방식을 제안한다. 카메라 영상을 몇 개의 영역으로 분할하고, 표적이 포함된 영역에 따라 미리 정의한 규칙을 적용하는데, 복잡한 수학적 표현을 사용하지 않으면서도 비교적 적은 수의 규칙을 사용하므로 구현이 용이한 장점이 있다. 제안된 방식은 실제 시스템으로 구현하여 실험하고, 전체 실험 시스템에 대한 설명과 함께 실험 결과를 제시하여 제안하는 방식의 타당성을 입증한다.

Abstract ▼ AI-Helper

In this paper, an image-based visual servo control strategy for tracking a target object is applied to a camera-mounted omni-directional mobile robot. In order to get target angular velocity of each wheel from image coordinates of the target object, in general, a mathematical image Jacobian matrix is built using a camera model and a mobile robot kinematics. Unlike to the well-known mathematical image Jacobian, a simple rule-based control strategy is proposed to generate target angular velocities of the wheels in conjunction with size of the target object captured in a camera image. A camera image is divided into several regions, and a pre-defined rule corresponding to the target-located image region is applied to generate target angular velocities of wheels. The proposed algorithm is easily implementable in that no mathematical description for image Jacobian is required and a small number of rules are sufficient for target tracking. Experimental results are presented with descriptions about the overall experimental system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

한편, 영상 자코비안의 경우 카메라 모델과 로봇의 기구 학식을 조합하여 선형화한 것으로 매우 복잡한 수학적 표현이 필요하므로 실제 시스템으로의 적용에 어려움이 있다. 본 논문에서는 복잡한 수식으로 표현되는 영상 자코비안을 대신하여 일련의 규칙에 기반하여 영상 자코비안의 기능을 대신하는 방식을 제안한다.
본 논문에서는 복잡한 수식의 영상 자코비안 대신 일련의 단순한 규칙을 활용하여 영상 좌표로부터 이동 로봇의 동작을 제어하는 방식을 제안한다. 카메라 영상을 몇 개의 영역으로 분할하고, 표적이 포함된 영역에 따라 미리 정의한 로봇의 이동 규칙을 적용한다.
본 논문에서는 카메라를 장착한 전방향 이동 로봇(omni-directional mobile robot)에서 표적을 추종하기 위한 영상기반 시각 서보 제어의 새로운 방법을 제시한다. 전방향 이동 로봇에서는 로봇의 2차원 위치와 방향을 독립적으로 제어할 수 있으므로 표적을 카메라의 시야각 범위에 유지하면서 로봇의 위치를 변경할 수 있다[4-8].
본 논문에서는 카메라를 탑재한 전방향 이동 로봇에서의 표적 추종을 위한 새로운 영상기반 시각 서보 제어 방식을 제안하였다. 복잡한 수학적 표현의 영상 자코비안을 활용하는 기존 방식과 달리 제안하는 방식에서는 표적이 위치한 영상 공간 좌표에 따라 미리 설정된 간단한 규칙을 적용한다.
카메라가 탑재된 전방향 이동 로봇이 움직이는 표적을 추종하기 위해서는 표적의 영상 좌표를 확인하여야 하는데, 이를 위해서는 우선 카메라 영상에서 미리 정의된 표적을 감지하여야 한다. 본 논문에서는 표적 오인식을 방지하기 위하여 두 개의 크기가 다른 직사각형이 중첩된 형태를 표적으로 정의하였다. 그림 3에는 한 장의 영상에서 표적을 감지하기 위한 영상 처리 절차를 나타내었다.

제안 방법

그림 6에는 전방향 이동 로봇의 서보 제어 시스템 구조를 나타내었다. 각각의 모터를 개별적으로 제어하기 위하여 4개의 속도 PI 제어 루프를 독립적으로 구성한다.
영상을 임의의 구간으로 분할하고, 감지된 표적이 포함된 영역에 따라 미리 정의한 제어 규칙을 적용한다. 또한, 한 대의 카메라를 사용하면서도 표적의 크기 정보를 활용하여 표적까지의 거리를 제어한다. 제안한 방식에서는 복잡한 수학적 표현을 사용하지 않고 몇 개의 단순한 규칙을 적용하여 표적을 추종하므로 손쉽게 구현할 수 있는 장점이 있다.
본 논문에서는 카메라를 탑재한 전방향 이동 로봇에서의 표적 추종을 위한 새로운 영상기반 시각 서보 제어 방식을 제안하였다. 복잡한 수학적 표현의 영상 자코비안을 활용하는 기존 방식과 달리 제안하는 방식에서는 표적이 위치한 영상 공간 좌표에 따라 미리 설정된 간단한 규칙을 적용한다. 영상 좌표 공간을 몇 개의 영역으로 분할하고, 표적이 위치한 영상 좌표 공간 영역에 따라 미리 정의한 바퀴 회전 각속도 벡터를 단위 벡터 형태로 생성하고, 표적의 크기 정보를 이득으로 이용하여 모터 회전 각속도 벡터의 크기를 변경함으로써 이동 속도를 제어하였다.
이 정보를 활용하여 한 장의 영상으로부터 표적까지의 거리를 추정하여 이동 로봇의 속도를 결정할 수 있다. 본 논문에서는 표적 내부 사각형의 크기 정보를 기준으로 하는데, 표적의 크기가 임의의 기준 크기보다 작으면 이동 로봇의 속도를 증가하고, 반대의 경우에는 속도를 감소한다. 이를 위하여 앞에서 단위 벡터로 설정한 이동 로봇 바퀴의 회전 각속도 벡터에 표적의 크기로부터 설정한 이동 속도를 이득 형태로 곱하여 바퀴의 목표 회전 각속도를 결정한다.
그림 11에는 이동 방향 변화에 따른 각 모터의 지령 속도와 실제 모터의 목표 회전 각속도를 나타내었다. 영상 좌표 공간에서의 표적 위치에 따라 모터의 목표 각속도가 결정되고, 적절한 가속도를 적용한 기준 각속도를 시간에 대한 궤적으로 적용하였다. 그림 11에 나타낸 결과는 이동 로봇이 전진, 우회전, 후진, 좌회전 후 정지하는 동작에 대응하는 각속도 궤적으로서 설정한 가속도에 따라 등가속도 운동과 등속 운동으로 구성됨을 확인할 수 있다.
복잡한 수학적 표현의 영상 자코비안을 활용하는 기존 방식과 달리 제안하는 방식에서는 표적이 위치한 영상 공간 좌표에 따라 미리 설정된 간단한 규칙을 적용한다. 영상 좌표 공간을 몇 개의 영역으로 분할하고, 표적이 위치한 영상 좌표 공간 영역에 따라 미리 정의한 바퀴 회전 각속도 벡터를 단위 벡터 형태로 생성하고, 표적의 크기 정보를 이득으로 이용하여 모터 회전 각속도 벡터의 크기를 변경함으로써 이동 속도를 제어하였다. 제안한 방식은 기존 영상 자코비안 방식과 달리 단순하여 구현이 용이하며, 한 대의 카메라를 활용하여 표적까지의 깊이 정보를 활용하는 장점이 있다.
우선 표적 감지를 위한 영상 처리 알고리즘의 타당성을 검증하였다. 그림 3에 설명한 영상 처리 알고리즘을 PC에서 구현하여 실험에 적용하고, 원본 영상과 영상 처리 후의 영상을 그림 9에 나타내었다.
이동 로봇의 동작을 제어하는 서보 제어기는 DSP를 활용하며, 각 바퀴의 개별적인 속도 제어를 위하여 4개의 PI 제어기를 동시에 구동한다. 모터 구동을 위한 PWM 생성기 및 회전 속도 측정을 위한 엔코더 펄스 카운터 등은 FPGA를 이용하여 구현되었다.
모터들의 특성 편차를 보상하고 마찰력 등 외란의 영향을 억제하기 위하여 속도 피드백 제어기를 적용한다. 이를 위하여 모터의 회전 각속도를 측정하고, 현재 회전 각속도와 기준 각속도의 차이를 속도 PI 제어기로 보상한다. 그림 6에는 전방향 이동 로봇의 서보 제어 시스템 구조를 나타내었다.
본 논문에서는 표적 내부 사각형의 크기 정보를 기준으로 하는데, 표적의 크기가 임의의 기준 크기보다 작으면 이동 로봇의 속도를 증가하고, 반대의 경우에는 속도를 감소한다. 이를 위하여 앞에서 단위 벡터로 설정한 이동 로봇 바퀴의 회전 각속도 벡터에 표적의 크기로부터 설정한 이동 속도를 이득 형태로 곱하여 바퀴의 목표 회전 각속도를 결정한다.
제안한 방식에서는 복잡한 수학적 표현을 사용하지 않고 몇 개의 단순한 규칙을 적용하여 표적을 추종하므로 손쉽게 구현할 수 있는 장점이 있다. 제안된 방식은 실제 시스템으로 구현 및 실험하고, 그 결과를 구현된 시스템에 대한 설명과 함께 제시하여 타당성을 검증한다.
제안한 방식은 기존 영상 자코비안 방식과 달리 단순하여 구현이 용이하며, 한 대의 카메라를 활용하여 표적까지의 깊이 정보를 활용하는 장점이 있다. 제안하는 방식은 실제 전방향 이동 로봇에 적용하여 타당성을 검증하였다.
영상 좌표 공간을 몇 개의 영역으로 분할하고, 표적이 위치한 영상 좌표 공간 영역에 따라 미리 정의한 바퀴 회전 각속도 벡터를 단위 벡터 형태로 생성하고, 표적의 크기 정보를 이득으로 이용하여 모터 회전 각속도 벡터의 크기를 변경함으로써 이동 속도를 제어하였다. 제안한 방식은 기존 영상 자코비안 방식과 달리 단순하여 구현이 용이하며, 한 대의 카메라를 활용하여 표적까지의 깊이 정보를 활용하는 장점이 있다. 제안하는 방식은 실제 전방향 이동 로봇에 적용하여 타당성을 검증하였다.
본 논문에서는 복잡한 수식의 영상 자코비안 대신 일련의 단순한 규칙을 활용하여 영상 좌표로부터 이동 로봇의 동작을 제어하는 방식을 제안한다. 카메라 영상을 몇 개의 영역으로 분할하고, 표적이 포함된 영역에 따라 미리 정의한 로봇의 이동 규칙을 적용한다. 그림 4에는 분할된 영상 공간과 각 영역별로 적용할 로봇의 이동 방향을 표시하였다.
사람 가슴 높이 부분의 표적을 인식하기에 적합한 위치에 카메라 및 영상 처리용 ARM 프로 세서 보드를 탑재하였다. 표적 감지를 위한 영상 처리를 위하여 오픈 소스 컴퓨터 비전 C 라이브러리(OpenCV)를 활용하고, 감지된 표적의 영상 좌표로부터 이동 로봇의 바퀴 회전 속도를 생성하여 서보 제어기로 전송한다.

대상 데이터

그림 3에 설명한 영상 처리 알고리즘을 PC에서 구현하여 실험에 적용하고, 원본 영상과 영상 처리 후의 영상을 그림 9에 나타내었다. 알고리즘 검증에 사용된 영상은 480x480 픽셀 해상도를 사용하였다. 그림 9에서 확인할 수 있듯이 좌측의 원본 영상에서 표적 감지를 위한 영상 처리 후 우측의 영상과 같이 표적 부분이 구분됨을 확인할 수 있다.

성능/효과

또한, 한 대의 카메라를 사용하면서도 표적의 크기 정보를 활용하여 표적까지의 거리를 제어한다. 제안한 방식에서는 복잡한 수학적 표현을 사용하지 않고 몇 개의 단순한 규칙을 적용하여 표적을 추종하므로 손쉽게 구현할 수 있는 장점이 있다. 제안된 방식은 실제 시스템으로 구현 및 실험하고, 그 결과를 구현된 시스템에 대한 설명과 함께 제시하여 타당성을 검증한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	시각 서보 제어는 무엇이고, 어떤 방식으로 분류되는가?	시각 서보 제어(visual servo control)는 컴퓨터 비전과 로봇 제어 알고리즘을 하나의 시스템에 조합하여 적용하는 분야로서 위치기반과 영상기반 방식의 두 가지로 분류할 수 있다. 위치기반 시각 서보 제어(position-based visual servo control)는 영상 정보로부터 추출한 표적의 3차원 위치 정보를 로봇 제어에 활용하는 반면, 영상기반 시각 서보 제어(image-based visual servo control)에서는 표적의 영상 좌표로부터 로봇의 관절 각도를 직접 결정한다[2,3].
	2차원 평면상에서 동작하는 이동 로봇은 어떤 특징을 가지고 있는가?	2차원 평면상에서 동작하는 이동 로봇은 평면상의 위치와 회전 각도의 3 자유도를 가진다. 일반적인 이동 로봇에서는 이 3개의 자유도를 독립적으로 제어하는 것이 불가능하다.
	이동 로봇이 표적을 감지하기 위한 영상 처리 절차는 어떻게 되는가?	단계 1 : 카메라 영상을 메모리에 저장한다. 단계 2 : 영상의 빨간색 성분을 기준으로 이진화한다. 단계 3 : 배경의 잡음 제거와 객체의 크기 확장을 위한 팽창 연산과 가우시안 필터 연산을 적용한 후, 표적의 내부 외곽선 및 꼭짓점을 검출한다. 단계 4 : 검출된 꼭짓점을 이용하여 내부 외곽선으로 이어진 도형이 사각형인지 판단한다. 단계 5 : 사각형의 넓이와 중심 좌표를 연산한다.

참고문헌 (10)

K. Watanabe, Y. Shiraishi, S. G. Tzafestas, J. Tang, and T. Fukuda, "Feedback control of an omnidirectional autonomous platform for mobile service robots," Journal of Intelligent and Robotic Systems, vol. 22, no. 3-4, pp. 315-330, July 1998.
J. R. Ryoo, D.-Y. Kim, H. K. Park, and M. J. Chung, "Position-based visual servo control of active head-eye system without camera calibration," Proceedings of International Conference on Automation, Robotics, and Computer Vision, 2000.
S. Hutchinson, G. D. Hager, and P. I. Corke, "A tutorial on visual servo control," IEEE Trans. on Robotics and Automation, vol. 12, no. 5, pp. 651-670, Oct. 1996.

상세보기
J. E. M. Salih, M. Rizon, and S. Yaacob, "Designing omni-directional mobile robot with Mecanum wheel," American Journal of Applied Sciences, vol. 3, no. 5, pp. 1831-1835, May 2006.

상세보기
Dickerson SL and Lapin BD, "Control of an omni- directional robotic vehicle with Mecanum wheels," Proceedings of National Telesystems Conference, vol. 1, pp. 323-328, 1991.
P. Viboonchaicheep, A. Shimada, and Y. Kosaka, "Position rectification control for Mecanum wheeled omni-directional vehicles," The 29th Annual Conference of the IEEE, vol. 1, pp. 854-859, 2003.
N. Tlale and M. Villiers, "Kinematics and dynamics modelling of a Mecanum wheeled mobile platform," 15th International Conference on Mechatronics and Machine Vision in Practice, pp. 657-662, 2008.
K. Nagatani, S. Tachibana, M. Sofue, and Y. Tanaka, "Improvement of odometry for omnidirectional vehicle using optical flow information," Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, vol. 1, pp. 468-473, 2000.
J. S. Park and M. J. Chung, "Path planning with uncalibrated stereo rig for image-based visual servoing under large pose discrepancy," IEEE Trans. on Robotics and Automation, vol. 19, no. 2, pp. 250-258, April 2003.

상세보기
E. Malis, F. Chauette, and S. Boudet, "2-1/2-D visual servoing," IEEE Trans. on Robotics and Automation, vol. 15, no. 2, pp. 238-250, April 1999.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증