선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 무선랜을 이용한 조립 작업 로봇의 협력 제어 시스템 구축에 대해 연구하였다. 3개의 블록을 작업대에 조립하는 조립 작업을 수행하기 위해 서로 다른 형태의 로봇 두 대를 제작하였다.
제안 방법
- 3가지의 색(빨강, 초록, 파랑)을 가진 블록과 노란색의 작업대를 검출하기 위해 RGB 데이터를 HSV(hue, saturation, value) 데이터로 변환하여 추출하였다.
- 본 논문에서는 무선랜을 이용한 조립 작업 로봇의 협력 제어 시스템 구축에 대해 연구하였다. 3개의 블록을 작업대에 조립하는 조립 작업을 수행하기 위해 서로 다른 형태의 로봇 두 대를 제작하였다. 로봇1은 조립 작업을 맡고 로봇2는 운반 작업을 맡아 보조 역할을 수행하도록 설계, 제작하였다.
- 관심 물체(블록과 작업대)의 contour를 감싸는 직사각형을 구해 관심 물체의 중심 좌표와 각도를 계산하였다. Fig. 11과 같이 작업대에 블록이 조립되어 작업대의 중심이 가려진 경우 나뉜 2개의 contour의 중앙을 잇는 직선을 추가하여 1개의 contour가 되도록 한 뒤 이 1개의 contour를 감싸는 직사각형을 구해 작업대의 중심 좌표와 각도를 계산하였다.
- Khepera III Gripper의 메커니즘을 참고하여 로봇1의 로봇팔을 설계하였다[6].
- ROS 기반으로 통신 시스템을 구축하여 다개체 로봇 간 데이터를 공유하였다. Linux와 다른 플랫폼인 윈도우프로그래밍 Visual C#에서 개발한 UI에서 로봇의 위치와 상태를 확인하여 제어하였다.
- ROS 기반으로 통신 시스템을 구축하여 다개체 로봇 간 데이터를 공유하였다. Linux와 다른 플랫폼인 윈도우프로그래밍 Visual C#에서 개발한 UI에서 로봇의 위치와 상태를 확인하여 제어하였다.
- 정면을 바라보고 있는 Kinect 센서의 RGB 데이터로 블록의 위치와 각도를 측정하려 했으나 화면에 블록과 작업대의 전체가 잡히지 않는 문제가 있어 로봇1의 로봇팔 상단에 광각렌즈를 부착한 웹캠을 추가하였다. 관심 물체(블록과 작업대)의 contour를 감싸는 직사각형을 구해 관심 물체의 중심 좌표와 각도를 계산하였다. Fig.
- behavior는 로봇에게 할당된 현재 행동을, block _pose는 로봇에서 블록까지의 상대 위치와 각도를, robot_pose는 로봇의 위치를, flag_completion은 로봇의 동작 완료 상태를 나타낸다. 관심 물체의 중심 좌표와 기울기를 계산하고, 목표 위치에서 측정되는 관심 물체의 중심 좌표와 기울기와의 차이를 계산한다. x좌표, y좌표, 기울기의 차이를 비교하여 x축 이동, y축 이동, z축 회전, 로봇팔 구동 중 가장 적절한 동작으로 결정한다.
- 기본 동작들을 기반으로 협업작업과 조립작업에 대한 실험을 진행하였다. Fig.
- 18(a)는 로봇1에서부터 100 cm 떨어진 지점을 도착 지점으로 잡고 영상처리로 위치 보정을 하도록 빨간 블록을 위치시킨 모습이다. 기존 로봇의 웹캠(USB-CAM 720P) 우측에 고성능 카메라 센서(Logitech C920)를 부착하여 2 mm 눈금을 눈으로 읽는 방법으로 로봇의 위치를 측정하였다. Figs.
- 로봇1 로봇팔의 작업 공간 이 협소하여 로봇2의 로봇팔을 2번에 나눠 회전시키는 과정이 필요하였다. 두 로봇이 상대 로봇의 동작 완료 상태를 확인하기 위 해 flag_completion 변수를 공유하였다. 로봇2의 그리퍼의 가용범위는 32~85 mm이고, 로봇1의 그리퍼의 가용 범위는 ~95 mm 이므로 블록의 가로 길이는 로봇2 그리퍼의 가용 범위를, 세로 길이는 로봇1 그리퍼의 가용 범위를 넘지 않아야 하며 높이는 40 mm가 적당하였다.
- 따라서 Fig. 13과 같이 관심 물체를 벗어나지 않도록 기존 사각형의 가로/3×세로/2만큼을 새로운 영역으로 잡고 이 영역 내부에 NaN이 아닌 값에 대해서만 평균을 구해 물체까지의 거리 값을 얻었다.
- 1 pixel 의 오차도 허용하지 않고 접근이동을 할 경우, 정밀도는 충분히 만족하나 소요시간은 약 2~3배 정도 증가하는데, 이는 정밀도와 소요 시간 사이에 trade-off가 발생한 것이다. 따라서, 소요 시간을 줄이기 위해 오차한계내로 오차범위를 맞추어 2~3 pixel의 허용오차를 두었다. Table 2에 이동에 소요된 시간을, Table 3에 블록잡 기와 블록놓기에 소요된 시간을 정리하였다.
- Table 1에 각 방향에 대한 측정값들의 오차범위를 표준편차로 정리하였다. 또한 블록을 20 cm, 50 cm, 100 cm 떨어진 지점에 위치시킨 후 영상처리로 접근 이동하는 실험을 진행하였다. 20 cm 떨어진 지점에서는 블록을 45°로 위치시킨 추가 실험을 진행하였는데, 이때 영상처리 결과의 오차범위는 0.
- 3개의 블록을 작업대에 조립하는 조립 작업을 수행하기 위해 서로 다른 형태의 로봇 두 대를 제작하였다. 로봇1은 조립 작업을 맡고 로봇2는 운반 작업을 맡아 보조 역할을 수행하도록 설계, 제작하였다.
- 블록을 잘 잡는 위치로 정밀하게 움직여야 하기 때문에 제한 속도는 로봇이 안정적으로 움직이는 최저 속도로 하였다. 로봇1의 로봇팔은 부드러운 움직임을 만들기 위해 사다리꼴 속도 프로파일을 적용하고 각도 값에 대해 PID 제어를 하였다. 시리얼통신 명령어 처리 주기는 10 ms, PID 제어 주기는 20 ms로 하였다.
- 블록은 빨간색, 초록색, 파란색 순서대로 조립하며 쓰러진 블록이 없는 것으로 제한하였으며, 순서대로 로봇 1에서부터 10 cm, 15 cm, 20 cm 떨어져 있고, 작업대는 30 cm 떨어져 있다. 로봇1의 웹캠에 관심 물체가 잡히지 않은 경우에는 Kinect 센서의 RGB 영상에서 관심 물체를 찾도록 하였다. 협업 작업과 마찬가지로 조립작업에서도 소요된 시간을 기본 동작들에 소요되는 시간의 합으로 계산하여 Table 5에 정리하였다.
- 로봇2의 센서는 정면을 향해야 하고, 쓰러진 블록을 90°에 가깝게 회전해야 하며, 로봇1의 그리퍼의 작업 공간에 들어갈 수 있도록 로봇 팔을 설계, 제작하였다.
- 블록과 작업대는 카메라 영상처리로 인식하였고 y방향 sobel 필터를 적용해 블록의 수평 모서리로부터 블록의 각도를 측정할 수 있었다. 로봇에서부터 블록까지의 상대 위치 정보로 로봇의 위치를 보정하였다.
- 로봇에서부터 블록까지의 상대 위치 측정을 위해 RGB 데이터 에서 관심 블록을 먼저 검출하고 depth 데이터로 블록까지의 거리를 측정하였다. Fig.
- 로봇을 10 cm씩 x축(전진, 후진), y축(좌측, 우측) 병진 이동과 90° 회전(CCW, CW) 이동 시 실제 이동량을 측정하였다.
- 로봇의 속도(ux , uy , wz)를 등속으로 제한하고 모터 구동 시간을 조절하여 엔코더 없이 오픈 루프로 위치 제어를 하였다.
- x좌표, y좌표, 기울기의 차이를 비교하여 x축 이동, y축 이동, z축 회전, 로봇팔 구동 중 가장 적절한 동작으로 결정한다. 로봇이 목표 위치에 도달 했으면 로봇팔을 구동하고 그렇지 않으면 중요도가 가장 높은 이동이 이루어지도록 하였다.
- . 로봇팔의 구동 모터를 1개로 제한하였고 Fig. 5와 같이 원하는 평면 궤적을 따라 움직이도록 slider-crank(4절 링크) 구조로 설계하였다. 이때 end-effector는 블록을 여러 층으로 조립하기 위해 항상 수평을 유지하도록 하였다.
- 서로 다른 형태의 로봇 두 대를 직접 설계 및 제작 하고, 두 대의 로봇이 서로 협력하여 조립 작업을 수행하는 시스템을 구현하였다. 모바일 형태의 다개체 로봇을 연결하기 위해 무선랜을 이용하고 로봇 미들웨어이자 TCP/IP 기반의 통신 미들웨어인 ROS로 전체 통신 시스템을 구축하였다. 블록과 작업대를 인식하기 위해 로봇에 부착된 카메라에서 영상 데이터를 수신하여 처리 하였는데, 관심 물체를 검출하여 얻은 중심 좌표와 기울기 값을 토대로 조립 작업을 수행하였다.
- ROS(robot operating system)는 일종의 통신 미들웨어로서, 소프트웨어를 모듈 단위인 노드(node) 단위로 나누어 구성하며 노드들은 TCP/IP 기반으로 토픽(topic)을 발행/구독(publish/subscribe)하는 방식으로 데이터를 송수신한다[7]. 모바일 형태의 다개체 로봇을 연결하는 통신 방법으로 무선랜이 유리하므로 TCP/IP 기반인 ROS로 전체 통신 시스템을 구축하였다. 본 논문에서는 별도의 PC가 server로서 master 역할을 하고 로봇들은 PC 없이 ROS 기반 임베디드 시스 템을 구성하여 PC의 master와 통신하는 하이브리드 구조로 구성하였다[8].
- 로봇1과 로봇2에서는 Ubuntu 위에 ROS가 구동되며 ROS와 C#은 모두 TCP/IP로 통신이 이루어진다. 본 논문에서 Ubuntu는 14.04LTS, ROS는 Indigo 버전으로 개발하였다. 로봇1, 2에서는 로봇에 부착된 카메라에서 수신한 영상 데이터와 로봇의 이동량을 PC의 ROS master로 전달한다.
- 본 논문에서는 별도의 PC가 server로서 master 역할을 하고 로봇들은 PC 없이 ROS 기반 임베디드 시스 템을 구성하여 PC의 master와 통신하는 하이브리드 구조로 구성하였다[8].
- 원하는 평면 궤적은 바닥에 위치한 블록에서부터 작업대의 3층에 위치한 블록까지이다. 블록과 작업대 인식을 위해 RGB 센서가, 로봇의 위치 보정을 위해 depth 센서가 필요하기 때문에 RGBD 센서인 Kinect 센서를 선정하였다. 다양한 Kinect 센서 중 ROS 구동을 고려해 Linux와 호환이 가능하고, 짧은 거리도 측정이 가능한 Primesense Carmine 1.
- 블록과 작업대는 카메라 영상처리로 인식하였고 y방향 sobel 필터를 적용해 블록의 수평 모서리로부터 블록의 각도를 측정할 수 있었다. 로봇에서부터 블록까지의 상대 위치 정보로 로봇의 위치를 보정하였다.
- 모바일 형태의 다개체 로봇을 연결하기 위해 무선랜을 이용하고 로봇 미들웨어이자 TCP/IP 기반의 통신 미들웨어인 ROS로 전체 통신 시스템을 구축하였다. 블록과 작업대를 인식하기 위해 로봇에 부착된 카메라에서 영상 데이터를 수신하여 처리 하였는데, 관심 물체를 검출하여 얻은 중심 좌표와 기울기 값을 토대로 조립 작업을 수행하였다. 쓰러진 블록을 바로 세우는 협력 작업을 구현하였고 로봇 한 대로 주변의 블록을 작업대에 조립하는 실험을 진행하였다.
- 이후 관심 물체 내외부의 노이즈를 제거하기 위해 모폴로지 연산을 수행하였다. 블록의 각도를 알기 위 해 수평 모서리를 추출한 후 hough line 변환을 이용해 직선을 검출하여 직선의 기울기를 계산하였다. 수평 모서리 추출에는 수평 모서리의 y축 밝기 차가 큰 점을 이용하여 y방향 sobel 필터를 적용하였다.
- 본 논문에서는 좀더 구체적으로 블록을 조립하는 작업을 선정하여 연구하였다. 서로 다른 형태의 로봇 두 대를 직접 설계 및 제작 하고, 두 대의 로봇이 서로 협력하여 조립 작업을 수행하는 시스템을 구현하였다. 모바일 형태의 다개체 로봇을 연결하기 위해 무선랜을 이용하고 로봇 미들웨어이자 TCP/IP 기반의 통신 미들웨어인 ROS로 전체 통신 시스템을 구축하였다.
- 블록의 각도를 알기 위 해 수평 모서리를 추출한 후 hough line 변환을 이용해 직선을 검출하여 직선의 기울기를 계산하였다. 수평 모서리 추출에는 수평 모서리의 y축 밝기 차가 큰 점을 이용하여 y방향 sobel 필터를 적용하였다. 모서리 검출에 대표적인 canny edge 알고리즘과 비교하 였을 때 sobel 필터가 더 효과적으로 수평 모서리를 추출하였다.
- 로봇 설계 및 제작, 구동부 제어, ROS 기반 통신 구축, 영상 처리 등 협력 제어에 필요한 모든 요소를 구축하여 제어 시스템을 완성하였다. 실험에서는 접근이동과 블록잡기, 블록놓기 등 로봇들의 기본 동작들에 대한 거리오차와 작업시간을 측정하고, 블록 의 조립 정밀도 2 mm를 만족하면서 로봇의 접근이동에 소요되는 시간을 단축시키도록 영상처리의 오차범위를 2~3 pixel로 조정하였다.
- 로봇의 속도(ux , uy , wz)를 등속으로 제한하고 모터 구동 시간을 조절하여 엔코더 없이 오픈 루프로 위치 제어를 하였다. 실험적으로 일정 시간 동안 로봇의 이동량을 측정하여 로봇의 실제 속도를 계산하였다. 블록을 잘 잡는 위치로 정밀하게 움직여야 하기 때문에 제한 속도는 로봇이 안정적으로 움직이는 최저 속도로 하였다.
- 블록과 작업대를 인식하기 위해 로봇에 부착된 카메라에서 영상 데이터를 수신하여 처리 하였는데, 관심 물체를 검출하여 얻은 중심 좌표와 기울기 값을 토대로 조립 작업을 수행하였다. 쓰러진 블록을 바로 세우는 협력 작업을 구현하였고 로봇 한 대로 주변의 블록을 작업대에 조립하는 실험을 진행하였다. 조립 작업을 수행하는 로봇의 협력 제어를 위해 필요한 요소들로 시스템을 구축하였고, 실행 결과 기본 동작들이 잘 수행됨을 확인하였다.
- 영상 데이터의 통신 부하를 줄이기 위해 영상 해상도를 320×240 pixel로 줄였으며, 영상 데이터의 수신 주기를 고려하여 ROS master에서 영상 처리 주기를 0.2초로 하였다
- 1초가 소요되었다. 위와 같은 방법으로 눈금을 이용하여 로봇의 이동과 관련된 오차 범위를 측정하였다. 로봇을 10 cm씩 x축(전진, 후진), y축(좌측, 우측) 병진 이동과 90° 회전(CCW, CW) 이동 시 실제 이동량을 측정하였다.
- 3가지의 색(빨강, 초록, 파랑)을 가진 블록과 노란색의 작업대를 검출하기 위해 RGB 데이터를 HSV(hue, saturation, value) 데이터로 변환하여 추출하였다. 이후 관심 물체 내외부의 노이즈를 제거하기 위해 모폴로지 연산을 수행하였다. 블록의 각도를 알기 위 해 수평 모서리를 추출한 후 hough line 변환을 이용해 직선을 검출하여 직선의 기울기를 계산하였다.
- 정면을 바라보고 있는 Kinect 센서의 RGB 데이터로 블록의 위치와 각도를 측정하려 했으나 화면에 블록과 작업대의 전체가 잡히지 않는 문제가 있어 로봇1의 로봇팔 상단에 광각렌즈를 부착한 웹캠을 추가하였다. 관심 물체(블록과 작업대)의 contour를 감싸는 직사각형을 구해 관심 물체의 중심 좌표와 각도를 계산하였다.
- 조립 작업을 위한 기본 동작들에 대한 실험을 진행하였다. 기본 동작에는 접근이동, 블록잡기, 블록놓기가 있다.
대상 데이터
- 하위 제어기인 ATmega128이 모터 제어를 맡고, 상위 제어기인 Odroid-U3는 센서 데이터를 수집하며 PC와 무선랜으로 통신한다. Odroid-U3와 ATmega128 간에는 시리얼 통신으로 데이터를 주고받는다. 바퀴와 그리퍼 부분은 로봇1과 로봇2에 공통으로 구성되고, 로봇팔의 경우 로봇1은 DC geared encoder motor로, 로봇2는 Servo motor로 구동한다.
- 다소 좁은 작업 공간을 고려하여 크기가 250 mm×360 mm×302 mm인 소형으로, 질량은 4.2 kg이고 로봇팔 슬라이더의 스트로크는 125 mm이 되도록 제작하였다.
- 블록과 작업대 인식을 위해 RGB 센서가, 로봇의 위치 보정을 위해 depth 센서가 필요하기 때문에 RGBD 센서인 Kinect 센서를 선정하였다. 다양한 Kinect 센서 중 ROS 구동을 고려해 Linux와 호환이 가능하고, 짧은 거리도 측정이 가능한 Primesense Carmine 1.09로 선정하였다.
- 바퀴는 Mecanum wheel을 사용하였다. 로봇의 속도(ux , uy , wz)를 등속으로 제한하고 모터 구동 시간을 조절하여 엔코더 없이 오픈 루프로 위치 제어를 하였다.
- 본 논문에서는 좀더 구체적으로 블록을 조립하는 작업을 선정하여 연구하였다. 서로 다른 형태의 로봇 두 대를 직접 설계 및 제작 하고, 두 대의 로봇이 서로 협력하여 조립 작업을 수행하는 시스템을 구현하였다.
-
2.2 로봇의 설계와 제작
작업 로봇은 로봇1과 로봇2로 총 2대이며 주요 구성 요소에는 바퀴, 로봇팔, Kinect 센서가 있다. 두 로봇의 바퀴, 로봇팔, Kinect 센서는 동일하고 로봇팔은 서로 다른 형태를 가진다.
- 7에 로봇의 하드웨어 구조를 도시하였다. 하위 제어기인 ATmega128이 모터 제어를 맡고, 상위 제어기인 Odroid-U3는 센서 데이터를 수집하며 PC와 무선랜으로 통신한다. Odroid-U3와 ATmega128 간에는 시리얼 통신으로 데이터를 주고받는다.
성능/효과
- 18(c)는 도착 지점에서 C920으로 얻은 영상이다. 눈금을 확인해보면 10 cm 전진 이동 시 실제로 약 9.4 cm 이동한 것을 확인할 수 있다.
- 수평 모서리 추출에는 수평 모서리의 y축 밝기 차가 큰 점을 이용하여 y방향 sobel 필터를 적용하였다. 모서리 검출에 대표적인 canny edge 알고리즘과 비교하 였을 때 sobel 필터가 더 효과적으로 수평 모서리를 추출하였다. Fig.
- 이를 바탕으로 서로 다른 형태의 로봇1, 2가 서로 협력하여 쓰러진 블록을 바로 세우는 협업작업을 수행할 수 있었으며, 이후 로봇 1이 그 블록들을 작업대로 운반 조립하는 과정에 있어서 접근이동과 블록잡기, 블록놓기 등 필요한 기본 동작들을 차례로 수행함으로써 전체 작업도 수행할 수 있었다.
- 쓰러진 블록을 바로 세우는 협력 작업을 구현하였고 로봇 한 대로 주변의 블록을 작업대에 조립하는 실험을 진행하였다. 조립 작업을 수행하는 로봇의 협력 제어를 위해 필요한 요소들로 시스템을 구축하였고, 실행 결과 기본 동작들이 잘 수행됨을 확인하였다.
후속연구
- 두 로봇의 충돌 없이, 영상에서 블록과 작업대가 검출되지 않는 경우에도 작업을 수행할 수 있도록 로봇 주변 환경으로부터 로봇의 위치를 추정할 수 있는 기술이 필요하다. 또 능력이 다른 두 로봇에게 작업을 적절히 분담하여 작업시간을 줄이는 등 협업 알고리즘을 제안하고 성능을 평가하는 연구가 필요하다.
- 향후에는 블록이 멀리 떨어져 있거나 다른 물체에 가려져 있더라도 로봇이 블록까지 이동하기 위한 로봇의 위치 추정 기술에 대한 연구가 진행되어야 할 것이다. 또, 블록과 로봇의 다양한 초기 위치에 따라 해당 경우의 작업시간을 최소화하는 등 로봇1, 2가 최적으로 작업을 분담하는 협업 알고리즘을 고안 및 평가하고 실제 시스템에 적용하는 연구가 진행되어야 할 것이다.
- 향후에는 블록이 멀리 떨어져 있거나 다른 물체에 가려져 있더라도 로봇이 블록까지 이동하기 위한 로봇의 위치 추정 기술에 대한 연구가 진행되어야 할 것이다. 또, 블록과 로봇의 다양한 초기 위치에 따라 해당 경우의 작업시간을 최소화하는 등 로봇1, 2가 최적으로 작업을 분담하는 협업 알고리즘을 고안 및 평가하고 실제 시스템에 적용하는 연구가 진행되어야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.