무인 운반설비의 자동화 시스템 개발의 한 부분으로써 Stereo vision system에 관한 많은 연구가 진행되고 있다. Stereo vision system에서는 영상을 통해 특정 물체를 검색하고 검색된 물체 정보를 기반으로 Edge를 추출하고, 추출된 Edge를 이용하여 물체의 위치적 특징을 찾고 무인크레인이 이동해야할 위치좌표를 전달한다. 본 논문에서는 실제 산업현장에 가장 보편적인 형상인 Slab와 Coil을 기준으로 두 대의 CCD camera를 이용하여 물체의 형상을 인식하고, 무인크레인의 Hookblock부분이 물체의 중심점을 찾는 알고리즘을 개발하였다. 본 논문에서는 Stereo vision system의 카메라 설치 위치에 따라 직교식과 수평식으로 2가지의 방식을 제안, 실험을 하였다. 본 논문에서 제안한 알고리즘은 무인 운반설비의 자동화 시스템 개발에 도움이 될 것으로 기대된다.
무인 운반설비의 자동화 시스템 개발의 한 부분으로써 Stereo vision system에 관한 많은 연구가 진행되고 있다. Stereo vision system에서는 영상을 통해 특정 물체를 검색하고 검색된 물체 정보를 기반으로 Edge를 추출하고, 추출된 Edge를 이용하여 물체의 위치적 특징을 찾고 무인크레인이 이동해야할 위치좌표를 전달한다. 본 논문에서는 실제 산업현장에 가장 보편적인 형상인 Slab와 Coil을 기준으로 두 대의 CCD camera를 이용하여 물체의 형상을 인식하고, 무인크레인의 Hookblock부분이 물체의 중심점을 찾는 알고리즘을 개발하였다. 본 논문에서는 Stereo vision system의 카메라 설치 위치에 따라 직교식과 수평식으로 2가지의 방식을 제안, 실험을 하였다. 본 논문에서 제안한 알고리즘은 무인 운반설비의 자동화 시스템 개발에 도움이 될 것으로 기대된다.
As factory automation is getting popular, there has been a lot of research concerned with stereo vision systems as a part of an automation system with unmanned moving equipment. In the stereo vision system, information about an object could be gained by searching through images. Edges which are base...
As factory automation is getting popular, there has been a lot of research concerned with stereo vision systems as a part of an automation system with unmanned moving equipment. In the stereo vision system, information about an object could be gained by searching through images. Edges which are based on the information about an object are used to find the position of the object and send a message of its position coordinate to a unmanned crain. This thesis proposes an algorithm to find the center point of the object's surface which is connected to the unmanned crain's hookblock, and to recognize the shape of the object by using two CCD cameras. At first, getting information about the edges, and distinguishing each edge's characteristics depend on user's option, and then find the location information by a set of positions that are proposed. This thesis is expected to be devoted to the development of an automation system of unmanned moving equipment.
As factory automation is getting popular, there has been a lot of research concerned with stereo vision systems as a part of an automation system with unmanned moving equipment. In the stereo vision system, information about an object could be gained by searching through images. Edges which are based on the information about an object are used to find the position of the object and send a message of its position coordinate to a unmanned crain. This thesis proposes an algorithm to find the center point of the object's surface which is connected to the unmanned crain's hookblock, and to recognize the shape of the object by using two CCD cameras. At first, getting information about the edges, and distinguishing each edge's characteristics depend on user's option, and then find the location information by a set of positions that are proposed. This thesis is expected to be devoted to the development of an automation system of unmanned moving equipment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
Stereo vision system을 이용하여 두 대의 camera의 시각 방향을 직교식과 수평식으로 설치하여 3차원 위치정보를 획득하는 방식으로 물체의 에지를 추출하고 그 에지정보를 바탕으로 물체의 형태와 종류, 그리고 각 물체의 특징점을 추출한다[3]. 각 특징점을 통한 기하학적인 관계를 계산하여 무인크레인에 필요한 물체의 중심점 좌표를 찾아내는데 주된 목적을 두고 연구를 진행하였다[4]. Giga Ethernet방식을 이용하여 허브를 통해 동시에 여러 개의 카메라를 구동할 수 있게 하였다.
본 논문에서 목적이 무인자동화 설비의 크레인으로 전송하여야하는 물체의 중심점을 검출해 내는 것이다[5]. 본 논문에서는 사각형의 4개의 꼭짓점을 알고 사각형이 그림 9와 같이 주어졌을 때 사각형을 2개의 삼각형으로 나누고, 나누어진 각각의 삼각형의 넓이와 무게중심을 수식 (1)과 수식 (2)를 이용하여 계산하고, 수식 (3)을 이용하여 계산되어진 두 개의 무게중심을 연결하여 각각의 무게중심에서 두 삼각형의 넓이에 반비례되게 그 선분을 등분한 점이 전체 사각형의 무게중심이 되는 방식을 사용하였다.
가설 설정
본 논문에서 사용한 사각형 추출 방식은 그림 8과 같이 왼쪽에서 오른쪽으로 위에서 아래쪽으로 순차적으로 검출하여 꼭짓점의 순서가 정해진다는 가정 하에 모든 알고리즘을 구성하였다. 사각형을 검출할 때 항상 왼쪽 상단의 꼭짓점이 A가되고, 꼭짓점 A를 기준으로 시계방향으로 B, C, D가 순차적으로 지정되어야 한다.
제안 방법
각 특징점을 통한 기하학적인 관계를 계산하여 무인크레인에 필요한 물체의 중심점 좌표를 찾아내는데 주된 목적을 두고 연구를 진행하였다[4]. Giga Ethernet방식을 이용하여 허브를 통해 동시에 여러 개의 카메라를 구동할 수 있게 하였다.
Stereo vision system을 이용하여 두 대의 camera의 시각 방향을 직교식과 수평식으로 설치하여 3차원 위치정보를 획득하는 방식으로 물체의 에지를 추출하고 그 에지정보를 바탕으로 물체의 형태와 종류, 그리고 각 물체의 특징점을 추출한다[3]. 각 특징점을 통한 기하학적인 관계를 계산하여 무인크레인에 필요한 물체의 중심점 좌표를 찾아내는데 주된 목적을 두고 연구를 진행하였다[4].
본 논문에서는 Slab와 Coil의 표면 즉 윗면의 사각형 부분의 중심좌표를 구하고 옆면의 정보를 추가하여 물체의 중심점(x, y, z)값을 찾는다. camera 1에서 입력되는 영상에 사각형 추출 알고리즘을 적용하여 4개의 꼭짓점을 추출하고, 중심점 추출 알고리즘을 적용하여 각 물체의 표면상의 중심점을 구한다. 그리고 camera 2에서 입력되는 영상에서 원의 중심점 추출 알고리즘을 적용하여 원의 중심점과 지름을 추출하고 사각형 추출 알고리즘을 적용하여 사각형 정보를 추출한다.
Hough Circle Transform 방식의 입력영상에서 아무런 전처리 없이 원을 찾으면 많은 경우의 원들을 나타내게 된다. 그래서 본 논문에서는 입력영상에 Edge를 추출하고 Gaussian smoothing 처리로 잡음을 최소화 하여 가장 뚜렷한 원형을 찾게 하였다. Hough Circle Transform 방식에서 반지름의 크기를 알 때와 모를 때 2가지로 나누어, 확장형 검출 방식과 반지름 적용 검출 방식으로 구분된다.
수평식은 카메라의 위치적 특성 때문에 한 픽셀의 크기가 카메라 설치 지점으로부터 멀어질수록 픽셀의 크기가 선형적으로 변화한다. 그래서 실측자료를 측정하여 픽셀의 위치에 따른 실측 중심값을 추출하였다.
여기서 추출된 두 개의 사각형에서 각 사각형의 AB길이와 CD길이를 두 점간의 거리를 구하는 공식으로 구해낸다. 그리고 AB길이와 CD길이의 차가 기준치 이하이면 Coil로 인식하고 기준치보다 크면 Slab로 인식하여 각 사각형의 중심점을 계산한다. 그리고 camera 1과 camera 2에서 얻어진 각각의 중심점을 평균하여 각 물체의 (x, y, z)좌표를 추출하며 Coil은 BC/2를 z값으로 한다.
본 논문에서는 Ethernet card(1000Mbps랜카드)에 허브를 설치하고, 2대의 CCD camera를 연결하여 사용하는 Giga Ethernet방식을 선택 하였다. 그리고 Giga Ethernet 방식의 특성상 먼저 입력되는 신호를 최초화면으로 출력하기 때문에 camera구동 시 camera 1과 camera 2의 구분을 위하여 제품의 고유한 번호인 MAC(Media Access Control)주소를 지정하여 각각의 camera번호를 지정하여 camera 1이 왼쪽화면에 camera 2가 오른쪽 화면에 출력되도록 해주었다.
camera 1에서 입력되는 영상에 사각형 추출 알고리즘을 적용하여 4개의 꼭짓점을 추출하고, 중심점 추출 알고리즘을 적용하여 각 물체의 표면상의 중심점을 구한다. 그리고 camera 2에서 입력되는 영상에서 원의 중심점 추출 알고리즘을 적용하여 원의 중심점과 지름을 추출하고 사각형 추출 알고리즘을 적용하여 사각형 정보를 추출한다. 그리고 camera 1과 camera 2에서 각 꼭짓점 간의 거리를 구한다.
그리고 추출된 사각형의 꼭짓점의 좌표를 알아내고 찾아진 꼭짓점을 이용하여 중심점을 찾아내고, 꼭짓점 정보를 분석하여 Slab와 Coil을 구분한다. 그리고 각각의 카메라에서 추출된 정보를 비교 계산하여 Slab와 Coil의 (x, y, z)좌표를 검출한다.
Stereo vision system에서 얻어진 데이터들을 처리하여 원하는 정보를 찾아낸다. 그리고 실험에서는 산업현장에서 가장 많이 사용하는 형태인 Slab와 Coil을 이용하여 실험을 하였다.
알고리즘 실행 시 camera 1과 camera 2 각각의 사각형 추출 알고리즘을 적용하여 각각의 카메라에서 두 개의 사각형을 검출한다. 그리고 추출된 사각형의 꼭짓점의 좌표를 알아내고 찾아진 꼭짓점을 이용하여 중심점을 찾아내고, 꼭짓점 정보를 분석하여 Slab와 Coil을 구분한다. 그리고 각각의 카메라에서 추출된 정보를 비교 계산하여 Slab와 Coil의 (x, y, z)좌표를 검출한다.
본 논문에서는 Ethernet card(1000Mbps랜카드)에 허브를 설치하고, 2대의 CCD camera를 연결하여 사용하는 Giga Ethernet방식을 선택 하였다. 그리고 Giga Ethernet 방식의 특성상 먼저 입력되는 신호를 최초화면으로 출력하기 때문에 camera구동 시 camera 1과 camera 2의 구분을 위하여 제품의 고유한 번호인 MAC(Media Access Control)주소를 지정하여 각각의 camera번호를 지정하여 camera 1이 왼쪽화면에 camera 2가 오른쪽 화면에 출력되도록 해주었다.
본 논문에서는 Slab와 Coil의 표면 즉 윗면의 사각형 부분의 중심좌표를 구하고 옆면의 정보를 추가하여 물체의 중심점(x, y, z)값을 찾는다. camera 1에서 입력되는 영상에 사각형 추출 알고리즘을 적용하여 4개의 꼭짓점을 추출하고, 중심점 추출 알고리즘을 적용하여 각 물체의 표면상의 중심점을 구한다.
그림 12는 알고리즘을 적용하여 추출된 원을 보여준다. 본 논문에서는 반지름의 범위를 지정하여 적당한 범위 안에서 증가시켜 작은 잡음에 민감하지 않고, 실행 시간을 단축시켰다.
본 논문에서 목적이 무인자동화 설비의 크레인으로 전송하여야하는 물체의 중심점을 검출해 내는 것이다[5]. 본 논문에서는 사각형의 4개의 꼭짓점을 알고 사각형이 그림 9와 같이 주어졌을 때 사각형을 2개의 삼각형으로 나누고, 나누어진 각각의 삼각형의 넓이와 무게중심을 수식 (1)과 수식 (2)를 이용하여 계산하고, 수식 (3)을 이용하여 계산되어진 두 개의 무게중심을 연결하여 각각의 무게중심에서 두 삼각형의 넓이에 반비례되게 그 선분을 등분한 점이 전체 사각형의 무게중심이 되는 방식을 사용하였다.
본 논문에서는 실용적인 측면을 고려하여 확장형 검출 방식을 적용하여 실험하였다.
본 논문은 “무인 운반하역설비의 자동화 시스템 개발” 의 한 부분으로써 CCD camera를 통해 작업공간상에 놓여져 있는 Slab와 Coil의 3차원 위치좌표를 추출하였다.
그리고 직교식과 수평식 방식에서 사각형을 인식하고 그 사각형의 정보인 4개의 꼭짓점 값과 사각형의 중심을 찾아내는 알고리즘은 가장 중요한 부분을 차지한다. 사각형을 검출하는 방법은 Canny 연산자를 통하여 세선화 된 Edge 영상에서 검출된 각 부분의 X방향 벡터와 Y방향 벡터를 구하고, 두 벡터가 만나는 점과 각 벡터방향의 2개의 점을 찾아서, 세개의 점을이용하여 각점들 사이의거리를 구한다. 코사인 제 2법칙을 이용하여 중심점의 cos θ 값을 구하고 그 값은 0 ≦｜cos θ｜≦ 1 의 범위를 가진다.
직교식 Stereo vision 방식에서는 camera 1은 두 개의 사각형 정보와 2차원 즉 x, y 좌표를 추출하였고, camera 2는 하나의 원과 하나의 사각형 정보 그리고 z 좌표를 추출하여 최종적인 Slab와 Coil의 3차원 위치좌표를 구하였다. 수평식 Stereo vision 방식에서는 거리에 따른 픽셀의 크기가 다르게 적용되므로 간단한 비례식을 통하여 보완을 하고 최종적으로 Slab와 Coil의 3차원 위치좌표를 구하였다. 향후에는 camera 사이의 끼인각을 줄여 최종적으로는 인간의 시각방향에 근접하도록 Stereo vision system을 구현할 계획이며 그 결과 무인 운반설비의 자동화 시스템 개발에 상당한 도움이 될 것이고 더 나아가 로봇 시각 발전에도 큰 도움이 될 것으로 생각한다[6].
순차적인 꼭짓점의 순서를 만들기 위해서 간단한 알고리즘을 적용하여 항상 본 논문의 알고리즘에 적합하게 만들어 주었다. 추출된 4개의 꼭짓점을 (X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4)라 가정할 때, 각 꼭짓점의 X항과 Y항의 합이 최소인 점을 꼭짓점 A로 하고 최대인 점을 꼭짓점 C로 정한다.
수평식 카메라의 구성도는 그림 16과 같이 camera 1과 camera 2를 설치하고, 각각의 카메라의 중심점은 물체가 위치하는 면의 중심점과 일치하게 설치하여, 같은 넓이를 입력 받는다. 알고리즘 실행 시 camera 1과 camera 2 각각의 사각형 추출 알고리즘을 적용하여 각각의 카메라에서 두 개의 사각형을 검출한다. 그리고 추출된 사각형의 꼭짓점의 좌표를 알아내고 찾아진 꼭짓점을 이용하여 중심점을 찾아내고, 꼭짓점 정보를 분석하여 Slab와 Coil을 구분한다.
수평식 알고리즘을 실행하면 그림 17과 같이 원근법에 의해 직사각형 형태와 사다리꼴 형태의 에지영상이 추출된다. 이러한 각 물체에 따른 에지의 형태 차이를 이용하여Slab와 Coil을 구분하였다. 그림 17 처럼 Coil의 경우 원근의 영향을 받지 않아 직사각형이 검출되고 Slab의 경우 원근의 영향으로 인해 사다리꼴 형태로 검출이 되는 것을 볼 수 있다.
직교식 스테레오 비전 방식으로 장비를 구성하고 각 알고리즘을 적용시켜 원하는 정보를 추출하고, 추출된 정보를 계산한 좌표값과 실제로 측정한 실측값을 비교 하였다. 그림 15는 실험한 화면으로 각 카메라에서 입력되는 영상에서 원하는 형상을 인식하고 각각의 정보를 얻어내며 최종적으로 Slab와 Coil의 위치좌표를 검출해 내었다.
대상 데이터
본 논문에서 사용한 Stereo vision 장비는 CCD camera 2대, 넓은화각을 가진 왜곡이 보정된 렌즈, Ethernet card, 허브, 전력 공급 장치, 전력 케이블, 데이터 케이블, 영상 장비 거치대로 구성되어진다. vision camera는 Toshiba Giant 시리즈 CSGX36BC3 CCD camera를 사용하여 작업 공간을 관측할 수 있다.
데이터처리
수평식 Stereo vision 방식으로 장비를 구성하고 각 알고리즘을 적용시켜 원하는 정보를 추출하고, 추출된 정보를 계산한 좌표값과 실제로 측정한 실측값을 비교하였다. 그림 18은 실험한 화면으로 각 카메라에서 입력되는 영상에서 원하는 형상을 인식하고 각각의 정보를 얻어내며 최종적으로 Slab와 Coil의 위치좌표를 검출해 내었다.
이론/모형
마스크는 Sobel, Prewitt, Roberts등이 대표적인 예이다. 본 논문에서는 Edge의 속성을 보다 잘 나타내어주는 Sobel 마스크를 사용하였다. 대부분의 Edge 검출 마스크는 잡음에 대하여 매우 민감한 특성을 가지고 있어서 작은 잡음도 Edge로 검출한다.
본 논문에서는 Hough Circle Transform을 이용하여 원을 인식하였다. Hough Circle Transform 방식은 추출한 Edge 정보(픽셀의 위치)에서 수식 (4)를 적용하여 모든 Edge 선분의 점에서 반지름을 0에서부터 증가시켜 동심원을 그리고 그림 10의 중심점에서 중첩되게 되면 그 지점을 원의 중심으로 하고 원의 반지름을 저장한다.
후속연구
본 논문에서 실험 대상으로 Slab와 Coil의 구분을 위해서 사각형 추출이 요구된다. 그리고 직교식과 수평식 방식에서 사각형을 인식하고 그 사각형의 정보인 4개의 꼭짓점 값과 사각형의 중심을 찾아내는 알고리즘은 가장 중요한 부분을 차지한다.
수평식 Stereo vision 방식에서는 거리에 따른 픽셀의 크기가 다르게 적용되므로 간단한 비례식을 통하여 보완을 하고 최종적으로 Slab와 Coil의 3차원 위치좌표를 구하였다. 향후에는 camera 사이의 끼인각을 줄여 최종적으로는 인간의 시각방향에 근접하도록 Stereo vision system을 구현할 계획이며 그 결과 무인 운반설비의 자동화 시스템 개발에 상당한 도움이 될 것이고 더 나아가 로봇 시각 발전에도 큰 도움이 될 것으로 생각한다[6].
질의응답
핵심어
질문
논문에서 추출한 답변
물체의 위치좌표 추출에 이용하는 Sobel 마스크은 무엇에 민감한 특징을 갖는가?
그리고 Sobel 마스크는 대표적인 1차 미분의 기울기 연산자로써, 영상의 Edge를 검출할 뿐만 아니라 영상을 부드럽게 하는 효과도 가지고 있다. 또한 대각선 Edge에 민감한 특징을 가진다.
본 연구에서 CCD camera로 인식하려는 대상은 무엇인가?
CCD camera를 통하여 인식해야 하는 물체는 산업현장에서 가장 많이 사용되는 형태로 Slab와 Coil이다. 그림 3은 Slab와 Coil의 외형을 보여준다.
본 연구에서 사용한 Stereo vision 장비는 무엇으로 구성되는가?
본 논문에서 사용한 Stereo vision 장비는 CCD camera 2대, 넓은화각을 가진 왜곡이 보정된 렌즈, Ethernet card, 허브, 전력 공급 장치, 전력 케이블, 데이터 케이블, 영상 장비 거치대로 구성되어진다. vision camera는 Toshiba Giant 시리즈 CSGX36BC3 CCD camera를 사용하여 작업 공간을 관측할 수 있다.
참고문헌 (6)
김기범, "스트레오 비젼을 이용한 3차원 물체 측정에 관한 연구", 서울산업대학교, 2002.
Tea-Sik Kim,Yong-Ho Kim,"Recognition of 3D Object Used by Stereo Vision System", The collection of Chinju Tech.Col.j.Vol.19, pp.945-968, 1996.
윤희주, "이동물체 추적을 위한 스테레오 비젼 정합 기법", 부산대학교 대학원 석사학위 논문, 2006.
Jae Sang Yoon,Choi Kyung Jin, "Relative Position Estimation Using Stereo Vision Sensor", The Journal of KyungHee-Davan ASIC Design Education Center, Vol.3, 2002.
Jung-Hwan Ko and Sung-Il Kim,"Automous Mobile Robot System Using Adaptive Spatial Coordinates Detection Scheme based on Stereo Camera", 한국통신학회논문지Vol.31 No.1C, pp.26-35, 2006.
Juck Sik Lee, "Depth Extraction of Convergent -Looking Stereo Image Based on the Human Visual System", 한국통신학회논문지, 02.2, Vol.27, No.4
※ AI-Helper는 부적절한 답변을 할 수 있습니다.