선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 복잡 형상을 가진 물체나 비닐 포장과 같은 유연 물체 인식을 위하여 인식 작업대 환경을 구축하고 조명 변화에 따른 물체 영상 데이터베이스를 구축하여 실제 환경에서 다중 복잡 형상 물체를 인식할 수 있는 인식 방법 및 각도 추정 방법에 대하여 제안하였다. 주변 조명 영향으로 인하여 물체 내부나 물체 주변에 생기는 그림자 영향을 최소화하고 물체 표면 재질에 따른빛 반사 영향을 최소화하기 위한 영상 전처리 및 다양한 물체 인식 대상 클래스 수에 무관하게 물체가 가지는 고유 특징 정보를 잘 반영할 수 있는 특징 추출 방법 및 인식 방법을 제안하였다.
- 반사 재질을 가지는 물체의 경우 조명 영향으로 물체 영역 내부의 명도 레벨이 불규칙해지는 현상이 발생하므로 영상을 국소 영역으로 나누어각 국소 영역에 대한 화소의 명도값 분포에 따라 임계치를 설정하여 조명 영향으로 인해 왜곡된 물체 영역 검출에 효과적인 적응적 이진화 방법을 사용하였다. 본 논문에서는 적응적 이진화 방법 가운데 가장 우수한 성능을 가진 Sauvola 방법을 개선한 알고리즘을 이용하여 물체 영역 검출을 위한 이진화 과정을 수행하였다. 영상 개선 작업을 수행한 명도 레벨 물체 영상에 식 (2)와 같이 개선된 Sauvola 적응적 이진화 방법을 적용하여 이진 영상을 생성하였다.
- 본 논문에서는 주변 조명 영향으로 인하여 물체 내부나 물체 주변에 생기는 그림자 영향을 최소화하고 물체 표면 재질에 따른 빛 반사 영향을 최소화하기 위한 인식 작업 환경 설정 및 영상 개선 알고리즘을 적용하여 물체 영역을 검출하도록 하였다. 또한, 물체의 종류 및 물체가 놓이는 자세 정보에 따라 나타나는 인식 대상 클래스 수에 무관하게 물체가 가지는 고유 특징 정보를 잘 반영할 수 있는 특징 추출 방법 및 인식 방법을 제안하였다.
제안 방법
- 20 먼저, 가우시안 필터링을 사용하여 잡음에 덜 민감한 영상으로 스무딩한 후 물체 영상의 에지 추출을 위하여 식 (1)에 나타난 DoG (Difference of Gaussian) 필터를 적용하여 조명 영향으로 왜곡된 물체 영상의 명도 대비 정도에 덜 민감하게 에지 성분이 보존된 이진 영상을 생성하도록 하였다. 식 (1)에서 가우시안 연산의 분산값을 서로 다르게 설정하고 그 차이를 이용하여 물체 영상의 에지를 추출하였다.
- 또한, Viola와 Jones의 적분 영상 개념을 도입하여 국소 영역의 크기에 관계없이 평균과 표준 편차를 고속으로 계산할 수 있도록 하였다.8 명도 레벨 물체 영상에서 적응적 이진화 방법을 적용하여 이진 영상을 생성할 때 아래의 그림에서와 같이 Viola와 Jones의 적분 영상 개념을 도입하여 국소 영역의 크기에 관계없이 평균과 표준 편차를 계산하여 이진 영상을 생성함으로써 마스크에 의한 영상 이진화 생성 방법에 비해 고속으로 연산할 수 있도록 하였다.
- 1과 같이 구성하였다. Fig. 1의 작업대 환경에서 비정형 물체 및 반사 재질을 가지는 다중 복잡 형상 물체들을 이용한 학습용 데이터베이스 구축과 다중 물체 인식기 학습 및 테스트 물체 영상을 이용하여 물체 영역을 검출하고 물체의 종류를 식별하여 인식한 다음 자세를 추정하였다. 인식 대상이 되는 물체는 이어폰이나 USB 케이블과 같은 복잡 형상 물체 및 비닐 포장된 유연 물체를 포함하고 있다.
- 2는 물체 인식에 사용된 물체 영상 샘플을 나타낸 것이다. Fig. 2의 물체들을 Fig. 1의 작업대 환경에 올려놓고 조명 조건이나 물체의 자세 정보에 제한을 두지 않고 물체 영상을 획득하여 물체 영역을 검출하고 인식 및 자세 추정 실험을 수행하였다. 다중 물체 학습 단계에서는 조명 조건을 달리하면서 물체가 놓여진 자세에 따라 일정 각도를 회전시켜가면서 획득한 다중 물체 영상들을 이용하였다.
- 교차 특징은 l 개의 라인으로 물체의 윤곽선을 수평 또는 수직 방향으로 각각 스캐닝 했을 때 만나는 화소의 분포를 계산하여 구하였다. 거리 특징은 p 개의 라인을 이용하여 수평 및 수직 방향으로 물체 영역을 스캐닝 할 때 물체 영역을 둘러싸는 외접 사각형으로부터 첫 번째 에지 성분까지 거리 분포를 이용하여 계산하였다. 투영 특징은 q개의 라인을 이용하여 물체 영역을 수평 및 수직 방향으로 투영했을 때 누적되는 에지 화소 개수들의 분포를 계산하여 Fig.
- 그물망 특징은 물체 영역을 수직 및 수평 방향에 대하여 mxn 영역으로 분할하고 각 분할 영역에서 구한 화소 개수들의 분포를 계산하여 구하였다. 교차 특징은 l 개의 라인으로 물체의 윤곽선을 수평 또는 수직 방향으로 각각 스캐닝 했을 때 만나는 화소의 분포를 계산하여 구하였다. 거리 특징은 p 개의 라인을 이용하여 수평 및 수직 방향으로 물체 영역을 스캐닝 할 때 물체 영역을 둘러싸는 외접 사각형으로부터 첫 번째 에지 성분까지 거리 분포를 이용하여 계산하였다.
- 그물망 특징은 물체 영역을 수직 및 수평 방향에 대하여 mxn 영역으로 분할하고 각 분할 영역에서 구한 화소 개수들의 분포를 계산하여 구하였다. 교차 특징은 l 개의 라인으로 물체의 윤곽선을 수평 또는 수직 방향으로 각각 스캐닝 했을 때 만나는 화소의 분포를 계산하여 구하였다.
- 학습에 사용된 물체 영상들은 시간 경과 및 조명 변화를 고려하여 120일 정도의 시간을 경과하면서 아침부터 저녁까지 자연 조명 또는 인공 조명을 사용하여 물체의 자세 정보 및 회전 각도를 변화시켜가며 획득한 것이다. 다양한 패턴의 물체 영상을 선택하여 물체 영역을 추출하고 신경망을 학습시킨 다음 학습에 사용하지 않은 물체 영상 샘플들을 이용하여 인식 성능을 테스트하였다.
- 다중 복잡 형상 물체 인식 시스템은 입력 물체 영상의 특성이 일부 왜곡되더라도 물체의 특성을 최대한 보존시키기 위한 영상 전처리 단계를 거쳐 물체 검출 및 특징 추출을 통해 물체를 인식하도록 하였으며 인식 단계에서 물체가 놓인 다양한 자세 정보 및 회전 각도로 인해 나타나는 다양한 물체 유형에 강인하게 인식할 수 있는 세부 유형별 다중 물체 인식 및 자세 추정이 이루어질 수 있도록 하였다.
- 다중 복잡 형상 물체를 시각 센서로 획득하여 인식하기 위하여 영상 전처리, 물체 영역 검출, 물체 특징 추출 및 물체 인식 단계를 거쳐 물체의 자세를 추정하도록 하였다. Fig.
- 5 사이 값으로 설정하였다. 또한, Viola와 Jones의 적분 영상 개념을 도입하여 국소 영역의 크기에 관계없이 평균과 표준 편차를 고속으로 계산할 수 있도록 하였다.8 명도 레벨 물체 영상에서 적응적 이진화 방법을 적용하여 이진 영상을 생성할 때 아래의 그림에서와 같이 Viola와 Jones의 적분 영상 개념을 도입하여 국소 영역의 크기에 관계없이 평균과 표준 편차를 계산하여 이진 영상을 생성함으로써 마스크에 의한 영상 이진화 생성 방법에 비해 고속으로 연산할 수 있도록 하였다.
- 추출된 물체 영역에 대하여 수직 및 수평 방향으로 mxn 형태로 영역을 분할하고 각 분할된 영역에 분포하는 화소 개수의 분포를 계산하여 전체 물체 영역의 크기에 해당되는 화소값으로 나누어 정규화된 값을 계산하여 물체의 형상 정보가 반영된 통계적 특징 벡터를 생성하였다. 또한, 물체의 윤곽선을 수평 또는 수직 방향으로 스캐닝 했을 때 만나는 화소의 분포 및 물체 영역을 둘러싸는 외접 사각형으로부터 물체 윤곽선까지의 거리 분포를 추출하여 국소 영역에 대한 물체의 구조적인 특징 정보가 반영된 특징 벡터를 생성하였다. 물체의 기하학적 특징 정보를 추출하기 위하여 물체의 형상 정보로부터 전역 물체 영역에 대한 통계적 특징 추출 및 국소 물체 영역에 대한 구조적 특징 정보를 추출하여 결합된 물체 특징 벡터를 생성하도록 하였다.
- 본 논문에서는 주변 조명 영향으로 인하여 물체 내부나 물체 주변에 생기는 그림자 영향을 최소화하고 물체 표면 재질에 따른 빛 반사 영향을 최소화하기 위한 인식 작업 환경 설정 및 영상 개선 알고리즘을 적용하여 물체 영역을 검출하도록 하였다. 또한, 물체의 종류 및 물체가 놓이는 자세 정보에 따라 나타나는 인식 대상 클래스 수에 무관하게 물체가 가지는 고유 특징 정보를 잘 반영할 수 있는 특징 추출 방법 및 인식 방법을 제안하였다. 표면 반사 특성이 있는 다중 부품을 인식하고 각도를 추정하기 위한 방법으로 배면광 조명을 설치하여 빛 반사 영향을 최소화하여 영상을 입력하도록 하였다.
- 배경 영역에서도 다수의 에지 성분이 검출되지만 블럽 분석을 통하여 비닐이나 조명 영향으로 나타난 불연속 에지 성분이나 잡음으로 간주되는 에지 성분을 제거하였다. 물체 영역에 해당되는 블럽들을 추출하기 위하여 블럽영역에 대한 해석을 통하여 다중 물체들을 각 개별 물체 영역으로 검출하도록 하였다. 이때, 개별 물체 영역 검출을 위하여 merge-and-split 방법을 이용하여 이웃하는 물체 영역은 분리하고 한 개 물체 영역에 해당하는 블럽들은 결합하도록 하였다.
- 인식 대상 물체가 비정형 물체인 경우 물체의 전역 또는 국소 영역에서 특징 정보를 추출하여 특징 벡터를 구성하도록 하였다. 물체가 가지는 형태의 다양성으로 인한 물체 인식률의 저하를 개선하고자 물체 유형을 세부적으로 분할하여 인식하는 방법을 사용하였다. 물체가 놓인 자세를 정확하게 추정하기 위하여 센트랄 모멘트를 이용하여 물체의 중심점을 지나는 최대 축 정보를 추출하도록 하였다.
- 표면 반사 특성이 있는 다중 부품을 인식하고 각도를 추정하기 위하여 결합된 이진화 방법을 적용하였으며 배면광 조명을 설치하여 빛 반사 재질로 인한 물체 영상의 왜곡을 최소화할 수 있도록 하였다. 물체가 가지는 형태의 다양성으로 인한 물체 인식률의 저하를 개선하고자 물체 유형을 세부적으로 분할하여 인식하는 방법을 사용하였으며 비정형 물체의 각도 추정을 위하여 물체의 중심점을 지나는 최대 축 정보를 추출하도록 하였다. 제안된 방법의 타당성을 검증하기 위하여 배면광 조명 및 자연광에서 획득한 ETRI 물체 영상 데이터베이스를 이용하여 학습한 다음 인식 성능을 평가 하였다.
- 물체가 놓인 자세 정보와 회전각에 따라 물체 유형을 분류하고 각 물체 유형에 따라 통계적 및 구조적인 특징 정보를 추출하여 물체를 인식하도록 하였다. 추출된 물체 영역에 대한 크기 정규화 과정을 거친 후 그물망(mesh), 교차(crossing), 거리(distance) 및 투영(projection) 특징을 추출하여 신경망의 입력으로 사용하였다.
- 물체가 가지는 형태의 다양성으로 인한 물체 인식률의 저하를 개선하고자 물체 유형을 세부적으로 분할하여 인식하는 방법을 사용하였다. 물체가 놓인 자세를 정확하게 추정하기 위하여 센트랄 모멘트를 이용하여 물체의 중심점을 지나는 최대 축 정보를 추출하도록 하였다. 제안된 방법의 타당성을 검증하기 위하여 다양한 조명 조건하에서 획득한 ETRI 물체 영상 데이터베이스를 이용하여 학습한 다음 인식 성능을 평가하도록 하였다.
- 추출된 물체 영역에 대한 크기 정규화 과정을 거친 후 그물망(mesh), 교차(crossing), 거리(distance) 및 투영(projection) 특징을 추출하여 신경망의 입력으로 사용하였다. 물체마다 놓일 수 있는 자세 정보와 회전 각도를 고려하여 각 물체마다 세부 물체 유형으로 분류한 다음 샘플 영상들을 선택하여 학습 및 테스트 영상으로 사용하였다. 학습에 사용된 물체 영상들은 시간 경과 및 조명 변화를 고려하여 120일 정도의 시간을 경과하면서 아침부터 저녁까지 자연 조명 또는 인공 조명을 사용하여 물체의 자세 정보 및 회전 각도를 변화시켜가며 획득한 것이다.
- 또한, 물체의 윤곽선을 수평 또는 수직 방향으로 스캐닝 했을 때 만나는 화소의 분포 및 물체 영역을 둘러싸는 외접 사각형으로부터 물체 윤곽선까지의 거리 분포를 추출하여 국소 영역에 대한 물체의 구조적인 특징 정보가 반영된 특징 벡터를 생성하였다. 물체의 기하학적 특징 정보를 추출하기 위하여 물체의 형상 정보로부터 전역 물체 영역에 대한 통계적 특징 추출 및 국소 물체 영역에 대한 구조적 특징 정보를 추출하여 결합된 물체 특징 벡터를 생성하도록 하였다.
- 물체의 중심점에서의 센트랄 모멘트값을 추출하고 최대축을 계산하여 물체의 회전각을 추출하도록 하였다. 복잡형상물체의 최대축의 기울기 추정을 위하여 먼저 물체 영역의 외곽선을 추출한 다음 수평 및 수직 방향으로 존재하는 화소의 거리를 각각 더하여 평균한 값으로 물체의 중심점을 추출하였다.
- 반사 재질을 가지는 물체의 경우 조명 영향으로 물체 영역 내부의 명도 레벨이 불규칙해지는 현상이 발생하므로 영상을 국소 영역으로 나누어각 국소 영역에 대한 화소의 명도값 분포에 따라 임계치를 설정하여 조명 영향으로 인해 왜곡된 물체 영역 검출에 효과적인 적응적 이진화 방법을 사용하였다. 본 논문에서는 적응적 이진화 방법 가운데 가장 우수한 성능을 가진 Sauvola 방법을 개선한 알고리즘을 이용하여 물체 영역 검출을 위한 이진화 과정을 수행하였다.
- 표면 반사 특성이 있는 다중 부품을 인식하고 각도를 추정하기 위한 방법으로 배면광 조명을 설치하여 빛 반사 영향을 최소화하여 영상을 입력하도록 하였다. 배면광의 조도를 조절하여 비닐 포장으로 인한 빛 반사 영향은 줄이고 물체 내부의 특징 정보는 보존하여 물체 영역을 추출하도록 하였다. 인식 대상 물체가 비정형 물체인 경우 물체의 전역 또는 국소 영역에서 특징 정보를 추출하여 특징 벡터를 구성하도록 하였다.
- 이때, 개별 물체 영역 검출을 위하여 merge-and-split 방법을 이용하여 이웃하는 물체 영역은 분리하고 한 개 물체 영역에 해당하는 블럽들은 결합하도록 하였다. 보다 명확한 물체 영역 검출을 위하여 배면광을 설치하여 빛 반사로 인한 영상 왜곡을 제거하도록 하였다. 자연광과 배면광에서의 물체 영역 검출 결과를 Fig.
- 물체의 중심점에서의 센트랄 모멘트값을 추출하고 최대축을 계산하여 물체의 회전각을 추출하도록 하였다. 복잡형상물체의 최대축의 기울기 추정을 위하여 먼저 물체 영역의 외곽선을 추출한 다음 수평 및 수직 방향으로 존재하는 화소의 거리를 각각 더하여 평균한 값으로 물체의 중심점을 추출하였다. 물체의 중심점을 통과하는 물체의 최대축은 센트랄 모멘트 cm20, cm02, cm11로부터 다음의 식 (3) 및 (4)와 같이 계산하였다.
- 비닐이 쌓인 다중 복잡 형상 물체 영역을 검출하기 위하여 국소 영역에 대한 물체의 명도 분포를 계산하여 적응적으로 국소 영역을 이진화하는 방법과 물체의 에지 성분을 최대한 추출하기 위하여 DoG 필터를 적용하여 추출한 에지 이진 영상을 결합하여 이진화한 영상을 이용하여 물체 영역을 추출하도록 하였다. 배경 영역에서도 다수의 에지 성분이 검출되지만 블럽 분석을 통하여 비닐이나 조명 영향으로 나타난 불연속 에지 성분이나 잡음으로 간주되는 에지 성분을 제거하였다.
- 비정형 물체에 대한 자세 추정을 위하여 물체의 외곽선 정보를 추출하여 Fig. 6과 같이 물체의 중심점 및 최대 축 정보를 추출하여 자세를 추정하였다.
- 실제 작업 환경의 조명 영향이나 주변 환경 요소를 분석하여 적응적으로 영상을 보정하고 개선하여 주변 조명 영향으로 인한 영상 왜곡을 개선할 수 있는 적응적 이진화 및 이차 미분 필터를 사용하여 물체 영역을 검출한 다음 물체의 실루엣을 추출하도록 하였다.20 먼저, 가우시안 필터링을 사용하여 잡음에 덜 민감한 영상으로 스무딩한 후 물체 영상의 에지 추출을 위하여 식 (1)에 나타난 DoG (Difference of Gaussian) 필터를 적용하여 조명 영향으로 왜곡된 물체 영상의 명도 대비 정도에 덜 민감하게 에지 성분이 보존된 이진 영상을 생성하도록 하였다.
- 양팔 로봇의 작업 대상인 다중 물체의 종류를 식별하여 인식하고 자세를 추정하기 위하여 시각 센서를 이용한 다중 물체 인식 및 데이터베이스 획득을 위한 작업대를 Fig. 1과 같이 구성하였다. Fig.
- 물체 영역에 해당되는 블럽들을 추출하기 위하여 블럽영역에 대한 해석을 통하여 다중 물체들을 각 개별 물체 영역으로 검출하도록 하였다. 이때, 개별 물체 영역 검출을 위하여 merge-and-split 방법을 이용하여 이웃하는 물체 영역은 분리하고 한 개 물체 영역에 해당하는 블럽들은 결합하도록 하였다. 보다 명확한 물체 영역 검출을 위하여 배면광을 설치하여 빛 반사로 인한 영상 왜곡을 제거하도록 하였다.
- 기존에 개발된 물체 인식은 모델 기반이나 규칙 기반 방법을 사용하여 물체의 형태 특징 정보나 화소 비교를 통하여 물체를 인식하였다. 입력된 영상 내에 존재하는 에지나 코너 점을 추출하여 인식 대상 물체의 특징 정보와 비교하여 물체 영역을 검출하여 인식하거나 물체 영상 내의 화소 분포를 계산하여 인식 대상 물체의 특징과 비교하여 가장 유사한 물체로 매칭하도록 하는 방법을 사용하였다.11-20 물체 인식 방법으로는 인공 신경망(Artificial Neural Network), 최근접 분류기(Nearest Neighbor Classifier), 의사 결정 나무(Decision tree) 등이 이용되어 왔다.
- 물체가 놓인 자세를 정확하게 추정하기 위하여 센트랄 모멘트를 이용하여 물체의 중심점을 지나는 최대 축 정보를 추출하도록 하였다. 제안된 방법의 타당성을 검증하기 위하여 다양한 조명 조건하에서 획득한 ETRI 물체 영상 데이터베이스를 이용하여 학습한 다음 인식 성능을 평가하도록 하였다.
- 제안한 물체 인식 시스템의 성능을 분석하기 위하여 ETRI에서 구축한 데이터베이스를 이용하여 물체 영역 검출 성능 및 인식 성능을 평가하였다.
- 본 논문에서는 복잡 형상을 가진 물체나 비닐 포장과 같은 유연 물체 인식을 위하여 인식 작업대 환경을 구축하고 조명 변화에 따른 물체 영상 데이터베이스를 구축하여 실제 환경에서 다중 복잡 형상 물체를 인식할 수 있는 인식 방법 및 각도 추정 방법에 대하여 제안하였다. 주변 조명 영향으로 인하여 물체 내부나 물체 주변에 생기는 그림자 영향을 최소화하고 물체 표면 재질에 따른빛 반사 영향을 최소화하기 위한 영상 전처리 및 다양한 물체 인식 대상 클래스 수에 무관하게 물체가 가지는 고유 특징 정보를 잘 반영할 수 있는 특징 추출 방법 및 인식 방법을 제안하였다. 표면 반사 특성이 있는 다중 부품을 인식하고 각도를 추정하기 위하여 결합된 이진화 방법을 적용하였으며 배면광 조명을 설치하여 빛 반사 재질로 인한 물체 영상의 왜곡을 최소화할 수 있도록 하였다.
- 추출된 물체 영역에 대하여 수직 및 수평 방향으로 mxn 형태로 영역을 분할하고 각 분할된 영역에 분포하는 화소 개수의 분포를 계산하여 전체 물체 영역의 크기에 해당되는 화소값으로 나누어 정규화된 값을 계산하여 물체의 형상 정보가 반영된 통계적 특징 벡터를 생성하였다. 또한, 물체의 윤곽선을 수평 또는 수직 방향으로 스캐닝 했을 때 만나는 화소의 분포 및 물체 영역을 둘러싸는 외접 사각형으로부터 물체 윤곽선까지의 거리 분포를 추출하여 국소 영역에 대한 물체의 구조적인 특징 정보가 반영된 특징 벡터를 생성하였다.
- 물체가 놓인 자세 정보와 회전각에 따라 물체 유형을 분류하고 각 물체 유형에 따라 통계적 및 구조적인 특징 정보를 추출하여 물체를 인식하도록 하였다. 추출된 물체 영역에 대한 크기 정규화 과정을 거친 후 그물망(mesh), 교차(crossing), 거리(distance) 및 투영(projection) 특징을 추출하여 신경망의 입력으로 사용하였다. 물체마다 놓일 수 있는 자세 정보와 회전 각도를 고려하여 각 물체마다 세부 물체 유형으로 분류한 다음 샘플 영상들을 선택하여 학습 및 테스트 영상으로 사용하였다.
- 거리 특징은 p 개의 라인을 이용하여 수평 및 수직 방향으로 물체 영역을 스캐닝 할 때 물체 영역을 둘러싸는 외접 사각형으로부터 첫 번째 에지 성분까지 거리 분포를 이용하여 계산하였다. 투영 특징은 q개의 라인을 이용하여 물체 영역을 수평 및 수직 방향으로 투영했을 때 누적되는 에지 화소 개수들의 분포를 계산하여 Fig. 5와 같은 특징 벡터를 추출하도록 하였다.
- 주변 조명 영향으로 인하여 물체 내부나 물체 주변에 생기는 그림자 영향을 최소화하고 물체 표면 재질에 따른빛 반사 영향을 최소화하기 위한 영상 전처리 및 다양한 물체 인식 대상 클래스 수에 무관하게 물체가 가지는 고유 특징 정보를 잘 반영할 수 있는 특징 추출 방법 및 인식 방법을 제안하였다. 표면 반사 특성이 있는 다중 부품을 인식하고 각도를 추정하기 위하여 결합된 이진화 방법을 적용하였으며 배면광 조명을 설치하여 빛 반사 재질로 인한 물체 영상의 왜곡을 최소화할 수 있도록 하였다. 물체가 가지는 형태의 다양성으로 인한 물체 인식률의 저하를 개선하고자 물체 유형을 세부적으로 분할하여 인식하는 방법을 사용하였으며 비정형 물체의 각도 추정을 위하여 물체의 중심점을 지나는 최대 축 정보를 추출하도록 하였다.
- 또한, 물체의 종류 및 물체가 놓이는 자세 정보에 따라 나타나는 인식 대상 클래스 수에 무관하게 물체가 가지는 고유 특징 정보를 잘 반영할 수 있는 특징 추출 방법 및 인식 방법을 제안하였다. 표면 반사 특성이 있는 다중 부품을 인식하고 각도를 추정하기 위한 방법으로 배면광 조명을 설치하여 빛 반사 영향을 최소화하여 영상을 입력하도록 하였다. 배면광의 조도를 조절하여 비닐 포장으로 인한 빛 반사 영향은 줄이고 물체 내부의 특징 정보는 보존하여 물체 영역을 추출하도록 하였다.
대상 데이터
- 물체 인식을 위한 신경망을 구현하기 위해서 물체 영상 데이터베이스에 포함된 5 종류의 물체에 대해 자세 정보 및 물체의 회전 각도까지 고려한 180개 물체 유형에 대하여 각 23개의 물체 영상 샘플들을 추출하여 학습에 사용하였다. 신경망의 입력으로 그물망 특징 56개, 교차 특징 22개, 거리 특징 44개 및 투영 특징 22개, 즉 전체 144개의 특징을 사용하였고 은닉층 뉴런의 개수는 실험에 따라 150개를 선정하였다.
- 물체 인식을 위한 신경망을 구현하기 위해서 물체 영상 데이터베이스에 포함된 5 종류의 물체에 대해 자세 정보 및 물체의 회전 각도까지 고려한 180개 물체 유형에 대하여 각 23개의 물체 영상 샘플들을 추출하여 학습에 사용하였다. 신경망의 입력으로 그물망 특징 56개, 교차 특징 22개, 거리 특징 44개 및 투영 특징 22개, 즉 전체 144개의 특징을 사용하였고 은닉층 뉴런의 개수는 실험에 따라 150개를 선정하였다.
- 복잡형상물체 인식 시스템의 인식 성능을 평가하기 위하여 ETRI에서 구축한 데이터베이스 영상에서 640x480 크기의 영상 4,140장을 선정하여 학습시키고 2,880장의 영상에 대해 테스트해본 결과 96% 인식률 및 5% 이내의 자세 추정 오차를 얻을 수 있었다. 학습 및 테스트에 사용한 영상은 Fig. 1과 같은 작업대에서 조명 조건 및 영상 획득 시간을 달리하면서 획득한 데이터베이스 영상을 사용하였다. 학습에 사용된 영상은 배면광 및 자연 조명하에서 획득한 영상을 이용하였으며 테스트에 사용한 영상은 배면광을 설치하고 획득한 물체 영상 1,440장과 배면광을 설치하지 않고 자연 조명 조건에서 획득한 물체 영상 1,440장을 이용하여 시뮬레이션하고 그 결과를 분석하였다.
- 물체마다 놓일 수 있는 자세 정보와 회전 각도를 고려하여 각 물체마다 세부 물체 유형으로 분류한 다음 샘플 영상들을 선택하여 학습 및 테스트 영상으로 사용하였다. 학습에 사용된 물체 영상들은 시간 경과 및 조명 변화를 고려하여 120일 정도의 시간을 경과하면서 아침부터 저녁까지 자연 조명 또는 인공 조명을 사용하여 물체의 자세 정보 및 회전 각도를 변화시켜가며 획득한 것이다. 다양한 패턴의 물체 영상을 선택하여 물체 영역을 추출하고 신경망을 학습시킨 다음 학습에 사용하지 않은 물체 영상 샘플들을 이용하여 인식 성능을 테스트하였다.
- 1과 같은 작업대에서 조명 조건 및 영상 획득 시간을 달리하면서 획득한 데이터베이스 영상을 사용하였다. 학습에 사용된 영상은 배면광 및 자연 조명하에서 획득한 영상을 이용하였으며 테스트에 사용한 영상은 배면광을 설치하고 획득한 물체 영상 1,440장과 배면광을 설치하지 않고 자연 조명 조건에서 획득한 물체 영상 1,440장을 이용하여 시뮬레이션하고 그 결과를 분석하였다.
데이터처리
- 물체가 가지는 형태의 다양성으로 인한 물체 인식률의 저하를 개선하고자 물체 유형을 세부적으로 분할하여 인식하는 방법을 사용하였으며 비정형 물체의 각도 추정을 위하여 물체의 중심점을 지나는 최대 축 정보를 추출하도록 하였다. 제안된 방법의 타당성을 검증하기 위하여 배면광 조명 및 자연광에서 획득한 ETRI 물체 영상 데이터베이스를 이용하여 학습한 다음 인식 성능을 평가 하였다. 실내 작업대를 구축하고 획득한 물체 영상 샘플 4,140장을 선정하여 학습하고 2,880장의 물체 영상 샘플들을 선정하여 인식 실험해 본 결과 96% 인식률을 얻을 수 있었다.
이론/모형
- 본 논문에서는 적응적 이진화 방법 가운데 가장 우수한 성능을 가진 Sauvola 방법을 개선한 알고리즘을 이용하여 물체 영역 검출을 위한 이진화 과정을 수행하였다. 영상 개선 작업을 수행한 명도 레벨 물체 영상에 식 (2)와 같이 개선된 Sauvola 적응적 이진화 방법을 적용하여 이진 영상을 생성하였다.
성능/효과
- 학습시킨 물체 영상에 대해 인식 실험해 본 결과 인식률은 전체 물체 영상에 대해서 100%의 인식률을 확인할 수 있었다. 배면광을 사용하여 획득한 영상 1,440장과 자연 조명에서 획득한 물체 영상 1,440장에 대한 Top1 인식률은 총 영상 샘플 2,880장 가운데 2,751장을 인식하여 총 96%의 인식률을 나타내었다.
- 복잡형상물체 인식 시스템의 인식 성능을 평가하기 위하여 ETRI에서 구축한 데이터베이스 영상에서 640x480 크기의 영상 4,140장을 선정하여 학습시키고 2,880장의 영상에 대해 테스트해본 결과 96% 인식률 및 5% 이내의 자세 추정 오차를 얻을 수 있었다. 학습 및 테스트에 사용한 영상은 Fig.
- 실험 결과 비교적 안정적인 물체 인식 성능을 나타내고 있으나 비닐 포장된 물체에 대해서는 조명에 대한 빛 반사 영향으로 인해 물체의 특성 일부가 왜곡되어 오인식이 나타났다. 본 논문에서 구현한 물체 인식 시스템은 입력 영상으로부터 물체 영역을 검출하고 인식하는데 평균 0.033초가 소요되어 실시간 물체 인식 시스템에 효율적으로 사용될 수 있음을 확인할 수 있었다.
- 최근 생산 현장에서 숙련된 작업자가 수행하던 고도의 작업을 지능형 로봇이 대신함으로써 제조 비용 절감, 납기 단축, 숙련된 작업자 감소 등 제조업이 안고 있는 문제를 해결하고 생산시스템의 경쟁력이 향상됨에 따라 지능형 로봇 도입에 대한 움직임이 확대되고 있는 추세이다. 산업용 로봇의 지능화는 비전 센서를 포함한 각종 센서들의 사용과 제어 기술 및 IT 기술의 발전에 기인한 것으로써 비전 센서를 이용한 산업용 로봇의 지능화는 부품 조립 작업의 자동화에 적용되어 전용 부품 공급 장치를 설치하지 않고도 기계 부품 조립 작업을 자동으로 수행할 수 있어서 생산 현장에서의 지능 로봇 실용화가 가능하게 되었다.1-7
- 제안된 방법의 타당성을 검증하기 위하여 배면광 조명 및 자연광에서 획득한 ETRI 물체 영상 데이터베이스를 이용하여 학습한 다음 인식 성능을 평가 하였다. 실내 작업대를 구축하고 획득한 물체 영상 샘플 4,140장을 선정하여 학습하고 2,880장의 물체 영상 샘플들을 선정하여 인식 실험해 본 결과 96% 인식률을 얻을 수 있었다. 온라인상으로 물체인식 실험을 수행한 결과 인식 속도는 0.
- 실험 결과 비교적 안정적인 물체 인식 성능을 나타내고 있으나 비닐 포장된 물체에 대해서는 조명에 대한 빛 반사 영향으로 인해 물체의 특성 일부가 왜곡되어 오인식이 나타났다. 본 논문에서 구현한 물체 인식 시스템은 입력 영상으로부터 물체 영역을 검출하고 인식하는데 평균 0.
- 실내 작업대를 구축하고 획득한 물체 영상 샘플 4,140장을 선정하여 학습하고 2,880장의 물체 영상 샘플들을 선정하여 인식 실험해 본 결과 96% 인식률을 얻을 수 있었다. 온라인상으로 물체인식 실험을 수행한 결과 인식 속도는 0.033초 정도 소요되어 실시간 처리가 가능함을 확인할 수 있었다.
- 학습시킨 물체 영상에 대해 인식 실험해 본 결과 인식률은 전체 물체 영상에 대해서 100%의 인식률을 확인할 수 있었다. 배면광을 사용하여 획득한 영상 1,440장과 자연 조명에서 획득한 물체 영상 1,440장에 대한 Top1 인식률은 총 영상 샘플 2,880장 가운데 2,751장을 인식하여 총 96%의 인식률을 나타내었다.
후속연구
- 특히, 반사 재질 부품의 경우 3차원 물체 데이터 획득 및 물체의 윤곽 정보 획득에 많은 어려움이 있다. 물체의 위치나 깊이 정보를 보다 정확히 추출할 수 있는 비전 센서, 필터, 조명 등이 최적의 조건으로 갖추어진 인식 작업대 구성과 물체의 위치 및 자세 추정 알고리즘 개발이 진행될 예정이다.
- 향후 실제 환경에서 보다 강인한 물체 인식 시스템 구현을 위한 기술 개발이 계속 진행될 것이다. 아울러 다중 복잡 형상 물체의 빈피킹을 위한 연구가 수행될 것이다. 현재까지 빈피킹 기술은 2D 및 3D 입력 센서로 획득한 영상으로부터 물체의 위치 및 자세 정보를 추정하여 물체를 집어내는 방법이 연구되어왔다.
- 다양한 형태의 물체 종류, 물체 표면 재질, 주변 조명 영향 등은 인식률을 저하시키는 요인으로 작용한다. 향후 실제 환경에서 보다 강인한 물체 인식 시스템 구현을 위한 기술 개발이 계속 진행될 것이다. 아울러 다중 복잡 형상 물체의 빈피킹을 위한 연구가 수행될 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.