선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그리고 두 개의 학습기를 캐스캐이드로 활용함으로써 Negative 부품(즉 부품이 없는 영상)을 더 높은 확률로 검출하기 위해서이다. 이러한 두 개의 학습된 분류기는 그림 8과 같이 검사모드에서 캐스캐이드 형태로 연결되어 Negative 부품 영상을 검출하게 된다.
- 아침-저녁 및 비오는 날과 맑은 날 등의 다양한 날씨 변화에 의하여 공장내부의 조명변화가 심하다고할 수 있다. 본 논문에서는 이러한 조명의 변화가 심한 환경에서도 자동차의 부품 유-무를 머신비전검사장비로 검사할 수 있는 머신비전처리 알고리즘에 관한 연구이다. 실제검사하고자 흐]는 생산공정은 총 4개의 생산 공정으로 그림 2와 그림 3에 나타내었다.
- 본 논문에서는 조명의 변화가 매우 심한 실제 자동차부품 생산현장에서 조립되는 다양한 종류의 자동차 부품 유무를 검사할 수 있는 머신비전검사 방법을 제안하였다. 최근에 새롭게 건축되는 공장 생산라인의 경우는 생산라인에서 활용될 수 있는 비전장비 활용을 고려하여 최대한 외부의 조명영향을 배제한 공장설계가 이루어지기도 하지만, 예전에 건축된 공장 생산라인의 경우 외부 조명의 영향이 매우 심하다고 할 수 있다.
제안 방법
- 학습에 사용된 선별적 특징 벡터들은 기존의 화소 밝기값을 기본으로 화소들을 에지처리한 에지특징 그리고 그림 7과 같은 피라미드식 Haar-like 특징들, HOG (Histogram of Oriented Gradient) 특징들[6]을 함께 사용 하였다. 피라미드식 Haar-like 특징들은 그림 7(a)에 나타내었듯이, 원본 학습영상의 크기와 원본학습영상의 크기를 1/2 크기와 1/4 크기로 줄인 영상에서의 3가지 Haar-like 특징을 추출하여 학습하였다. HOG 특징값은 어떤 물체(부품) 영상이 갖는 지역적인 밝기값 그래디언트 분포 특성을 추출하여 부품을 식별할 수 있는 특징으로 본 논문에서는 그림 7(b)와 같이 원본 영상을 9등분하고 각 영역마다 8개 방향으로의 그래디언트 히스토그램을 추출하여, 총 72차원의 벡터를 학습 데이터로 사용했다.
- 이에 본 논문에서는 이러한 불균일 그림 5. 20-1 공정에서 400장(5일간의 데이터)의 검사영상의 화 하고, 변화가 심한 조명의 문제를 해결하고, 자동차 부품유무 판별의 정확도를 높일 수 있는 개선된 비전검사 알고리즘을 제안한다.
- 개선된 머신비전검사 알고리즘의 가장 큰 특징은 기존의 SVM 학습기 대신 아다부스트(AdaBoost) 알고리즘[4]과 kNN 학습 알고리즘[5]을 사용한 것과 영상 학습에서 Pos谊ve/Negative 학습샘플 영상의 모든 화소를 그대로 학습한 것이 아니라 영상의 화소 밝기값과 더불어 각 부품 별로 변별력이 있는 선택적 특징벡터들(Selective Feature Vectors)를 새롭게 추출하여 그 선별적인 특징벡터들을 학습샘플로 사용하였다는 것이다. 학습에 사용된 선별적 특징 벡터들은 기존의 화소 밝기값을 기본으로 화소들을 에지처리한 에지특징 그리고 그림 7과 같은 피라미드식 Haar-like 특징들, HOG (Histogram of Oriented Gradient) 특징들[6]을 함께 사용 하였다.
- 개선된 자동차 썬루프 프레임 부품 유무 머신비전방법의성능 평가는 실제 공장 생산라인에 설치된 머신비전검사장비에서 실험하였다. 자동차 부품 유무 머신비전검사장비의 구성은 2개의 산업용 카메라세트와 PC 기반의 머신비전검사 응용 프로그램으로 구성되고, 검사대상에 따라서 카메라사양 및 카메라 수를 차별적으로 적용가능하다.
- 학습 영상촬영 단계에서 부품이 정상인 영상(Positive 영상)과 부품이 없는 영상(Negative 영상)을 처음 각각 3장씩 사용하였고, 각각 약간씩 다른 조명 상태로 촬영한 것들이다. 그리고 생산 및 검사 과정에서 오류가 발생하는 영상들을 새롭게 재수집하여 재학습(re-learning)과정을 수행하여 학습 분류기의 성능을 계속해서 향상시켰다. 처리 속도에 있어서 학습에 걸리는 시간은 평균 한 부품 당 약 15초 정도 소요되었다.
- 그리고 제안된 머신비전 학습알고리즘과 분류방법은 분류 대상 주변의 모든 윈도우를 검색하기 때문에 분류대상의 위치를 정확하게 정렬하지 않아도 부품 유무에 대한 분류의 정확도를 높일 수 있는 방법이면서, 부품의 종류에 상관없이 사용할 수 있는 검사방법이다.
- 본 논문의 구성은 먼저 II 장에서는 기존 썬루프 비전검사 방법[1]의 문제점을 분석하고, Ill 장에서는 기존의 비전검사 방법의 문제점을 해결할 수 있는 개선된 비전검사 방법을 제안한다. 제안된 새로운 머신비전 검사 방법을 실제 생산라인에서 11일간 실험한 실험결과는 Ⅳ 장에서 기술하였고, 마지막으로 Ⅴ 장에서는 결론을 맺는다.
- 실제 생산라인에서 비전검사장비가 오검출할 수 있고(즉검사 정확도가 만족되지 않은 상황), 오검출이 많으면 자동화 생산라인을 멈추게 되어 생산성이 매우 떨어지는 문제점이 있기 때문에 Negative 영상에 해당하는 상태의 검출율을 높이기 위해 캐스캐이드 형의 최종 부품 유무 결정방법을 선택하게 되었다.
- 실제 이전 선행연구[1]의 실험실 환경에서 개발된 비전검사 시스템을 실제 공장의 생산라인 현장에 설치한 후 다양한 실험을 거쳐 개선된 자동차 부품유무 비전검사장비를 개발하였다. 일반적인 머신비전시스템에서 가장 중요한 요소 중의 하나가 균일하고 일정한 조명의 선택이다.
- 실험실 환경에서 개발된 자동차 썬루프 부품 유무 비전검사 알고리즘[1]의 성능을 개선하기 위해 그림 6과 같이 새롭게 개선된 부품 유무 머신비전검사 알고리즘을 제안한다. 개선된 머신비전검사 알고리즘의 가장 큰 특징은 기존의 SVM 학습기 대신 아다부스트(AdaBoost) 알고리즘[4]과 kNN 학습 알고리즘[5]을 사용한 것과 영상 학습에서 Pos谊ve/Negative 학습샘플 영상의 모든 화소를 그대로 학습한 것이 아니라 영상의 화소 밝기값과 더불어 각 부품 별로 변별력이 있는 선택적 특징벡터들(Selective Feature Vectors)를 새롭게 추출하여 그 선별적인 특징벡터들을 학습샘플로 사용하였다는 것이다.
- 이러한 썬루프 프레임 생산현장에서 썬루프 프레임의 일부 부품®(볼트 등)이 누락되는 품질문제가 종종 발생한다. 이러한 문제를 해결하기 위해 기존에는 자동화 생산라인을 벗어나 기계적인 지그장치들[1]을 이용하여 수동으로 부품들의 유무를 샘플링검사하였다. 이러한 기계적인 지그장치를 활용한 샘플링 검사의 부정확성 및 썬루프 프레임 제조 생산성 문제를 해결하기 위해 이전 연구[1]에서 부품들의 유-무를 실제 조립생산라인에서 온라인으로 전수 검사할 수 있는 머신비전시스템을 제안하였다.
- 정상적으로 부품들이 조립된 썬루프 프레임 Positive 학습 영상들(4개의 공정)과 부품들이 제거된 Negative 학습 영상들을 초기 학습데이터로 수집하여, 본 논문에서 새롭게 제안한 개선된 머신 비전검사 방법으로 학습데이터들에서 각 부품별 특징벡터들을 추출한 후, 두 개의 학습기 (AdaBoost 및 RNN 학습알고리즘)를 학습시켰다.
- 학습모드는 다양한 검사영역에 대해 학습알고리즘을 통하여 부품이 있는 영상과 부품이 없는 영상 학습샘플들을 통하여 학습하는 단계이고, 검사모드는 학습모드 단계에서 학습된 분류기 (SVM 분류기) 로 검사영상에서 실제 부품의 유무를 검사하는 과정이다. 제안된 방법은 그 어떤 부품의 종류도 상관없이 차체의 모든 부분(예컨대 바퀴, 문, 엔진 룸 등)어】 적용될 수 있으며, 해당 차체에 사용되는 모든 부품(예, 볼트-너트)의 검출에 적용될 수 있는 학습기반의 부품 유무 분류기이다.
- 제안된 자동차 부품 유무 비전검사 시스템[1]은 SVM (Support Vector Machine)이라는 기계학습 알고리즘[3]을 활용하고, 다양한 조명상황에서의 학습데이터를 이용하여 학습시킨 부품 유무 분류기(classi如)를 이용하여 실제검사영상에서 부품 유무를 검사하였다. 하지만 조명의 변화가 매우 심하고, 로봇 작업 둥으로 인한 카메라 설치 위치와 균일한 조명밝기 유지 둥의 어려움으로 인해 실험실 환경에서의 결과와 실제 생산현장에서의 부품 유무 검사의 정확성은 다소 떨어지는 문제점이 발생하였다.
- 처리 속도에 있어서 학습에 걸리는 시간은 평균 한 부품 당 약 15초 정도 소요되었다. 하지만 학습된 분류기를 이용하여 실제 검사에 소요되는 시간은 한 장면당(최대 검사 부품 수: 39개 부품) 최대 0.5 초 내외로 검사가 가능하여, 머신비전검사 장비에 의한 생산성에는 영향이 없도록 설계하였다.
대상 데이터
- 피라미드식 Haar-like 특징들은 그림 7(a)에 나타내었듯이, 원본 학습영상의 크기와 원본학습영상의 크기를 1/2 크기와 1/4 크기로 줄인 영상에서의 3가지 Haar-like 특징을 추출하여 학습하였다. HOG 특징값은 어떤 물체(부품) 영상이 갖는 지역적인 밝기값 그래디언트 분포 특성을 추출하여 부품을 식별할 수 있는 특징으로 본 논문에서는 그림 7(b)와 같이 원본 영상을 9등분하고 각 영역마다 8개 방향으로의 그래디언트 히스토그램을 추출하여, 총 72차원의 벡터를 학습 데이터로 사용했다.
- 그림 3. 썬루프 프레 임 제조 30 공정 : 16개의 부품검사.
- 그림 2. 썬루프프레임 제조20 공정 : 74개의 부품검사.
- 하드웨어는 인텔 i7 CPU를 사용하였고, 카메라는 2대의 16M CMOS 센서의 GigE 카메라를 사용하였다. 학습 영상촬영 단계에서 부품이 정상인 영상(Positive 영상)과 부품이 없는 영상(Negative 영상)을 처음 각각 3장씩 사용하였고, 각각 약간씩 다른 조명 상태로 촬영한 것들이다.
- CMOS 센서의 GigE 카메라를 사용하였다. 학습 영상촬영 단계에서 부품이 정상인 영상(Positive 영상)과 부품이 없는 영상(Negative 영상)을 처음 각각 3장씩 사용하였고, 각각 약간씩 다른 조명 상태로 촬영한 것들이다. 그리고 생산 및 검사 과정에서 오류가 발생하는 영상들을 새롭게 재수집하여 재학습(re-learning)과정을 수행하여 학습 분류기의 성능을 계속해서 향상시켰다.
이론/모형
- 개선된 머신비전검사 알고리즘의 가장 큰 특징은 기존의 SVM 학습기 대신 아다부스트(AdaBoost) 알고리즘[4]과 kNN 학습 알고리즘[5]을 사용한 것과 영상 학습에서 Pos谊ve/Negative 학습샘플 영상의 모든 화소를 그대로 학습한 것이 아니라 영상의 화소 밝기값과 더불어 각 부품 별로 변별력이 있는 선택적 특징벡터들(Selective Feature Vectors)를 새롭게 추출하여 그 선별적인 특징벡터들을 학습샘플로 사용하였다는 것이다. 학습에 사용된 선별적 특징 벡터들은 기존의 화소 밝기값을 기본으로 화소들을 에지처리한 에지특징 그리고 그림 7과 같은 피라미드식 Haar-like 특징들, HOG (Histogram of Oriented Gradient) 특징들[6]을 함께 사용 하였다. 피라미드식 Haar-like 특징들은 그림 7(a)에 나타내었듯이, 원본 학습영상의 크기와 원본학습영상의 크기를 1/2 크기와 1/4 크기로 줄인 영상에서의 3가지 Haar-like 특징을 추출하여 학습하였다.
성능/효과
- 그리고 그림 3의 30-1 공정은 8개의 부품 그리고 30-2공정은 8개의 부품을 검사한다. 결과적으로 한 개의 썬루프 프레임 제조과정에서 총 90개의 부품 유-무를 머신비전 검사 시스템으로 검사하여야 한다.
- 선행 연구에서는 개별 부품에 대한 정확도만 추정했기 때문에 99% 이상의 정확도 성능을 보여주었지만 개별 부품이 모인 검사 장비에 대해서는 기대에 못 미치는 성능을 보여주었다. 반면에 제안하는 방법에서는 시간이 지날수록 재학습의 효과와 함께 캐스케이드 형태의 비전검사 판별기의 설계로 성능이 향상되는 결과를 볼 수 있었다.
- 실제 생산현장에서 머신비전 장비의 신뢰성을 확보하기 위해서는 이러한 외부 조명의 영향을 극복할 수 있는 강인한 머신비전 알고리즘의 개발이 필요하다. 본 논문에서 새롭게 개선된 다양한 종류의 부품 유무검사 방법은 부품별 선택적인 특징벡터들을 활용한다는 점과 다양한 환경에서 수집된 학습데이터를 활용한 학습기반의 비전 알고리즘이라는 점에서 의미가 있다고 할 수 있다.
- 실험실 환경에서는 거의 대부분의 부품검사에서 99% 이상의 부품유무 판별 정확도를 보였지만, 실제 생산라인에서는 평균적으로 약 92% 정도의 정확도를 보였다. 기본적으로 정확도가 떨어진 가장 큰 이유는 그림 1에서처럼 실제 생산라인의 제조환경이 외부 빛의 영향이 매우 심한 환경이기 때문이다.
- 하나는 충분한 학습데이터를 확보하는 것이다. 이에 본 논문에서 제안된 방법은 분류 대상 주변의 이미지를 네거티브 학습영상으로 활용했기 때문에 따로 네거티브 학습영상을 특별히 많이 수집하는 번거로움을 피할 수 있었다. 향 후 제안된 부품 유무 비전 검사 시스템을 자동차 썬루프프레임 뿐만 아니라 다른 부품 조립 현장에서도 쉽게 응용 할 수 있도록 할 예정이다.
- 제안한다. 제안된 새로운 머신비전 검사 방법을 실제 생산라인에서 11일간 실험한 실험결과는 Ⅳ 장에서 기술하였고, 마지막으로 Ⅴ 장에서는 결론을 맺는다.
- 제안된 학습기반의 머신비전 검사방법을 실제 생산라인에 적용한 결과 실험실 환경에서 실험한 결과에 비해 검사 정확성이 다소 떨어지는 문제점이 실제 발생하였다. 실험실 환경에서는 거의 대부분의 부품검사에서 99% 이상의 부품유무 판별 정확도를 보였지만, 실제 생산라인에서는 평균적으로 약 92% 정도의 정확도를 보였다.
- 부품 대비 정확도란 개별 부품에 대한 정확도로서 99% 이상을 보여주지만 최소 8개 이상의 부품이 모여진 하나의 썬루프(검사장비)에 대해서는 단 하나의 부품이라도 잘못 검사가 되면 오류로 판별되기 때문에 정확도가 떨어진다. 처음 검사 장비에 대한 정확도는 약 90% 정도에서 마지막 10일차에는 거의 99.6%의 검사 정확도를 보여줌을 확인할 수 있다. 그 이유는 검사 오류 영상에 대한 재학습 기능을 활용함으로써 잘못 판별한 검사영상을 재학습함으로써 학습기의 성능이 시간이 갈수록 높아졌기 때문이다.
후속연구
- 이에 본 논문에서 제안된 방법은 분류 대상 주변의 이미지를 네거티브 학습영상으로 활용했기 때문에 따로 네거티브 학습영상을 특별히 많이 수집하는 번거로움을 피할 수 있었다. 향 후 제안된 부품 유무 비전 검사 시스템을 자동차 썬루프프레임 뿐만 아니라 다른 부품 조립 현장에서도 쉽게 응용 할 수 있도록 할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.