얼라인(Align) 보정은 제품 생산 전/후 빈번하게 사용되는 머신비전 기술 중 하나이다. 본 논문에서는 생산품에 각인된 마커(Marker) 또는 생산품에 존재하는 유니크한 패턴을 이용하여 생산품의 각도와 위치를 고속으로 판별하고 보정하는 방법을 제안하였다. 본 논문에서 사용한 방법은 템플릿매칭(Template Matching)의 속도를 개선한 적분 히스토그램(Integral Histogram)의 변형을 이용하여 후보들을 추출하고, 클러스터링을 적용하여 후보들을 축소하는 방법을 적용 후 마커의 각도와 위치를 판별하는 방법을 제안하였다. 실험결과, 클러스터링을 적용하기 전 보다 클러스터링을 적용 후 약 5s 719ms 개선된 것을 알 수 있었고, 각도 판별에서도 우수한 성능을 보임을 확인할 수 있었다.
얼라인(Align) 보정은 제품 생산 전/후 빈번하게 사용되는 머신비전 기술 중 하나이다. 본 논문에서는 생산품에 각인된 마커(Marker) 또는 생산품에 존재하는 유니크한 패턴을 이용하여 생산품의 각도와 위치를 고속으로 판별하고 보정하는 방법을 제안하였다. 본 논문에서 사용한 방법은 템플릿매칭(Template Matching)의 속도를 개선한 적분 히스토그램(Integral Histogram)의 변형을 이용하여 후보들을 추출하고, 클러스터링을 적용하여 후보들을 축소하는 방법을 적용 후 마커의 각도와 위치를 판별하는 방법을 제안하였다. 실험결과, 클러스터링을 적용하기 전 보다 클러스터링을 적용 후 약 5s 719ms 개선된 것을 알 수 있었고, 각도 판별에서도 우수한 성능을 보임을 확인할 수 있었다.
The core of the machine vision that is frequently used at the pre/post-production stages is a marker alignment technology. In this paper, a method to detect the angle and position of a product at high speed by use of a unique pattern present in the marker stamped on the product, and calibrate them i...
The core of the machine vision that is frequently used at the pre/post-production stages is a marker alignment technology. In this paper, a method to detect the angle and position of a product at high speed by use of a unique pattern present in the marker stamped on the product, and calibrate them is proposed. In the proposed method, to determine the angle and position of a marker, the candidates of the marker are extracted by using a variation of the integral histogram, and then clustering is applied to reduce the candidates. The experimental results revealed about 5s 719ms improvement in processing time and better precision in detecting the rotation angle of a product.
The core of the machine vision that is frequently used at the pre/post-production stages is a marker alignment technology. In this paper, a method to detect the angle and position of a product at high speed by use of a unique pattern present in the marker stamped on the product, and calibrate them is proposed. In the proposed method, to determine the angle and position of a marker, the candidates of the marker are extracted by using a variation of the integral histogram, and then clustering is applied to reduce the candidates. The experimental results revealed about 5s 719ms improvement in processing time and better precision in detecting the rotation angle of a product.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 생산품에 각인된 마커, 생산품의 유일한 패턴 그리고 반복된 패턴을 인식하여 생산품의 얼라인을 보정하는 방법을 제안하였다. 본 제안방법에서는 프로젝션 히스토그램을 적용한 적분히스토그램 방법과 클러스터링 기법을 사용하여 표준 패턴의 각도와 위치를 판별하였다.
하지만 광학현미경 카메라를 장착한 FPGA를 제작할 경우 고 비용이 발생할 수 있고, 이의 문제점을 해결하기 위한 방법은 검증된 알고리즘을 사용하는 것이다. 이러한 맥락으로 본 논문에서는 광학현미경 카메라를 장착한 FPGA를 제작하기 이전 본 논문에서 제안한 방법을 검증하기 위한 목적으로 PC에서 제안한 방법의 성능을 검증하였다.
제안 방법
· 이미지 그래버(Image Grabber) 모듈 및 이미지 프로세싱(Image Processing) 모듈 : 이미지 데이터를 수신 및 생산품의 얼라인을 보정하기 위한 알고리즘을 처리하는 모듈이고, 본 논문에서는 이미지 프로세싱 모듈에서 사용할 알고리즘을 제안한다.
· 특징추출 단계 : 회전 후 표준패턴의 특징을 추출하는 단계로 본 논문에서 사용한 특징은 두 개의 프로젝션 히스토그램(Projection Histogram)을 사용한다.
다시 말해서, 하나의 생산품 이미지를 대상으로 한 번의 이동변환과 0.1도 단위로 101번 회전하여 생성한 이미지를 검증에 사용하였고, 총 3,535(이미지 35장 × 101번 회전)장의 생산품 이미지를 이용하여 제안한 “얼라인 마커 인식 및 위치(보정)값 산출” 알고리즘의 검증에 사용하였다.
두 번째 개선 요인, 즉, 프로젝션 히스토그램의 고속 계산의 효과를 보이기 위해 클러스터링을 적용한 일반 템플릿매칭과 제안한 방법의 처리속도 실험을 하였다. 실험결과는 Fig.
하지만, 일반 히스토그램인 경우 위치정보가 반영되어 있지 않아 회전각도를 파악할 수 없다. 따라서 본 논문에서 이를 해결하기 위해 일반 히스토그램 대신에 프로젝션 히스토그램을 사용하였다. 프로젝션 히스토그램은 행 또는 열단위로 그 안에 있는 픽셀들의 픽셀값을 더하는 방식으로 행에 대한 히스토그램과 열에 대한 히스토그램을 계산한다.
2장에서는 본 논문에서 적용하는 기술의 하드웨어 시스템 구조를 설명하고, 3장에 서는 본 논문에서 제안한 얼라인 머커 인식 및 위치(보정) 값 산출 방법, 4장에서는 본 논문에서 제안한 방법의 정확도와 처리속도에 대한 실험결과, 마지막으로 5장에서는 본 논문을 결론짓도록 한다. 또한 본 논문에서는 기존 방법들과 성능 비교를 하였다.
본 논문에서 사용한 클러스터링은 Fig. 9와 같이 각 후보들의 x축 거리와 y축 거리를 계산 후 임계값보다 작으면 같은 클러스터로 포함시키고, 임계값 보다 크면 서로 다른 클러스터로 배정하는 방법을 사용한다.
본 논문에서 제안한 방법을 적용하기 위한 하드웨어는 Fig. 1과 같이 모니터 포트, USB포트, 네트워크 통신포트, 카메라 포트로 구성되고 하드웨어 시스템 구조의 각 기능은 다음과 같다.
하나의 클러스터의 경우 k개의 후보로 인하여 k개의 좌표가 존재한다. 본 논문에서는 k개의 좌표들 중에서 대표좌표를 선택하기 위해 유사도를 사용한다. 예로, 만약 어떤 클러스터가 두 개의 좌표로 구성되고, 첫 번째 후보의 좌표가 (10, 10) 유사도가 99%이고, 두 번째의 좌표가 (11, 11) 유사도가 95%인 경우, 첫 번째 후보의 유사도가 더 좋기 때문에 클러스터의 대표 좌표는 (10, 10)이 된다.
본 논문에서는 먼저 클러스터링 임계치를 정하기 위해 거리에 따른 실험을 진행하였다. 실험결과, Fig.
그 첫 번째가 PC에서 마커위치 또는 유니크한 패턴위치를 설정하면 설정한 영역을 n번 회전하여 n개의 특징을 획득하는 과정이고, 두 번째가 광학현미경 카메라를 장착한 FPGA에서 n개의 특징을 이용하여 생산품의 각도 및 위치를 보정하는 과정이다. 본 논문에서는 유니크한 패턴 및 마커, 반복 패턴을 표준패턴으로 정의한다.
따라서, 일반 히스토그램에서는 256차원의 히스토그램 벡터가 생성되지만, 프로젝션 히스토그램 방법에서는 행 또는 열크기의 벡터가 생성된다. 본 논문에서는 행과 열 히스토그램 모두를 사용하였다. 예로, Fig.
본 제안 방법의 성능 개선은 두 가지 요소에 기인하는데, 하나는 클러스터링에 의한 유사후보 제거이고, 다른 하나는 프로젝션 히스토그램의 고속 계산이다. 먼저, 첫 번째 요인의 효과를 검증하기 위해 클러스터링 적용 전 정확도에 대한 실험을 실시하였고, 실험결과는 Table 1과 같이 후보의 수가 증가하면 에러의 수가 감소하지만 영상처리 시간은 증가한다는 것을 알 수 있다.
본 논문에서는 생산품에 각인된 마커, 생산품의 유일한 패턴 그리고 반복된 패턴을 인식하여 생산품의 얼라인을 보정하는 방법을 제안하였다. 본 제안방법에서는 프로젝션 히스토그램을 적용한 적분히스토그램 방법과 클러스터링 기법을 사용하여 표준 패턴의 각도와 위치를 판별하였다.
실험 및 검증에 사용할 이미지의 수가 부족한 관계로 본 논문에서는 기본 이미지를 이용하여 실험에 사용할 이미지를 생성하였다. 즉, “3.
이러한 맥락으로 본 논문에서는 생산품의 마커 또는 유니크한 패턴을 고속으로 인식하고, Marker 또는 유니크한 패턴의 각도와 위치를 검출하는 방법과 반복된 패턴을 검출하는 방법을 제안한다.
이를 개선하기 위한 목적으로 “후보영역 선택 단계”에서 획득한 후보들의 좌료를 이용하여 클러스터링을 진행하였는데, 본 논문에서는 시스템의 특성을 고려하여 LeaderFollower 클러스터링[7]을 응용한 방법을 사용하였다.
하지만, 적분히스토그램방법만을 적용하는 경우 회전각도 파악이 불가능하다. 이를 개선하기 위해 본 논문에서는 프로젝션(Projection) 기반 적분히스토그램방법을 사용하여 m개의 후보를 선택한다.
하지만 [4]의 방법은 일반 히스토그램을 사용하기 때문에 프로젝션 히스토그램을 사용하는 제안방법에 비해 회전 각도를 제대로 파악하기가 쉽지 않다. 이를 검증하기 위해 본 논문에서는 [4]의 방법과 제안방법의 정확도관련 비교실험을 하였다. 정확도관련 비교실험은 Fig.
대상 데이터
본 논문의 실험환경은 Intel i5 2.40GHz, 8G Ram에서 실험을 하였고, 두 가지 관점에서 성능을 평가하였다. 그 첫 번째가 처리속도이고, 두 번째가 정확도이다.
그 첫 번째가 처리속도이고, 두 번째가 정확도이다. 실험에 사용한 생산품의 이미지는 총 35종의 이미지를 사용하였다.
이 단계에서 m개의 후보를 선택하는 목적은 1개의 후보를 사용할 경우 정확한 생산품의 각도와 위치 (Fig. 8 적색 박스의 좌측 상단 x축과 y축 좌표) 검출이 불가능하여 m개의 가장 유사도가 높은 후보를 사용하고, m은 4장에서 실험으로 선택 하였다.
이론/모형
· 후보영역 선택 단계 : 본 단계에서는 기본 특징을 이용하여 후보의 위치를 선택하는 단계로 본 논문에서는 기본적으로 템플릿매칭(Template Matching)[3] 방법의 속도를 개선한 적분히스토그램(Integral Histogram)[4] 방법을 적용하였다.
성능/효과
20개의 후보를 대상으로 클러스터링을 적용한 결과, 평균 처리시간은 1s 449ms로 클러스터링 적용 전 보다 약 5s 754ms 개선되었고, 에러율은 클러스터링 이전 20개의 후보를 사용한 결과와 동일하다. 즉, 20개의 후보를 이용하여 클러스터링을 적용하는 방법이 클러스터링 적용 전보다 에러율과 처리속도 면에서 좋은 성능을 보인다.
처리시간을 개선하기 위해 클러스터링을 적용한 경우, 약 5s 754ms 속도 개선을 얻을 수 있었고, 프로젝션 히스토그램의 고속 계산으로 일반 템플릿매칭보다 평균 3s 95ms 속도 개선을 얻을 수 있었다. 또한, 본 제안 방법은 프로젝션 히스토그램을 사용하기 때문에 일반 히스토그램을 사용하는 방법에 비해 회전 각도를 보다 잘 검출할 수 있었다.
본 제안 방법의 성능 개선은 두 가지 요소에 기인하는데, 하나는 클러스터링에 의한 유사후보 제거이고, 다른 하나는 프로젝션 히스토그램의 고속 계산이다. 먼저, 첫 번째 요인의 효과를 검증하기 위해 클러스터링 적용 전 정확도에 대한 실험을 실시하였고, 실험결과는 Table 1과 같이 후보의 수가 증가하면 에러의 수가 감소하지만 영상처리 시간은 증가한다는 것을 알 수 있다. 생산 현장에서 사용할 경우 에러가 발생하면 제품에 대한 불량으로 처리된다는 점을 고려하면 20개의 후보를 사용하는 것이 당연하지만 처리시간이 오래 걸려 생산성이 저하된다는 문제점이 발생한다.
본 논문에서 제안한 방법을 통해 나름 성능 개선을 할 수 있었다. 하지만 실제 현장에 적용하기 위해서는 추가의 속도 개선이 필요하다.
본 논문에서는 먼저 클러스터링 임계치를 정하기 위해 거리에 따른 실험을 진행하였다. 실험결과, Fig. 11과 같이 x, y축의 거리가 각 4 픽셀 이상인 경우 처리속도는 거의 동일하지만 x, y축의 거리가 각 2 픽셀인 경우 4 픽셀 이상인 경우 보다 처리속도가 늘어난 것을 알 수 있다. 이는 클러스터링의 거리를 정하는 거리 값이 후보의 수에 영향을 주기 때문이라 할 수 있고, 본 논문에서는 클러스터링의 거리 임계값을 4 이상의 값으로 설정하였다.
일반 템플릿매칭의 경우 평균 4s 544ms의 처리속도를 보이고, 제안방법의 경우 평균 1s 449ms의 처리속도를 보였다. 약 3s 95ms 성능 향상을 보였다. 특히, 이미지 16, 17, 19, 20, 21, 22 그리고 28의 경우 평균 5s 233ms성능이 향상된 것을 알 수 있는데, 이는 해당 이미지에 유니크한 패턴이 여러 개 존재하는 경우로, 이러한 경우 제안방법이 일반 템플릿매칭보다 더 좋은 성능을 보임을 알 수 있다.
12와 같다. 일반 템플릿매칭의 경우 평균 4s 544ms의 처리속도를 보이고, 제안방법의 경우 평균 1s 449ms의 처리속도를 보였다. 약 3s 95ms 성능 향상을 보였다.
20개의 후보를 대상으로 클러스터링을 적용한 결과, 평균 처리시간은 1s 449ms로 클러스터링 적용 전 보다 약 5s 754ms 개선되었고, 에러율은 클러스터링 이전 20개의 후보를 사용한 결과와 동일하다. 즉, 20개의 후보를 이용하여 클러스터링을 적용하는 방법이 클러스터링 적용 전보다 에러율과 처리속도 면에서 좋은 성능을 보인다.
본 제안방법의 성능 개선은 두 가지 요소에 기인하는데, 하나는 클러스터링에 의한 유사후보 제거이고, 다른 하나는 프로젝션 히스토그램의 고속 계산이다. 처리시간을 개선하기 위해 클러스터링을 적용한 경우, 약 5s 754ms 속도 개선을 얻을 수 있었고, 프로젝션 히스토그램의 고속 계산으로 일반 템플릿매칭보다 평균 3s 95ms 속도 개선을 얻을 수 있었다. 또한, 본 제안 방법은 프로젝션 히스토그램을 사용하기 때문에 일반 히스토그램을 사용하는 방법에 비해 회전 각도를 보다 잘 검출할 수 있었다.
약 3s 95ms 성능 향상을 보였다. 특히, 이미지 16, 17, 19, 20, 21, 22 그리고 28의 경우 평균 5s 233ms성능이 향상된 것을 알 수 있는데, 이는 해당 이미지에 유니크한 패턴이 여러 개 존재하는 경우로, 이러한 경우 제안방법이 일반 템플릿매칭보다 더 좋은 성능을 보임을 알 수 있다.
후속연구
소프트웨어만으로는 현장에 필요한 속도를 얻기에는 한계가 있을 것으로 보인다. 향후, 본 논문에서 제안한 방법을 FPGA로 구현하여 추가의 속도 개선을 얻고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
얼라인(Align)을 보정하는 기술이란 무엇인가?
그 첫 번째가 생산 공정에서 사용하는 생산품의 위치를 보정하는 기술이고, 두 번째가 생산품의 불량을 판별 기술[1]이다. 두 기술의 공통 핵심기술은 얼라인(Align)을 보정하는 기술이라 할 수 있고, 이 기술은 생산품에 각인된 마크를 이용하거나 생산품에 존재하는 유니크한 패턴을 이용하여 생산품의 각도와 위치를 파악하고, 파악한 각도와 위치를 보정할 수 있도록 하드웨어에 메시지를 전송하는 기술이다. 하지만 생산품의 경우 공정 사정에 따라 반복된 패턴을 사용하는 경우도 발생할 수 있다.
얼라인 기술에서 중요한 요인은 무엇인가?
얼라인 기술에서 중요한 요인은 정확도 및 처리속도라 할수 있다. 정확도의 경우 입력된 생산품의 정확한 각도와 위치를 판별하는 것이고, 처리속도의 경우 정확한 각도와 위치를 판별하는데 소요되는 시간이다.
머신비전 기술을 제품생산 전/후를 기준으로 분류한 두 가지는 무엇인가?
머신비전 기술은 제품생산 전/후를 기준으로 두 가지 기술로 분류할 수 있다. 그 첫 번째가 생산 공정에서 사용하는 생산품의 위치를 보정하는 기술이고, 두 번째가 생산품의 불량을 판별 기술[1]이다. 두 기술의 공통 핵심기술은 얼라인(Align)을 보정하는 기술이라 할 수 있고, 이 기술은 생산품에 각인된 마크를 이용하거나 생산품에 존재하는 유니크한 패턴을 이용하여 생산품의 각도와 위치를 파악하고, 파악한 각도와 위치를 보정할 수 있도록 하드웨어에 메시지를 전송하는 기술이다.
참고문헌 (7)
C. B. Moon, Y. H. Ahn, H.-Y. Lee,B. M. Kim, and D.-W. Oh, "Implementation of Automatic Detection System for CCFL's Defects based on Combined Lighting," Journal of the Korea Society Industrial Information System, Vol.15, No.2, June, 2010.
S. Huwer, Heinrich Niemann, "2D-Object Tracking Based on Projection-Histograms," London, UK, 1998. Springer-Verlag.
R. Brunelli, "Template Matching Techniques in Computer Vision: Theory and Practice," Wiley, ISBN 978-0-470-51706-2, 2009
F. Porikli, "Integral Histogram: A Fast Way to Extract Histograms in Cartesian Spaces," Proc. of Int'l Conf. on CVPR, pp.829-836, 2005.
S. J. Kwon, C. Park, and S. M. Lee, "Kinematics and control of a visual alignment system for flat panel displays," Journal of Institute of Control, Robotics and Systems, Vol.14, No.4, Apr., pp.369-375, 2008.
C. S. Park and S. J. Kwon, "An efficient vision algorithm for fast and fine mask-panel alignment," Proc. of 2006 SICEICASE International Joint Conference (SICE-ICCAS 2006), pp.1461-1465, Oct., 2006.
Richard O. Duda et al., "Pattern Classification," Wiley- Interscience, pp.561-563, 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.