제안된 동판 표면 검사 시스템은 PC-기반으로 다중 스레드 기법과 다중 CPU를 이용해 동판 표면의 결함을 실시간으로 검사하는 시스템이다. 초고속 라인 스캔 카메라로 영상 취득 보드에 영상을 실시간으로 취득하여 처리할 때, 더블 버퍼링 방법으로 입출력과 처리가 동시에 수행되어 처리 속도를 높인다. 다중 스레드 기법에서는 시스템 자원 활용과 다중 스레드로 CPU의 사용을 최대화하여 실시간 처리하며, 다중 스레드 구조로도 실시간 처리가 어려운 경우에는 다중 CPU를 사용하여 이를 해결한다. 또한 동판 표면 영상에서 결함 검출하여 분류할 때, 실시간 처리를 만족시키기 위해서 결함영상의 공분산 행렬의 고유치 비율, 명암차 등의 연산으로 분류할 수 있는 방법을 제시한다. 결함의 검출은 조명 불균형에 대한 보상 처리가 적용된 다음 임계치에 의해 검출된다. 검출된 결함은 제안된 분류 방법으로 특징을 분석한 뒤 결함의 형태를 분류한다. 특징은 결함 너비와 고유치 비율, 명암차 등이 사용되었다. 제시된 방법을 검증하기 위해서 총 141개의 결함을 분류하는 실험이 진행되었고, 결과로는 89.4% 성공률을 보였다.
제안된 동판 표면 검사 시스템은 PC-기반으로 다중 스레드 기법과 다중 CPU를 이용해 동판 표면의 결함을 실시간으로 검사하는 시스템이다. 초고속 라인 스캔 카메라로 영상 취득 보드에 영상을 실시간으로 취득하여 처리할 때, 더블 버퍼링 방법으로 입출력과 처리가 동시에 수행되어 처리 속도를 높인다. 다중 스레드 기법에서는 시스템 자원 활용과 다중 스레드로 CPU의 사용을 최대화하여 실시간 처리하며, 다중 스레드 구조로도 실시간 처리가 어려운 경우에는 다중 CPU를 사용하여 이를 해결한다. 또한 동판 표면 영상에서 결함 검출하여 분류할 때, 실시간 처리를 만족시키기 위해서 결함영상의 공분산 행렬의 고유치 비율, 명암차 등의 연산으로 분류할 수 있는 방법을 제시한다. 결함의 검출은 조명 불균형에 대한 보상 처리가 적용된 다음 임계치에 의해 검출된다. 검출된 결함은 제안된 분류 방법으로 특징을 분석한 뒤 결함의 형태를 분류한다. 특징은 결함 너비와 고유치 비율, 명암차 등이 사용되었다. 제시된 방법을 검증하기 위해서 총 141개의 결함을 분류하는 실험이 진행되었고, 결과로는 89.4% 성공률을 보였다.
The copper foil surface inspection system is necessary for the factory automation and product quality. The developed system is composed of the high speed line scan camera, the image capture board and the processing computer. For the system resource utilization and real-time processing, multi-threade...
The copper foil surface inspection system is necessary for the factory automation and product quality. The developed system is composed of the high speed line scan camera, the image capture board and the processing computer. For the system resource utilization and real-time processing, multi-threaded architecture is introduced. There are one image capture thread, 2 or more defect detection threads, and one defect communication thread. To process the high-speed input image data, the I/O overlap is used through the double buffering. The defect is first detected by the predetermined threshold. To cope with the light irregularity, the compensation process is applied. After defect detection, defect type is classified with the defect width, eigenvalue ratio of the defect covariance matrix and gray level of defect. In experiment, for high-speed input image data, real-time processing is possible with multi -threaded architecture, and the 89.4% of the total 141 defects correctly classified.
The copper foil surface inspection system is necessary for the factory automation and product quality. The developed system is composed of the high speed line scan camera, the image capture board and the processing computer. For the system resource utilization and real-time processing, multi-threaded architecture is introduced. There are one image capture thread, 2 or more defect detection threads, and one defect communication thread. To process the high-speed input image data, the I/O overlap is used through the double buffering. The defect is first detected by the predetermined threshold. To cope with the light irregularity, the compensation process is applied. After defect detection, defect type is classified with the defect width, eigenvalue ratio of the defect covariance matrix and gray level of defect. In experiment, for high-speed input image data, real-time processing is possible with multi -threaded architecture, and the 89.4% of the total 141 defects correctly classified.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 시스템에서는 PC-기반으로 다중 스레드 기법과 다중 CPU 기법을 이용해 실시간으로 처리하고 검사하고자 한다. 스레드를 다중으로 구성하여 CPU의 사용을최대화시켜 실시간 처리가 가능하며 다중 스레드 구조는 실시간 처리가 어려운 경우 CPU를 여러개 사용하여 이를 극복할 수 있다.
공장 자동화 기술은 제품의 품질과 생산성 향상을 위한 핵심 기술로써 고부가 가치 산업분야로 부각되고 있다. 본 시스템은 공장자동화 시스템 중 제품의 표면을 검사하는 것으로 동판 표면의 결함을 검사한다. 결함은 생산 환경이나 공정 자체 문제 등에서 발생할 수 있으며, 이러한 결함들을 검사하는 비전 시스템이 사람의 눈을 대신함으로써 제품의 품질과 생산성을 향상시켜 더욱 큰 기대효과를 볼 수 있다⑴.
본 연구를 통해 동판 표면의 결함을 실시간으로 검사하는 시스템에 대해 제시하였다. 많은 산업 응용 시스템에서 실시간 처리의 요구에 따라 다중 스레드 기법과 다중 CPU를 적용하여 성공적인 실시간 처리 동판 검사시스템이 구현되었다.
본 연구에서는 각 결함의 특징을 살려 형태를 분류하고자 한다’ 또한 다중 스레드 기법과 다중 CPU의 실시간 처리뿐만 아니라, 결함 형태 분류에서도 실시간 처리를 고려하여 결함 형태 분류는 결함의 모양이나 명암 차를 이용하여 비교적 간단한 연산만으로 구성한다.
본 연구에서는 다중 스레드 기법과 다중 CPU를 기반으로 실시간 처리문제를 해결하고자 한다.
제안 방법
패킷 ID는 패킷과 패킷 간에 구분되어질 수 있는 ID이고, 결함 정보는 결함이 분류된 정보들이 속해 있으며, 체크 섬 코드는 패킷의 데이타가 정확한지를 판단한다. TCP/IP 통신에는 비동기 소켓 (asynchronization socket)이 사용되었고, MFC 클래스 CAsyncScoket으로 구현하였다[10].
표 1 단일 CPU와 다중(2개) CPU 간의 성능 실험 결과
결함 검출에 대한 반복 재현성 실험은 동일한 크기와 길이를 갖는 하나의 동판을 여러 영상 파일로 만들어 결함의 검출수를 알아보았다
. 그리고 실험을 좀 더 극대화하기 위해 결함이 아주 많은 동판으로 실험이 진행되었다.
임계치 /과 丄 는 경험적인 실험으로 설정되었다. 다음 스크래치와 뜯김의 분류를 위해 너비와 고유치 비율를 이용하여 각각 특징 샘플로부터 스크래치 확률밀도함수와 뜯김 확률밀도함수를 구한 후, 이 2개 확률밀도함수로부터 확률을 구하여 큰 쪽으로 결정한다.
동판 검사 시스템에 대한 프로그램 구현은 영상 취득 보드를 제어하는 상용 라이브러리와 개발된 알고리즘을 혼합하였다. 표면 임계치의 설정으로 변화점을 검사하는 부분은 상용 라이브러리를 이용하였다.
표면 임계치의 설정으로 변화점을 검사하는 부분은 상용 라이브러리를 이용하였다. 또한 3.1 절에서 알아본 조명 불균형 처리에서 교정 라인을 표면 영상과 곱하는 부분도 상용 라이브러리를 이용하였다. 개발된 알고리즘으로 구현된 것은 전체적인 다중 스레드 기법처리, 변화점의 위치에 따라 결함 검출, 결함의 형태 분류, 교정 라인을 구하는 부분 등이다.
구현된 시스템은 결함을 초당 400 개 이상 검출하고 분류되어 실시간 처리에 만족되었다. 또한 결함 분류에 있어서도 비교적 간단한 연산만으로 구성하여 실시간 처리에 대응할 수 있도록 결함 분류 방법도 제시하였다. 스크래치와 뜯김 결함은 샘플로부터 구해진 확률밀도함수에 의해 분류되었고, 눌림과 얼룩 결함은 명암이 진한 정도로 분류되었다.
다중 스레드에 대한 성능 실험은 다중 스레드 기법으로 단일 CPU와 다중 CPU 간의 성능을 측정하고, 결함 검출 실험은 반복 재현성 실험과 분류 정확성 실험으로 또 나뉘어 질 수 있다. 반복 재현성 실험은 동일한 동판을 카메라로 찍어 여러 영상 파일로 저장한 후 결함 검출수로 알아보았고, 분류 정확성 실험은 검출된 결함의 분류 정확성을 측정한다.
본 시스템의 다중 스레드 기법은 다중 태스킹(multi- ta아dng)과 다중 스레드(multi너:hread)를 지원하는 윈도우 NT 커널을 기반으로 한 윈도우 2000에서 구현한다. 그리고 다중 CPU는 인텔 제온 프로세서를 사용한다.
눌림은 어떤 물체에 의해 동판을 눌렀기 때문에 그림 5처럼 결함 영상의 명암이 진한 편이고, 얼룩은 오물이 튀어 얼룩지게 만들어 눌림보다는 명암이 진하지 않다. 이러한 명암차를 이용하여 눌림과 얼룩을 구분한다. 결함 크기나 밝기에 관계없이 분류하기 위해 결함 영상의 히스토그램에서 전체 중 가장 낮은 레벨로부터 40%영역의 평균(A 赢, )과 최외각 선의 평균( A 诚의 비교를 통해 눌림과 얼룩이 분류한다임계값 A曲보다 크거나 같으면 얼룩, 작다면 눌림으로 분류된다.
스레드를 다중으로 구성하여 CPU의 사용을최대화시켜 실시간 처리가 가능하며 다중 스레드 구조는 실시간 처리가 어려운 경우 CPU를 여러개 사용하여 이를 극복할 수 있다. 이러한 실시간 처리 시스템을 기반으로 동판의 표면 영상으로 취득하여 동판에 결함이 있는지 검출하고 형태를 분류한다. 분류는 실시간 처리를 고려하여 고유치 비율이나 명암차 등 비교적 간단한 연산만으로 구성한다.
뜯김은 연속적으로 뜯겨서 스크래치에 비해 결함의 너비가 굵은 편이다. 이런 특성을 고려하여 고유치 비율과 결함의 너비로 특징 벡터를 구성하며 확률밀도함수를 이용해 확률로 분류한다. 스크래치와 뜯김 샘플들로부터 평균 벡터(G와 공분산 행렬(&)를 구해 아래 수식 (3)으로 각 클래스 별 확률밀도함수를 구한다.
카메라로부터 라인 영상을 취득하기 위해 I2S 사의 Horizon 4LC 영상 취득 보드를 사용한다. 조명 장치는 라인 스캔 속도보다 빠른 고주퍄 교류 조명 장치를 사용하였고, 암결함을 검출하기 위해 설치 타입으로는 브라이트 필드 조명(bright-field illumination)을 사용하였다、컴퓨터는 인텔 제온 2.6G Dual CPU와 512MB Dual DDR RAM으로 구성되어져 있다.
시스템은 MMKMan Machine Inter- face)와 처리 컴퓨터, 카메라 등으로 구성되어진다. 처리 컴퓨터는 카메라로부터 동판 표면 영상을 얻어 결함을 검출하고 형태를 분류하여 결함에 대한 정보를 MMI로 LAN을 이용해 전송한다. 카메라와 처리 컴퓨터는 각각 다중으로 구성되어질 수 있다.
대상 데이터
다중 스레드 기법에 대해 단일 CPU와 다중 CPU 간의 성능 실험은 19, 200 라인을 갖는 실험 영상 5개로 진행하였다. 다중 CPU는 CPU를 2개 사용하였다.
통해 실험이 진행되었다. 이 실험 영상에는 140 여개의 결함이 포함되어져 있다. 다음 표 3의 실험 결과처럼 총 141개의 결함 중 126개가 정확하게 분류되어 성공률은 약 89.
제시된 결함 분류 방법은 18, 300 라인을 갖는 실험 영상을 통해 실험이 진행되었다. 이 실험 영상에는 140 여개의 결함이 포함되어져 있다.
카메라는 라인 스캔 카메라(line scan camera)로 Basler사의 L203-4K를 사용한다. 이 카메라는 4096 pixel lin ear CCD로써, 라인율(line rate)은 9.
50kHz를 갖는다. 카메라로부터 라인 영상을 취득하기 위해 I2S 사의 Horizon 4LC 영상 취득 보드를 사용한다. 조명 장치는 라인 스캔 속도보다 빠른 고주퍄 교류 조명 장치를 사용하였고, 암결함을 검출하기 위해 설치 타입으로는 브라이트 필드 조명(bright-field illumination)을 사용하였다、컴퓨터는 인텔 제온 2.
이론/모형
영상은 카메라로부터 입력 받아 영상 취득 보드를 거쳐 영상 회득 스레드에게 전달된다. 카메라와 영상 취득 보드, 영상 취득 보드와 영상획득 스레드 간에 영상을 전달하는 과정에서 아래의 그림 3과 같이 더블 버퍼링(double buffering) 방법을 사용한다. 더블 버퍼링 방법은 영상 취득 보드에 두 개의 버퍼를 두어 카메라로부터 영상을 버퍼 1, 2를 교차하면서 영상을 취득한다.
성능/효과
1. 결함이 두 개 이상이 서로 붙은 경우, 결함이 하나로 인식됨과 동시에 결함 크기가 커져 분류의 정확성을 낮춘다. 예를 들어, 아래의 그림 11과 같이 스크래치 결함 주위에 얼룩, 눌림 등과 같은 결함이 붙어 있으면, 두 결함이 하나로 인식되어 분류가 잘못된 경우이다,
이 실험 영상에는 140 여개의 결함이 포함되어져 있다. 다음 표 3의 실험 결과처럼 총 141개의 결함 중 126개가 정확하게 분류되어 성공률은 약 89.4%를 얻었다.
스크래치와 뜯김 결함은 샘플로부터 구해진 확률밀도함수에 의해 분류되었고, 눌림과 얼룩 결함은 명암이 진한 정도로 분류되었다. 분류 정확도는 실제 산업 현장에서 85% 이상을 요구하고 있으며, 제시된 결함 분류 방법으로 실험한 결과, 실험 결과에서도 알 수 있듯이 높은 수치의 89.5% 분류 정확도를 얻을 수 있었다.
아래의 표 1은 각 실험 영상을 1분 동안, 프레임수를 측정한 결과이다. 실험 결과에서도 알 수 있듯이, 프레임 수에 대해 다중 CPU 성능이 단일 CPU 성능보다 약 L51 배 높았다.
후속연구
향후 이런 문제점들도 실시간 처리를 만족시켜는 범위 내에서 연구가 진행돼야 할 것이다. 또한 조명과 대상 물체 즉, 표면 사이의 각에 따라 결함을 검출할 수도 있고 검출 못할 수도 있기 때문에 이 부분에 대해서도 연구가 진행돼야 할 것이다.
존재하였다. 향후 이런 문제점들도 실시간 처리를 만족시켜는 범위 내에서 연구가 진행돼야 할 것이다. 또한 조명과 대상 물체 즉, 표면 사이의 각에 따라 결함을 검출할 수도 있고 검출 못할 수도 있기 때문에 이 부분에 대해서도 연구가 진행돼야 할 것이다.
참고문헌 (17)
오춘석, 이현민, '타포린 원단의 함침 자동 검출 시스템 개발', 정보처리학회 논문지, 제7권, 제6호, pp.1973-1978. 2000
다변량 자료 분석, 'http://wolfpack.hannam.ac.kr/ lecture/fall02/MDA
Charles A. Bouman, 'CLUSTER: An Unsupervised Algorithm for Modeling Gaussian Mixtures,' manual, http://dynamo.ecn.purdue.edu/~bouman, Purdue University, 2001
Richard O.Duda, Peter E.Hart and David G.Stork, 'Pattern Classification,' Second Edition, Wiley Interscience, 2001
J.C. Noordam, G.W. Otten, A.J.M. Timmermans and B.H. van Zwol, 'High speed potato grading and quality inspection based on a color vision system,' in Machine Vision Applications in Industrial Inspection VIII, Kenneth W. Tobin Jr., Editor, Proceedings of SPIE Vol. 3966, pp.206-220, 2000
Ajay Kumar, Grantham Pang, 'Defect detection in textured materials using Gabor filters,' IEEE Transactions on Industry Applications Vol. 38 Issue 2, pp.425-440, 2002
※ AI-Helper는 부적절한 답변을 할 수 있습니다.