비전 이미지 프로세싱을 이용한 외관검사가 가능한 기계시스템 및 비전 알고리즘 개발 Development of the Mechenical System and Vision Algorithm for the External Appearance Test Using Vision Image Processing원문보기
본 논문에서는 저가의 카메라를 활용하여 육안 검사로 해왔던 c-tray와 관련된 불량을 비전 이미지 기술을 활용하여 자동으로 검사하였으며, 4대 검사항목인 트레이내 디바이스 겹침, 트레이 휨, 트레이 적재수량, 트레이내 디바이스 포켓 이탈 등 불량유형을 define 및 검출하는 알고리즘을 개발하였다. 따라서, 개발한 헨들링 시스템으로 인해 c-tray의 스택이나 기타 포장 공정에서의 수량 확인 공정 등에 확대 적용이 가능하였다. 그리고 제어를 활용한 비전 이미지를 처리하고 사용자 gui를 처리하는 제어프로그램과 스캔 속도에 맞춰 최적의 검사 이미지를 확보할 수 있는 기계 작동제어 프로그램을 개발하여 비전 데이터 처리와 이미지 획득이 가능한 기계 시스템을 설계하였다.
본 논문에서는 저가의 카메라를 활용하여 육안 검사로 해왔던 c-tray와 관련된 불량을 비전 이미지 기술을 활용하여 자동으로 검사하였으며, 4대 검사항목인 트레이내 디바이스 겹침, 트레이 휨, 트레이 적재수량, 트레이내 디바이스 포켓 이탈 등 불량유형을 define 및 검출하는 알고리즘을 개발하였다. 따라서, 개발한 헨들링 시스템으로 인해 c-tray의 스택이나 기타 포장 공정에서의 수량 확인 공정 등에 확대 적용이 가능하였다. 그리고 제어를 활용한 비전 이미지를 처리하고 사용자 gui를 처리하는 제어프로그램과 스캔 속도에 맞춰 최적의 검사 이미지를 확보할 수 있는 기계 작동제어 프로그램을 개발하여 비전 데이터 처리와 이미지 획득이 가능한 기계 시스템을 설계하였다.
In this study, the defect in connection with a C-tray was inspected using a low-cost camera. The four test items were the device overlapping in the tray, the bending of the tray, the loaded quantity of the tray, and the device pocket leaving, an algorithm was developed for defining and detecting the...
In this study, the defect in connection with a C-tray was inspected using a low-cost camera. The four test items were the device overlapping in the tray, the bending of the tray, the loaded quantity of the tray, and the device pocket leaving, an algorithm was developed for defining and detecting the above defect types. Therefore, the developed handling system could extend the application of the stack of the c-tray and provide a quantity verification inspection on the packing processing. The machine operation control program, which can ensure the optimal inspection image to match the scan speed, was developed and the control program that can process the user gui and the vision image utilizing the control was developed. Overall, a mechanical system that is practicable for obtaining an image and processing the vision data was designed.
In this study, the defect in connection with a C-tray was inspected using a low-cost camera. The four test items were the device overlapping in the tray, the bending of the tray, the loaded quantity of the tray, and the device pocket leaving, an algorithm was developed for defining and detecting the above defect types. Therefore, the developed handling system could extend the application of the stack of the c-tray and provide a quantity verification inspection on the packing processing. The machine operation control program, which can ensure the optimal inspection image to match the scan speed, was developed and the control program that can process the user gui and the vision image utilizing the control was developed. Overall, a mechanical system that is practicable for obtaining an image and processing the vision data was designed.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서, 본 논문에서는 c-tray가 적재되어 있는 상태에서 반도체 패키지의 포켓 이탈, 겹침, 기타 이상 증상을 비전으로 검출하고, c-tray 적재상태에 대해 비전 검사할 수 있도록 기구 구성을 개발하고, 검사 가능한 비전 이미지가 검출되도록 기계 강성을 개발하였으며 비전 이미지 캡쳐와 c-tray pitch 이동의 timing 동기화나 작동 시퀀스 및 제어 아키텍처 구성을 개발하였다.
본 논문에서는 카메라를 활용하여 육안으로 해왔던 c-tray와 관련된 불량을 비전 이미지 기술을 활용하여 자동으로 검사가 가능하게 하였다. 4대 검사 항목인 tray내 디바이스 겹침, tray 휨, tray 적재수량, tray내 디바이스 포켓 이탈 등 불량 유형을 정의 및 검출 알고리즘을 개발하였다.
제안 방법
본 논문에서는 카메라를 활용하여 육안으로 해왔던 c-tray와 관련된 불량을 비전 이미지 기술을 활용하여 자동으로 검사가 가능하게 하였다. 4대 검사 항목인 tray내 디바이스 겹침, tray 휨, tray 적재수량, tray내 디바이스 포켓 이탈 등 불량 유형을 정의 및 검출 알고리즘을 개발하였다. 또한 핸들링 시스템을 개발하므로써 c-tray의 스택이나 기타 포장 공정에서의 수량 확인 공정 등에 확대 적용이 가능하였다.
C-tray를 작업자가 로딩하기 좋은 높이로 설계하였으며 vision 카메라로 촬영 시 촬영 이미지가 선명한 이미지가 될 수 있도록 외부 진동요인에 의한 영향을 최소화하기 위해 저중심 설계를 하였으며, 카메라 및 구동부가 모두 컴팩트한 시스템 내에 그림 1과같이 배치하였다. 또한 그림 2와 같이 작업자의 위치를 고려하고 시스템이 자동화 라인의 물류 공정 사이에 설치 및 이동이 용이하도록 설계하였다.
이미지 캡쳐된 이미지는 bright field가 되도록 조명처리를 하였으며, bright field에 의해 c-tray간 유격이 생기면 어둡게 하였다. recipe 세팅에 의해 입력된 c-tray의 두께 값을 활용하여 바닥부터 c-tray간의 경계부분을 정의하였고, c-tray간의 경계부분에 어두운 부분(틈새)가 6픽셀 이상 있고, 이러한 특성이 직선성을 갖는지 확인하여 이러한 이미지 프로세스의 방법을 통하여 불량 부위를 검출하였다. 또한, 로딩된 c-tray의 이미지 캡쳐가 끝나고 나면 c-tray가 unloading될 수 있도록 하며 이 시간 동안 이미지 프로세싱하여 설비의 양산성을 높였으며, 이미지의 총량을 통해 recipe 세팅 값을 기준으로 c-tray 매수를 연산하였다.
그리고 제어를 활용하여 비전 이미지를 처리하고, 사용자 GUI를 처리하는 제어 프로그램과 스캔 속도에 맞춰 최적의 검사 이미지를 확보할 수 있는 기계 동적구조의 개발과 안정적 스캔이 가능한 기계 작동 제어 프로그램과 비전 데이터 처리와 이미지 획득이 가능한 기계 시스템을 개발하였다.
카메라로 촬영 시에 c-tray에 진동이 없도록 하여 깨끗한 이미지를 얻도록 하였다. 그림 7과 같이 고속 이송 및 이미지 촬영시의 깨끗한 이미지 캡쳐를 위해 서보모터 및 ball screw를 이용한 고속 이송 mechanism으로 설계하였다. 이미지의 촬영은 고속 이송이 완료되고, 촬영에 적합하도록 기구가 안정화된 이후에 이미지를 촬영하여 깨끗한 이미지를 확보하였고 생산성 향상을 위하여 상승 및 하강 작동시에는 고속으로 구동하며 c-tray의 loading과 unloading 작업이 용이하도록 c-tray가 장비의 상단으로 돌출되도록 설계하였다.
이 때, c-tray가 흐트러져 있을 수 있으므로 tray-guide를 통해서 좌우를 자동으로 정렬한다. 또한 10매씩을 카메라로 측정하기 위해 42번째 c-tray에서 33번째 c-tray가 촬영될 수 있는 위치로 set-plate를 상승시켜 c-tray를 4개의 카메라를 이용해 촬영하고 이미지 프로세싱을 실행한다.
C-tray를 작업자가 로딩하기 좋은 높이로 설계하였으며 vision 카메라로 촬영 시 촬영 이미지가 선명한 이미지가 될 수 있도록 외부 진동요인에 의한 영향을 최소화하기 위해 저중심 설계를 하였으며, 카메라 및 구동부가 모두 컴팩트한 시스템 내에 그림 1과같이 배치하였다. 또한 그림 2와 같이 작업자의 위치를 고려하고 시스템이 자동화 라인의 물류 공정 사이에 설치 및 이동이 용이하도록 설계하였다.
recipe 세팅에 의해 입력된 c-tray의 두께 값을 활용하여 바닥부터 c-tray간의 경계부분을 정의하였고, c-tray간의 경계부분에 어두운 부분(틈새)가 6픽셀 이상 있고, 이러한 특성이 직선성을 갖는지 확인하여 이러한 이미지 프로세스의 방법을 통하여 불량 부위를 검출하였다. 또한, 로딩된 c-tray의 이미지 캡쳐가 끝나고 나면 c-tray가 unloading될 수 있도록 하며 이 시간 동안 이미지 프로세싱하여 설비의 양산성을 높였으며, 이미지의 총량을 통해 recipe 세팅 값을 기준으로 c-tray 매수를 연산하였다.
영상 통합 제어에서 카메라는 트레이를 이동해 가면서 캡처하고, 탑재한 트레이의 매수에 따른 이미지의 매수를 확인하며 각 이미지 데이터를 차례로 분석하면서 에러 발생 여부를 분석한다. 그리고 각 처리된 이미지 화면의 에러 상황을 통합하고 처리된 결과를 화면에 표시한다.
이 처리를 통하여 틈새 및 각종 이물질에 대해 영상처리하기 쉬운 에지 데이터를 구성함으로써 에지의 간격을 카메라의 센서 개수×픽셀당 Fov 크기의 산출 및 측정하여 틈새가 발생하였음을 판별하였다.
이미지 캡쳐된 이미지는 bright field가 되도록 조명처리를 하였으며, bright field에 의해 c-tray간 유격이 생기면 어둡게 하였다. recipe 세팅에 의해 입력된 c-tray의 두께 값을 활용하여 바닥부터 c-tray간의 경계부분을 정의하였고, c-tray간의 경계부분에 어두운 부분(틈새)가 6픽셀 이상 있고, 이러한 특성이 직선성을 갖는지 확인하여 이러한 이미지 프로세스의 방법을 통하여 불량 부위를 검출하였다.
그림 7과 같이 고속 이송 및 이미지 촬영시의 깨끗한 이미지 캡쳐를 위해 서보모터 및 ball screw를 이용한 고속 이송 mechanism으로 설계하였다. 이미지의 촬영은 고속 이송이 완료되고, 촬영에 적합하도록 기구가 안정화된 이후에 이미지를 촬영하여 깨끗한 이미지를 확보하였고 생산성 향상을 위하여 상승 및 하강 작동시에는 고속으로 구동하며 c-tray의 loading과 unloading 작업이 용이하도록 c-tray가 장비의 상단으로 돌출되도록 설계하였다. 그림 8은 업/다운 구동부의 3D 이미지를 나타냈다.
작업자 로딩 높이도 기존 물류 라인의 높이와 비슷하게 설계하였으며, 향후 인라인까지 구성될 때에 설비의 업그레이드가 용이하도록 사전에 인라인 컨셉을 고려하여 오프 라인으로 개발하였다.
카메라는 그림 10과 같이 c-tray의 좌우 촬영이 가능한 위치에 설치하여 촬영에 필요한 조명은 카메라 1개당 2개의 조명이 상하에서 45o로 조명 빛을 조사하도록 설계하였다. 조명에서 조사된 빛은 c-tray에 반사되고 반사된 빛이 카메라에 촬영되므로 c-tray의 면이 백색으로 보인다.
카메라로 촬영 시에 c-tray에 진동이 없도록 하여 깨끗한 이미지를 얻도록 하였다. 그림 7과 같이 고속 이송 및 이미지 촬영시의 깨끗한 이미지 캡쳐를 위해 서보모터 및 ball screw를 이용한 고속 이송 mechanism으로 설계하였다.
조명 컨트롤은 카메라가 최상의 영상데이터를 얻는데 필요한 조명을 제공하기 위하여 조명 시스템을 컨트롤하고 카메라는 메인보드의 카메라 캡처 가능 신호에 따라 조명이 안정화된 이후에 트레이 영상 캡처를 수행 후 캡처된 영상 데이터는 영상처리 알고리즘으로 전달하게 되며 그림 5와 그림 6과 같이 카메라에서 얻은 live image는 육안으로 보는 결과와 같은 이미지를 보였다. 카메라의 live image에서 gray level에 대한 threshold 등의 파라미터를 입력하여 c-tray 사이의 틈을 구별할 수 있도록 선분을 검색하였다.
대상 데이터
그림 3은 카메라 레이아웃을 나타냈다. 카메라에서 픽셀수는 4000개 이상의 카메라를 사용하였고, 기본적으로 4대를 장착하였다. Fov는 100mm(100,000um)이상이며, 최소 검출 크기는 350um(0.
이론/모형
영상처리 알고리즘을 위해 카메라로부터 받은 트레이의 영상 데이터를 gaussian blur 전처리를 수행하여 조명이나 기타 현상에 의한 노이즈 등을 제거하였으며, 전처리된 영상 데이터는 에지 처리를 위하여 canny 알고리즘을 사용하였다. 이 처리를 통하여 틈새 및 각종 이물질에 대해 영상처리하기 쉬운 에지 데이터를 구성함으로써 에지의 간격을 카메라의 센서 개수×픽셀당 Fov 크기의 산출 및 측정하여 틈새가 발생하였음을 판별하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
비전 이미지 기술을 활용하여 자동으로 검사 중 4대 검사 항목은 무엇인가?
본 논문에서는 카메라를 활용하여 육안으로 해왔던 c-tray와 관련된 불량을 비전 이미지 기술을 활용하여 자동으로 검사가 가능하게 하였다. 4대 검사 항목인 tray내디바이스 겹침, tray 휨, tray 적재수량, tray내 디바이스 포켓 이탈 등 불량 유형을 정의 및 검출 알고리즘을 개발하였다. 또한 핸들링 시스템을 개발하므로써 c-tray의 스택이나 기타 포장 공정에서의 수량 확인 공정 등에 확대 적용이 가능하였다.
gaussian blur 전처리를 통해 무엇을 제거하였는가?
영상처리 알고리즘을 위해 카메라로부터 받은 트레이의 영상 데이터를 gaussian blur 전처리를 수행하여 조명이나 기타 현상에 의한 노이즈 등을 제거하였으며, 전처리된 영상 데이터는 에지 처리를 위하여 canny 알고리즘을 사용하였다. 이 처리를 통하여 틈새 및 각종 이물질에 대해 영상처리하기 쉬운 에지 데이터를 구성함으로써 에 지의 간격을 카메라의 센서 개수×픽셀당 Fov 크기의 산출 및 측정하여 틈새가 발생하였음을 판별하였다.
전처리된 영상 데이터에서 canny 알고리즘을 사용한 이유는?
영상처리 알고리즘을 위해 카메라로부터 받은 트레이의 영상 데이터를 gaussian blur 전처리를 수행하여 조명이나 기타 현상에 의한 노이즈 등을 제거하였으며, 전처리된 영상 데이터는 에지 처리를 위하여 canny 알고리즘을 사용하였다. 이 처리를 통하여 틈새 및 각종 이물질에 대해 영상처리하기 쉬운 에지 데이터를 구성함으로써 에 지의 간격을 카메라의 센서 개수×픽셀당 Fov 크기의 산출 및 측정하여 틈새가 발생하였음을 판별하였다.
참고문헌 (4)
Alison R. Weissa, Jocelyne Bachevaliera, "Object and spatial memory after neonatal perirhinal lesions in monkeys", Behavioural Brain Research, Vol.298, Part B,pp.210-217, February, 2016. DOI: http://dx.doi.org/10.1016/j.bbr.2015.11.010
H. M. YUAN, M. BLACKWELL, S. MCGRATH, T. S. GEORGE, S. H. GRANGER, J. M. B. HAWKINS, S. DUNHAM and J. B. SHEN, "Morphological responses of wheat (Triticum aestivum L.) roots to phosphorus supply in two contrasting soils", The Journal of Agricultural Science, Volume 154, Issue 01, pp.98-108, January, 2016. DOI: http://dx.doi.org/10.1017/S0021859615000702
O.A. Garcia-Garduno, J.M. Larraga-Gutierrez, M. Rodriguez-Villafuerte, A. Martinez-Davalos, T. Rivera- Montalvo,"Effect of correction methods of radiochromic EBT2 films on the accuracy of IMRT QA", Applied Radiation and Isotopes, Volume 107, pp.121-126, January, 2016. DOI: http://dx.doi.org/10.1016/j.apradiso.2015.09.016
Kaelyn E. Wilke, Erin E. Carlson, "Thiol-ene-Enabled Detection of Thiophosphorylation as a Labeling Strategy for Phosphoproteins", Phospho-Proteomics, Volume 1355, pp.3-5, 2016. DOI: http://dx.doi.org/10.1007/978-1-4939-3049-4_1
※ AI-Helper는 부적절한 답변을 할 수 있습니다.