선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 산업용 PC 1대에 고해상도 멀티카메라 영상처리, 광학기(카메라, 조명) 제어 그리고 투입 및 양불 판정의 분기 물류의 병렬제어를 할 수 있는 비전 시스템을 개발하였다. 이를 위해 먼저 1대의 산업용 PC를 사용하여 6개소의 검사영역에 대해 동시에 광학계제어, 영상획득, 영상처리가 가능한 비전 시스템을 구축하였다.
제안 방법
- 1) PC 기반의 PLC 제어를 통한 멀티카메라 비전 검사기술을 확보하였다. 제안한 제어방식은 비전 검사 이외에도 가공, 조립, 검사 등 다양한 생산 자동화 설비 제어에 활용이 가능하다.
- Fig. 4의 멀티카메라 테스트 베드는 성능 검증을 위해 Fig. 5와 같은 오버랩(Overlap) 용접부위를 53개 갖는 제품의 용접부 길이와 폭을 비전방식으로 측정 후 기준 치수에 대해 양불을 판정하는 방식으로 통신/작동 오류 및 머신비전의 검사 성능을 테스트 하여 제안하는 시스템을 검증하였다.
- PC는 카메라 트리거 신호의 ON/OFF를 제어하고 획득한 영상을 기반으로 영상처리 알고리즘을 처리한다. PLC는 미쓰비시 멜섹(MELSEQ)을 적용하였으며, PC/PLC간 통신은 멜섹의 M변수를 통해 Fig. 3과 같이 순차적으로 정의하였다. PLC/비전 간 신호는 광학계의 ON/OFF 신호를 적용한다.
- 용접부 치수측정 알고리즘 성능은 역시 주어진 제품에 대한 검사를 하는데 충분한 성능을 확인하였다. [10]에서 제안한 비전 시스템의 경우 본 논문에서 제안하는 방식과는 반대로 PLC 프로그램에 삽입하는 방식의 비전 검사 시스템을 제안하였다. 이 경우 단순한 형태의 결함을 파악하는 용도로는 충분한 성능을 발휘한다고 할 수 있으나, 용접부 검사와 같이 검사대상이 불규칙한 형상을 갖고, 용접 조건에 따라 그을음/스패터(물방울 모양의 작은 튐)이 발생하여 복잡한 영상처리 알고리즘이 적용되어야 하는 경우에는 고성능 PC 기반의 영상처리가 필요하므로 본 연구에서 제안하는 제어 방식이 적합하다고 할 수 있다.
- 각 카메라의 광학계는 동축조명과 16mm초점거리를 갖는 렌즈를 사용하였으며, 영상획득 후 각 카메라의 관심영역(ROI)은 80×60mm)을 검사할 수 있도록 적용하였다.
- 광학계 제어 모듈은 1대의 산업용 PC로 USB 3.0기반의 5M 픽셀 이상의 고해상도 멀티카메라를 제어할 수 있는 소프트웨어 모듈을 구현하였다. 카메라 제어는 먼저 1대의 카메라를 제어할 수 있는 C++ 기반의 단일 카메라 제어용 클래스를 개발한 후, 멀티쓰레딩 기술을 통해 다수의 카메라를 동시에 제어할 수 있는 모듈로 확장하였다.
- 먼저 1개 물류에 다수 설비가 순차적으로 설치된 자동화 라인에 적용할 수 있는 설비별 병렬제어 기능을 개발하였다. 두 번째는 2개 이상의 물류가 독립적으로 작동하는 라인 별 병렬제어 기능을 구현하였다.
- 카메라 제어는 먼저 1대의 카메라를 제어할 수 있는 C++ 기반의 단일 카메라 제어용 클래스를 개발한 후, 멀티쓰레딩 기술을 통해 다수의 카메라를 동시에 제어할 수 있는 모듈로 확장하였다. 또한 물류 상태 및 영상 처리 검사 결과를 PLC와 통신할 수 있는 TCP/IP 프로토콜 기반의 통신 모듈도 추가하였다.
- 물류 제어 모듈은 다음과 같이 크게 2가지 경우에 대응할 수 있도록 구현한다. 먼저 1개 물류에 다수 설비가 순차적으로 설치된 자동화 라인에 적용할 수 있는 설비별 병렬제어 기능을 개발하였다. 두 번째는 2개 이상의 물류가 독립적으로 작동하는 라인 별 병렬제어 기능을 구현하였다.
- 2와 같이 설치하여 조명의 Bright Field를 이용하여 대상 물체의 영상을 획득한다. 상부 이동식 카메라는 XY축은 로봇으로 자동 이동하며 대상물체와 카메라 간 상대거리는 Z축 모터에 의해 초점을 조절할 수 있도록 하였다. 하부 고정식 카메라는 Fig.
- Table 2는 총 설비 가동 시간에 따른 제어 오작동 횟수를 나타낸다. 설비의 장시간 성능 테스트를 설비 인덱스 120초 기준으로 하루 8시간씩 10일간 진행하는 동안 광학계와 물류 오작동은 발생하지 않았으며 이를 통해 구현한 소켓통신 클래스를 통한 설비 제어의 안정성을 확인하였다.
- 본 연구에서는 산업용 PC 1대에 고해상도 멀티카메라 영상처리, 광학기(카메라, 조명) 제어 그리고 투입 및 양불 판정의 분기 물류의 병렬제어를 할 수 있는 비전 시스템을 개발하였다. 이를 위해 먼저 1대의 산업용 PC를 사용하여 6개소의 검사영역에 대해 동시에 광학계제어, 영상획득, 영상처리가 가능한 비전 시스템을 구축하였다. 제안하는 C++기반의 비전/PLC 제어 통합 소프트웨어 플랫폼은 영상의 획득 시 5M 픽셀의 고해상도 멀티카메라 6대의 영상을 일괄적으로 획득하고, 획득된 영상들은 멀티쓰레드 기반의 병렬 영상처리 검사방법을 적용하여 각 검사영역의 양불을 판정한 후, 쓰레드풀(Threadpool) 기법을 적용한 물류의 병렬 제어를 할 수 있다.
- 이를 위해 먼저 1대의 산업용 PC를 사용하여 6개소의 검사영역에 대해 동시에 광학계제어, 영상획득, 영상처리가 가능한 비전 시스템을 구축하였다. 제안하는 C++기반의 비전/PLC 제어 통합 소프트웨어 플랫폼은 영상의 획득 시 5M 픽셀의 고해상도 멀티카메라 6대의 영상을 일괄적으로 획득하고, 획득된 영상들은 멀티쓰레드 기반의 병렬 영상처리 검사방법을 적용하여 각 검사영역의 양불을 판정한 후, 쓰레드풀(Threadpool) 기법을 적용한 물류의 병렬 제어를 할 수 있다. 또한 PC와 PLC 간의 통신은 TCP-IP기반의 소켓통신 기법을 적용하여 광학계, 물류제어 뿐만 아니라 검사제품정보와 검사결과를 MES와 연동할 수 있도록 하고, 카메라나 물류의 추가/제거가 용이하도록 프로그램을 계층화하여 다양한 비전 시스템 개발 시 프로그램 프로토타입 구축에 드는 시간을 최소화할 수 있도록 구현하였다.
- 0기반의 5M 픽셀 이상의 고해상도 멀티카메라를 제어할 수 있는 소프트웨어 모듈을 구현하였다. 카메라 제어는 먼저 1대의 카메라를 제어할 수 있는 C++ 기반의 단일 카메라 제어용 클래스를 개발한 후, 멀티쓰레딩 기술을 통해 다수의 카메라를 동시에 제어할 수 있는 모듈로 확장하였다. 또한 물류 상태 및 영상 처리 검사 결과를 PLC와 통신할 수 있는 TCP/IP 프로토콜 기반의 통신 모듈도 추가하였다.
대상 데이터
- Table 1은 제안된 시스템에 사용된 주요 부품을 나타낸다. 1대의 PC에 다수의 카메라를 연결하기 위하여 USB 3.0 인터페이스 중 HUB와 연장 Cable은 IDS사에서 테스트 후 권장하는 사양의 제품을 사용하였다. 카메라는 5M Pixel 해상도를 갖는 제품을 선정하였으며 동축 조명은 LVS사의 표준 동축 조명을 설치하였다.
- 자동차 산업에 적용된 사례에는 쇼크 업쇼바의 로드(Rod) 표면에 대한 정밀 검사 시스템[4], 플라스틱 사출물인 알터네이터 수풀의 미성형, 찍힘, 뜯김, 크랙 불량 검사 시스템[5], LabView를 활용한 카시트 프레임 검사시스템[6]이 개발되었다. 본 연구에서 수행한 시스템의 검사대상인 용접 비드검사기의 사례로는 LVDT(Linear Variable Differential Transformer))를 사용한 용접비드 치수검사기[7]과 레이저 비전 카메라를 활용하여 비드표면의 수직 단면 정보를 분석하여 용접부 전체의 2.5D 검사 시스템[8]이 개발되었다. 이 밖에도 대형 토목구조물인 교량에서 영상 기반 변위 계측장치(VDMS)를 활용한 변위측정 시스템[9]이 치수측정에 적용되었다.
- 사용된 제품의 용접 치수는 상부 용접부 49개 부위는 20mm(길이)×2mm(너비)이며, 하부 용접부 4개 부위는 80mm(길이)×2mm(너비)이다.
- 0 인터페이스 중 HUB와 연장 Cable은 IDS사에서 테스트 후 권장하는 사양의 제품을 사용하였다. 카메라는 5M Pixel 해상도를 갖는 제품을 선정하였으며 동축 조명은 LVS사의 표준 동축 조명을 설치하였다. PLC는 CPU는 Mitsubishi사의 QCPU 시리즈를 선택하였고, PLC와 PC간에는 TCP-IP기반의 소켓 통신을 적용하기 위해 이더넷 카드는 추가했다.
- 상부의 3축 직교 로봇은 검사 대상의 윗면을 이동하면서 위치별 검사 대상을 측정하며, 하부프레임의 카메라 4대는 검사 대상 측면의 영상을 동시에 획득/검사한다. 카메라와 동축조명은 Fig. 2와 같이 설치하여 조명의 Bright Field를 이용하여 대상 물체의 영상을 획득한다. 상부 이동식 카메라는 XY축은 로봇으로 자동 이동하며 대상물체와 카메라 간 상대거리는 Z축 모터에 의해 초점을 조절할 수 있도록 하였다.
- 테스트베드로 개발한 비전 검사 시스템(Fig. 1)은 3축 직교 로봇에 이동식 카메라 2대를 설치하고, 하부 프레임에 고정식 카메라 4대를 설치하여 구성하였다. 6대의 카메라는 PC를 통해 동기화 되어 2560*1920의 5M 픽셀의 영상을 5fps의 속도로 획득할 수 있다.
데이터처리
- 또한 PC와 PLC 간의 통신은 TCP-IP기반의 소켓통신 기법을 적용하여 광학계, 물류제어 뿐만 아니라 검사제품정보와 검사결과를 MES와 연동할 수 있도록 하고, 카메라나 물류의 추가/제거가 용이하도록 프로그램을 계층화하여 다양한 비전 시스템 개발 시 프로그램 프로토타입 구축에 드는 시간을 최소화할 수 있도록 구현하였다. 개발된 비전 검사 시스템은 여러 영역의 맞대기용접부를 갖는 제품에 대한 용접부 치수 검사 알고리즘을 적용하여 시스템의 성능을 평가하였다.
이론/모형
- 5D 검사 시스템[8]이 개발되었다. 이 밖에도 대형 토목구조물인 교량에서 영상 기반 변위 계측장치(VDMS)를 활용한 변위측정 시스템[9]이 치수측정에 적용되었다. 소프트웨어 개발사례로는 PLC에 적용 가능한 단순한 검사 알고리즘을 조합할 수 있는 비전 라이브러리[10]가 제안되었다.
성능/효과
- 2) 개발한 검사 기술은 맞대기 용접부 품질 검사 시스템에 적용하여 제어 성능을 검증하였으며, 장기간 성능테스트를 진행한 결과 제어부의 오류는 발생하지 않아 시스템 안정성을 확인하였다.
- 3) 용접부 치수 측정 오차의 주원인인 용접 조건과 설비 가동 환경에 따른 그을음에도 강건한 용접부 경계추출 알고리즘을 제안하였으며, 실제 생산 라인에서 검사 성능 평가를 진행하여 검사 신뢰성을 검증하였다.
- 3.1절의 결과에서 알 수 있듯이 제안하는 PC기반 제어방식은 설비의 안정성을 충분히 확보하였다. 용접부 치수측정 알고리즘 성능은 역시 주어진 제품에 대한 검사를 하는데 충분한 성능을 확인하였다.
- 제안하는 C++기반의 비전/PLC 제어 통합 소프트웨어 플랫폼은 영상의 획득 시 5M 픽셀의 고해상도 멀티카메라 6대의 영상을 일괄적으로 획득하고, 획득된 영상들은 멀티쓰레드 기반의 병렬 영상처리 검사방법을 적용하여 각 검사영역의 양불을 판정한 후, 쓰레드풀(Threadpool) 기법을 적용한 물류의 병렬 제어를 할 수 있다. 또한 PC와 PLC 간의 통신은 TCP-IP기반의 소켓통신 기법을 적용하여 광학계, 물류제어 뿐만 아니라 검사제품정보와 검사결과를 MES와 연동할 수 있도록 하고, 카메라나 물류의 추가/제거가 용이하도록 프로그램을 계층화하여 다양한 비전 시스템 개발 시 프로그램 프로토타입 구축에 드는 시간을 최소화할 수 있도록 구현하였다. 개발된 비전 검사 시스템은 여러 영역의 맞대기용접부를 갖는 제품에 대한 용접부 치수 검사 알고리즘을 적용하여 시스템의 성능을 평가하였다.
- 1절의 결과에서 알 수 있듯이 제안하는 PC기반 제어방식은 설비의 안정성을 충분히 확보하였다. 용접부 치수측정 알고리즘 성능은 역시 주어진 제품에 대한 검사를 하는데 충분한 성능을 확인하였다. [10]에서 제안한 비전 시스템의 경우 본 논문에서 제안하는 방식과는 반대로 PLC 프로그램에 삽입하는 방식의 비전 검사 시스템을 제안하였다.
- 사용된 제품의 용접 치수는 상부 용접부 49개 부위는 20mm(길이)×2mm(너비)이며, 하부 용접부 4개 부위는 80mm(길이)×2mm(너비)이다. 최종 치수 반복도는 같은 검사 대상 10개 샘플을 각각 10회씩 재투입하여 검사하여 분석한 표준편차가 43㎛ 수준으로 적용된 광학계의 픽셀 해상도 20㎛ 대비 약 2픽셀 정도의 경계 추출 오차를 보였다. 3시그마 기준으로도 129㎛ 수준으로 용접부 기준 치수 대비 충분한 양불 판정 수준을 갖는 것으로 판단한다.
후속연구
- 4) 제안한 시스템을 맞대기 용접에 적용한 결과 충분한 검사 성능을 확보하였지만, 용접조건에 따라 작업자가 영상처리의 파라미터를 세밀하게 조절해야하는 용접부 검사의 어려움을 해결하기 위해, 향후 인공지능 기법을 적용한 무인 용접부 영상처리 파라미터 최적화를 추가 연구가 필요하다.
- [10]에서 제안한 비전 시스템의 경우 본 논문에서 제안하는 방식과는 반대로 PLC 프로그램에 삽입하는 방식의 비전 검사 시스템을 제안하였다. 이 경우 단순한 형태의 결함을 파악하는 용도로는 충분한 성능을 발휘한다고 할 수 있으나, 용접부 검사와 같이 검사대상이 불규칙한 형상을 갖고, 용접 조건에 따라 그을음/스패터(물방울 모양의 작은 튐)이 발생하여 복잡한 영상처리 알고리즘이 적용되어야 하는 경우에는 고성능 PC 기반의 영상처리가 필요하므로 본 연구에서 제안하는 제어 방식이 적합하다고 할 수 있다.
- 1) PC 기반의 PLC 제어를 통한 멀티카메라 비전 검사기술을 확보하였다. 제안한 제어방식은 비전 검사 이외에도 가공, 조립, 검사 등 다양한 생산 자동화 설비 제어에 활용이 가능하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.