선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 Camera Link( Medium)을 지원하며 카메라 입력영상에 대한 실시간 패턴 매칭이 가능한 FPGA 기반 시스템을 구현하였다. FPGA를 이용함으로써, 소프트웨어에 의하여 구동되는 시스템과 달리 실시간 PCB 패턴의 특징 추출이 가능하였으며, 로직으로 설계된 각각의 IP들은 FPGA를 사용하는 모든 시스템에서 재사용할 수 있다.
- 본 논문에서는 PCB의 생산 과정에서 중요시 되고 있는 PCB 패턴 검출을 위한 실시간 패턴 매칭 시스템을 구현하였다. FPGA 모듈에 비전시스템에서 사용되는 다양한 알고리즘을 로직 IP로 구현함으로써 고속화 처리가 가능하였다.
- 본 논문에서는 구현한 시스템이 고속 영상 전송의 표준인 Camera Link(Medium)방식에서 정확하게 동작하는지 실험하였다. 또한 디지털 카메라에서 고속으로 전송하는 영상 데이터가 FPGA 내부에 설계된 IP에서 동작하는지 실험하였다.
제안 방법
- 카메라에서 전송되는 영상을 저장하기 위해서 사용된 SRAM은 약 2MB가 사용되었으며, 매칭버퍼까지 4MB로 구성되었다. Camera Link 블록과 VGA 블록에서는 서로 Clock 동기가 맞지 않는 관계로 일반 회로를 사용하여 처리하는 것이 어려우며, 클럭 동기를 해결하기 위하여 메모리 블록에서 양방향 SRAM을 사용하였다.
- 각각의 IP에서 처리된 영상 데이터를 디스플레이하기 위해 VGA IP를 설계 하였고, 480×480 영상을 출력하기 위해 4MB의 양방향 SRAM 블록을 사용하였다.
- 본 논문에서는 구현한 시스템이 고속 영상 전송의 표준인 Camera Link(Medium)방식에서 정확하게 동작하는지 실험하였다. 또한 디지털 카메라에서 고속으로 전송하는 영상 데이터가 FPGA 내부에 설계된 IP에서 동작하는지 실험하였다.
- 그림 3은 에지 검출 블록도를 나타낸다. 본 논문에서 구현한 에지 검출 방법은 메모리 IP의 영상버퍼에서 전송한 8bit 영상 데이터를 3개의 쉬프트 레지스터에 순차적으로 저장하고 3번째 라인 데이터가 쉬프트 레지스터에 저장이 완료되면 4번째 라인의 영상을 획득할 때 에지 검출을 시작하게 된다.
- 본 논문에서 제안한 패턴 매칭 기법은 고속 입력 영상에 대해서도 빠른 좌표 정합이 가능하였으며, 카메라에서 전송되는 영상에서 에지를 추출하기 위하여 소벨 마스크 IP를 설계하였다. 각각의 IP에서 처리된 영상 데이터를 디스플레이하기 위해 VGA IP를 설계 하였고, 480×480 영상을 출력하기 위해 4MB의 양방향 SRAM 블록을 사용하였다.
- FPGA를 이용함으로써, 소프트웨어에 의하여 구동되는 시스템과 달리 실시간 PCB 패턴의 특징 추출이 가능하였으며, 로직으로 설계된 각각의 IP들은 FPGA를 사용하는 모든 시스템에서 재사용할 수 있다. 본 논문에서는 템플리트(template) 특징을 이용한 실시간 매칭 IP, Camera Link IP, VGA IP, 에지 검출 IP, 메모리 IP 등을 구현하였다.
- 비디오 제어기에서는 영상버퍼에서 전송되는 480×480 영상 데이터를 LCD에 전송하여 카메라 입력영상을 실시간으로 확인 할수 있게 하였다.
- 설계된 각각의 IP들은 VHDL을 이용하여 모델링하였으며, 모든 유닛은 RTL(: Register Transfer Level)로 설계하였다. 실험 결과 각각의 IP에 대한 시뮬레이션 모델과 실제 FPGA에 설계하여 출력되는 실험 결과가 같음을 확인 하였다.
- 시뮬레이션을 위해 실제 디지털 카메라에서 전송되는 영상 데이터를 ROM (256×256×8bit) 형태로 내부에 저장하여 s_real_lval_sig와 s_real_data_sig의 클럭에 맞추어 출력 데이터로 전송하도록 하였다.
- 그림 7은 PCB 영상 중 256x256x8bit 영상을 이용하여 에지를 검출한 시뮬레이션 결과이다. 자체 시뮬레이션을 위하여 영상을 16진으로 변경하여 ROM 내부에 저장한 다음, LCD_CLK에 맞추어 데이터를 전송 한다. ROM 내부의 8bit 영상 데이터는 LCD_CLK에 맞추어 에지 검출 IP 내부에 3개의 쉬프트 레지스터 중 첫 번째 레지스터에 저장한다.
- 디지털 카메라는 Medium을 지원하는 DALSA의 4M60모델을 사용하였다. 카메라로부터 전송되는 영상을 확인하기 위한 Frame Grabber Board는 MATROX의 Solios를 사용하여 실험하였다.
- 카메라에서 전송되는 4Tap (2352(H)×1728(V)×10Bit)의 영상 데이터를 FPGA 내부의 Cam_Link_Top 블록에서 입력 받아 Camera Link의 데이터 포맷으로 재구성하여 Frame Grabber Board로 전송을 시작하며, 4Tap의 영상 데이터 중 1Tap(1728(H)×588(V)×10Bit)의 데이터를 분리하여 IP_Controller_Top 블록으로 전송한다.
대상 데이터
- Xilinx FPGA 칩과 주변의 SDRAM, Camera Link 송·수신 드라이버, 전원부, LED, KEY, TFT-LCD로 구성 되었다.
- 그림 3은 에지 검출 IP 및 알고리즘 블록도를 나타냈다. 각 쉬프트 레지스터는 클럭에 동기화 되며 소벨 마스크와 같은 크기를 갖게 하기 위해서 3개의 쉬프트 레지스터를 사용하였다. 소벨 X, Y 마스크에서 0인 값을 제외한 나머지 행렬 값을 이용하여 에지를 검출하게 된다.
- 설계된 IP를 실제 하드웨어에 적용, 검증하기 위해 Tektronix의 TLA5203 로직 애널라이저를 사용 하였고, 출력 신호를 측정하기 위하여 MSO 4140 오실로스코프를 사용하였다. 디지털 카메라는 Medium을 지원하는 DALSA의 4M60모델을 사용하였다. 카메라로부터 전송되는 영상을 확인하기 위한 Frame Grabber Board는 MATROX의 Solios를 사용하여 실험하였다.
- 본 논문에서 제시한 템플리트 특징을 이용한 패턴 매칭과 MAD를 이용한 패턴 매칭의 정합 시간을 비교하기 위해 같은 크기의 256×256 영상을 사용하여 시뮬레이션 하였다.
- 본 논문에서는 패턴 매칭 시스템 설계를 위하여 Xilinx ISE Tool을 사용하였으며, 설계된 IP를 검증하기 위하여 Montor Graphics사의 ModelSim을 사용하였다. 설계된 IP를 실제 하드웨어에 적용, 검증하기 위해 Tektronix의 TLA5203 로직 애널라이저를 사용 하였고, 출력 신호를 측정하기 위하여 MSO 4140 오실로스코프를 사용하였다. 디지털 카메라는 Medium을 지원하는 DALSA의 4M60모델을 사용하였다.
- 시뮬레이션 검증을 위하여 256×256 영상은 카메라로부터 입력되는 영상 대신에 내부 ROM에 저장된 영상을 이용하였다.
- 패턴 매칭 IP에서는 Video dma를 통해 Camera Link 신호를 분리하며, 1Tap 588×1728 영상 중 480×480 영상만을 추출해 영상버퍼 및 매칭버퍼에 전송한다. 카메라에서 전송되는 영상을 저장하기 위해서 사용된 SRAM은 약 2MB가 사용되었으며, 매칭버퍼까지 4MB로 구성되었다. Camera Link 블록과 VGA 블록에서는 서로 Clock 동기가 맞지 않는 관계로 일반 회로를 사용하여 처리하는 것이 어려우며, 클럭 동기를 해결하기 위하여 메모리 블록에서 양방향 SRAM을 사용하였다.
이론/모형
- 본 논문에서는 패턴 매칭 시스템 설계를 위하여 Xilinx ISE Tool을 사용하였으며, 설계된 IP를 검증하기 위하여 Montor Graphics사의 ModelSim을 사용하였다. 설계된 IP를 실제 하드웨어에 적용, 검증하기 위해 Tektronix의 TLA5203 로직 애널라이저를 사용 하였고, 출력 신호를 측정하기 위하여 MSO 4140 오실로스코프를 사용하였다.
- 영상에서 좌표 검색을 위하여 FSM(: Finite State Machine) 모델을 사용하였고, idle, search, recode_ line 순서로 동작한다. Reset 신호가 ‘1’이 되면 idel_line에서는 내부 신호를 초기화하고 search_line으로 신호를 넘겨주고, search_line에서는 s_pattern_to_addr을 통해 256×256 ROM으로부터 어드레스를 증가시키고, s_pattern_to_data에서 데이터를 입력 받는다.
성능/효과
- 본 논문에서는 PCB의 생산 과정에서 중요시 되고 있는 PCB 패턴 검출을 위한 실시간 패턴 매칭 시스템을 구현하였다. FPGA 모듈에 비전시스템에서 사용되는 다양한 알고리즘을 로직 IP로 구현함으로써 고속화 처리가 가능하였다. 또한 FPGA 기반의 Camera Link(Medium)를 지원하도록 설계되어 고가의 영상처리보드를 이용하지 않고도 영상을 획득할 수 있었다.
- 본 논문에서는 Camera Link( Medium)을 지원하며 카메라 입력영상에 대한 실시간 패턴 매칭이 가능한 FPGA 기반 시스템을 구현하였다. FPGA를 이용함으로써, 소프트웨어에 의하여 구동되는 시스템과 달리 실시간 PCB 패턴의 특징 추출이 가능하였으며, 로직으로 설계된 각각의 IP들은 FPGA를 사용하는 모든 시스템에서 재사용할 수 있다. 본 논문에서는 템플리트(template) 특징을 이용한 실시간 매칭 IP, Camera Link IP, VGA IP, 에지 검출 IP, 메모리 IP 등을 구현하였다.
- 그림 12는 템플리트 특징을 이용한 패턴 매칭 IP의 결과를 나타냈으며, 그림 12(b)에서 두 개의 매칭 영역에 대한 결과를 보여준다. 결과 좌표 (31, 28)영역과 좌표 (222, 28) 영역이 템플리트 특징에 부합되는 영역으로 검출되었으며, 유사 패턴 1과 유사 패턴 2는 매칭 결과에서 제외되는 것을 확인 할 수 있었다.
- 설계된 각각의 IP들은 VHDL을 이용하여 모델링하였으며, 모든 유닛은 RTL(: Register Transfer Level)로 설계하였다. 실험 결과 각각의 IP에 대한 시뮬레이션 모델과 실제 FPGA에 설계하여 출력되는 실험 결과가 같음을 확인 하였다. 그림 10은 본 논문에서 구현한 각각의 IP를 실험하기 위하여 제작된 패턴 매칭 시스템을 나타냈다.
- 제작된 실시간 패턴 매칭 시스템은 H/W적으로 알고리즘을 처리하기 때문에 256×256 영상은 최대 120ms, 480×480 영상의 정합시간은 최대 480ms였다.
- 본 논문에서 제시한 템플리트 특징을 이용한 패턴 매칭과 MAD를 이용한 패턴 매칭의 정합 시간을 비교하기 위해 같은 크기의 256×256 영상을 사용하여 시뮬레이션 하였다. 템플리트 영상으로부터 얻은 특징들을 이용하는 시뮬레이션 테스트 벤치 모델링은 2개의 유사한 특징의 좌표를 찾아내는데 약 120ms 정도가 소요되었으며, MAD 알고리즘을 이용한 영상 정합 시간은 3.8s였다. 템플리트 특징을 이용하는 방법이 정합 속도 측면에서 약 30배 이상 개선됨을 확인 할 수 있었다.
- 8s였다. 템플리트 특징을 이용하는 방법이 정합 속도 측면에서 약 30배 이상 개선됨을 확인 할 수 있었다. 시뮬레이션 검증을 위하여 256×256 영상은 카메라로부터 입력되는 영상 대신에 내부 ROM에 저장된 영상을 이용하였다.
후속연구
- 템플리트의 특징을 이용한 방법은 고속 정합이 가능하지만 잡음으로 인식되는 조명, 크기 변화 및 회전에 민감하게 반응한다. 이를 위해 보다 정밀하고 안정성을 높일 수 있는 알고리즘과 IP가 제안된다면 PCB 생산 공정이나 다른 비전 검사 시스템에 이용될 수 있을 것으로 생각된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.