[논문]Color Line Scan Camera를 위한 고속 신호처리 하드웨어 시스템 구현

박세현; 금영욱

doi:10.6109/jkiice.2017.21.9.1681

Color Line Scan Camera를 위한 고속 신호처리 하드웨어 시스템 구현
Implementation of the high speed signal processing hardware system for Color Line Scan Camera 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.21 no.9, 2017년, pp.1681 - 1688

박세현 (Department of Electronic Engineering, Andong National University) , 금영욱 (College of Engineering 1st, Andong National University)

초록
AI-Helper

본 논문에서는 FPGA와 Nor-Flash를 사용하여 컬러 라인 스캔 카메라를 위한 고속 신호처리 하드웨어 시스템을 구현하였다. 기존의 시스템에서는 소프트웨어를 기반으로 한 고속 DSP가 적용되어 왔고 주로 RGB 개별 논리에 의해 결함을 검출하는 방법이었지만 본 논문에서는 RGB-HSL 변환기, FIFO, HSL 풀-컬러 결함 디코더 및 이미지 프레임 버퍼로 구성된 하드웨어 기반의 결함 검출기를 제안하였다. 결함 검출기는 RGB에서 HSL로의 색상 공간 변환을 위한 하드웨어 기반 룩업테이블과 4K HSL 풀-컬러 결함 디코더로 구성되어 있다. 또한 단일 라인 데이터 기반의 로컬 픽셀 처리 대신 2차원 배열 구조의 이미지 단위 처리를 위해 라인 데이터 축적용 이미지 프레임을 포함한다. 설계된 시스템을 기존의 곡물 선별기에 적용하여 땅콩을 대상으로 선별해 본 결과 효과적임을 알 수 있었다.

Abstract ▼ AI-Helper

In this paper, we implemented a high-speed signal processing hardware system for Color Line Scan Camera using FPGA and Nor-Flash. The existing hardware system mainly processed by high-speed DSP based on software and it was a method of detecting defects mainly by RGB individual logic, however we suggested defect detection hardware using RGB-HSL hardware converter, FIFO, HSL Full-Color Defect Decoder and Image Frame Buffer. The defect detection hardware is composed of hardware look-up table in converting RGB to HSL and 4K HSL Full-Color Defect Decoder with high resolution. In addition, we included an image frame for comprehensive image processing based on two dimensional image by line data accumulation instead of local image processing based on line data. As a result, we can apply the implemented system to the grain sorting machine for the sorting of peanuts effectively.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 FPGA 및 Nor-Flash를 적용하여 컬러라인 스캔 카메라를 위한 고속 신호처리 하드웨어 시스템을 구현하였다.
본 논문은 컬러 라인 스캔 카메라를 위한 고속 신호처리 하드웨어 시스템 구현에 관한 것으로 세부내용은 다음과 같다.
라인 스캔 카메라의 검출 대상은 다양한 컬러의 조합으로 구성되어 있다. 지금까지의 방식은 개별 R,G,B 결함 분포들 간의 논리 회로적인 조합(논리곱/논리합/논리부정/배타적 논리합)만으로 검출대상을 규정하였지만 실제 결함은 개별 R,G,B 결함 분포가 아닌 픽셀 단위의 독립적 조합으로 구성되어 있으므로 본 논문에서는 풀-컬러 결함 디코더 방식의 하드웨어로 불량을 검출하고자 한다.

제안 방법

1024×3(RGB) 픽셀 CCD 센서를 이용해 10㎒ 데이터 속도 및 10㎑ 라인 속도를 가지는 카메라를 설계해서 고속 신호처리 하드웨어 시스템을 구현했다.
1024×3(RGB)라인 CCD센서가 적용되었으며 16비트 10㎒×3채널 ADC를 통해 10㎒ 데이터 속도와 10㎑ 라인 속도를 가진다. 10㎒ 읽기 속도를 가지는 16MB 용량의 Nor-Flash 3개를 이용해 RGB-HSL 변환기가 구현되었으며 11만 로직 엘리먼트및 4Mb 메모리를 가지는 FPGA를 이용해 지연 FIFO와 풀-컬러 결함 디코더를 설계하였다.
RGB 1픽셀(24비트)을 HSL로 변환해서 h_latch(8비트), s_latch(8비트), l_latch(8비트)에 저장하고 H(상위6비트), S(상위 3비트), L(상위 3비트)을 풀-컬러 결함 디코더의 입력으로 사용한다.
RGB 결함분포가 논리회로 연산적 조합이 아닌 R,G, B 각 픽셀 단위 결함으로 구성되어 있으므로 풀-컬러 결함 디코더는 모든 경우의 수를 적용하여 결함을 검출 하고자 한다.
그림 6은 설계된 풀-컬러 결함 디코더를 내장한 컬러라인 스캔 카메라 신호처리 과정을 보여주는 그림이다. RGB 라인 스캔 데이터를 획득한 후 RGB-HSL 변환기를 거치고 풀-컬러 결함 디코더에 의해 불량 픽셀을 판별한다. 불량 픽셀 데이터를 누적하여 3×3 행렬 윈도우로 이미지 판별을 한 후 64-채널 솔레노이드 밸브를 구동한다.
이렇게 할 경우 모노(8비트)나 다중(R,G,B) 모노 라인 스캔 카메라로 구현된 시스템에 비해 보다 정밀하고 세세한 불량과 양품의 판별이 가능하게 된다. 구현된 시스템의 성능 검증은 땅콩을 대상으로 실시하였고 FPGA(Field Programmable Gate Array) Cyclone Ⅳ를 적용하였다[8].
그러나 모든 경우의 수(2²⁴)를 다 적용하기에는 많은 용량의 디코더가 필요하므로 본 논문에서는 H[7:2],S[7:5], L[7:5] 단위로 축소하였고 총 4,096개 메모리 공간의 디코더로 구현하였다. 디코더 설정은 원료 이미지를 캡처한 후 컴퓨터에서 결함 분포 히스토그램을 생성하고 ARM을 통해 디코더에 다운로드 되도록 하였다.
기존의 검사 시스템에 일반화되어 있는 RGB 방식의 컬러 라인 스캔 카메라를 풀-컬러 결함 디코더를 내장한 컬러 라인 스캔 카메라로 대체하고자 한다. 라인 스캔 카메라의 검출 대상은 다양한 컬러의 조합으로 구성되어 있다.
기존의 하드웨어 시스템은 주로 고속의 DSP를 이용하여 소프트웨어 기반으로 처리를 하였으나 본 논문에서는 RGB-HSL 변환기(Nor-Flash), FIFO, 결함 디코더,이미지 프레임 버퍼(FPGA)에 의한 결함 검출 하드웨어 로직으로 구현하였다.
이 때 RGB-HSL 변환기를 소프트웨어로 구현하는 것은 쉽지만 실시간 처리에 한계가 있으므로 하드웨어 기반의 룩업테이블을 이용하였다. 다음으로 HSL 컬러 공간 내에서 실시간 불량 및 양품 판별을 위해 하드웨어로 구현된 4K의 분해능을 가지는 디코더를 설계하였다. 또한 라인 데이터 기반의 지엽적 영상처리 대신 이차원 이미지 기반의 포괄적 영상 처리를 위해 라인 데이터 누적용 이미지 프레임을 구현하였다[6,7].
)를 다 적용하기에는 많은 용량의 디코더가 필요하므로 본 논문에서는 H[7:2],S[7:5], L[7:5] 단위로 축소하였고 총 4,096개 메모리 공간의 디코더로 구현하였다. 디코더 설정은 원료 이미지를 캡처한 후 컴퓨터에서 결함 분포 히스토그램을 생성하고 ARM을 통해 디코더에 다운로드 되도록 하였다.
RGB 신호를 HSL로 변환하기 위해서 부동 소수점 연산과 나눗셈을 사용할 경우 실시간 처리에 문제를 발생시킨다. 따라서 실시간 HSL 변환을 위해서 그림 2와 같이 룩업테이블을 사용하여 직접변환을 하였다.
그림 12의 HSL 풀-컬러 결함 검출기 출력을 바로 불량 제거용 솔레노이드 밸브 구동 신호로 사용할 경우 양품을 포함한 모든 원료가 불량으로 제거되어 버린다. 따라서 원료의 외곽선 제거를 위해 불량의 크기를 설정해서 필터링을 한다. 그림 12에서 연속된 1024×3라인 영역에서 3×3 윈도우를 순차적으로 슬라이딩 하면서 불량 픽셀을 계수하고 기준 값을 초과할 경우 최종적으로 솔레노이드 밸브 구동 신호를 발생시킨다.
다음으로 HSL 컬러 공간 내에서 실시간 불량 및 양품 판별을 위해 하드웨어로 구현된 4K의 분해능을 가지는 디코더를 설계하였다. 또한 라인 데이터 기반의 지엽적 영상처리 대신 이차원 이미지 기반의 포괄적 영상 처리를 위해 라인 데이터 누적용 이미지 프레임을 구현하였다[6,7].
그에 대한 보상으로 그림 1에서 보는 바와 같이 길이가 다른 FIFO(First In First Out)를 이용하여 차등지연을 줌으로서 동일 지점을 보도록 했다. 스캔 속도에 따라 지연시간이 달라지나 본 논문에서는 10㎑의 라인 스캔 속도를 가지도록 카메라를 설계했으므로 R-FIFO는 1라인, G-FIFO는 4라인을 지연하고 B-FIFO는 7라인을 지연하였다. FIFO를 거쳐 동일지점 RGB(24비트) 데이터로 출력된 신호는 동일 지점의 HSL 신호로 변환하는 단계를 거친다.
실시간적 요소와 검출 방식의 효과성을 입증하기 위해서 컬러 라인 스캔 카메라 출력 포맷인 RGB(24비트)데이터를 HSL 컬러 공간으로 변환하고 풀-컬러 결함 디코더에 입력한다. 이때 RGB-HSL 변환기를 소프트웨어로 구현하는 것은 실시간 처리에 한계가 있으므로 하드웨어 기반의 룩업테이블을 이용하였다.
특히 기존의 시스템은 주로 RGB 개별 로직에 의하여 결함을 검출하는 방식이었으나 본 논문에서는 풀-컬러 결함 디코더를 이용한 결함 검출 방식을 제안하고 이를 하드웨어로 구현하였다.

대상 데이터

7㎳라는 실시간에 준하는 처리속도와 풀-컬러 기반 불량 검출 방식의 효과성을 입증하였다. 사용된 시료는 땅콩을 대상으로 하였다.

이론/모형

컬러 라인 스캔 카메라 출력 포맷인 RGB(24비트) 컬러 공간에서는 불량과 양품의 정형화된 영역을 설정하는 것은 불가능하므로 HSL(Hue, Saturation, Lightness) 컬러 공간으로 변환을 해야 한다. 이 때 RGB-HSL 변환기를 소프트웨어로 구현하는 것은 쉽지만 실시간 처리에 한계가 있으므로 하드웨어 기반의 룩업테이블을 이용하였다. 다음으로 HSL 컬러 공간 내에서 실시간 불량 및 양품 판별을 위해 하드웨어로 구현된 4K의 분해능을 가지는 디코더를 설계하였다.
실시간적 요소와 검출 방식의 효과성을 입증하기 위해서 컬러 라인 스캔 카메라 출력 포맷인 RGB(24비트)데이터를 HSL 컬러 공간으로 변환하고 풀-컬러 결함 디코더에 입력한다. 이때 RGB-HSL 변환기를 소프트웨어로 구현하는 것은 실시간 처리에 한계가 있으므로 하드웨어 기반의 룩업테이블을 이용하였다. RGB 컬러공간에서는 R,G,B 각각의 데이터에 색상, 채도, 명도 성분이 함께 존재하기 때문에 특정 범위의 색상을 불량으로 설정할 수 없었으나 HSL 컬러 공간에서는 인접한 색상의 범위를 포함해서 다양한 색상을 불량으로 특정할 수 있다.

성능/효과

구현된 하드웨어를 곡물 선별 시스템에 적용해 본 결과 5.7㎳라는 실시간에 준하는 처리속도와 풀-컬러 기반 불량 검출 방식의 효과성을 입증하였다. 사용된 시료는 땅콩을 대상으로 하였다.
라인 데이터 기반의 지엽적 영상처리 대신 이차원 이미지 기반의 포괄적 영상 처리를 위해 라인 데이터 누적용 이미지 프레임 버퍼를 구현하여 풀-컬러 결함 디코더의 출력을 3라인까지 누적하였으며 3×3 윈도우를 이용해 전후좌우 픽셀의 불량 여부를 반영해서 현재 픽셀의 불량 및 액추에이터 구동신호 생성여부를 판단하다 보니 원료에서 보다 정밀하고 정확한 불량 제거가 가능하게 되었으며 만족할만한 결과를 얻었다.

후속연구

이러한 현상을 Hallo 효과라고 지칭하는데 해결책은 베이어 필터가 적용되어 있는 센서를 이용해 카메라를 설계하는 것이다. 차후 과제로 남겨두고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	라인 스캔 카메라는 주로 어디에서 사용되는가?	라인 스캔 카메라는 일정한 속도로 움직이는 대상을 촬영하거나 카메라를 일정한 속도로 움직여 정지된 대상을 촬영하는데 이용되며, 한 번에 한 라인씩 이미지 데이터를 획득해서 고속으로 신호처리를 수행한다. 라인 스캔 카메라는 생산 공정 내에서 결함을 직접 확인하는 데 유용한 도구로서 주로 반도체, 섬유원단, 종이,플라스틱, 곡물 등의 결함 검출 및 분류하는 시스템에 사용된다[1,2].
	라인 스캔 카메라에 사용되는 CCD 센서의 단점은 무엇인가?	라인 스캔 카메라에 사용되는 CCD(Charge Coupled Device) 센서의 경우 단위 픽셀 사이즈가 커서 다이나믹 레인지가 크고, 높은 필-팩터를 가지므로 감도 또한 우수한다. 반면 라인 스캔 카메라와 수직한 방향으로 물체를 이동시켜야 하고 이동 속도 또한 일정해야 정확한 영상을 얻을 수 있다는 단점이 있다. 아울러 고속으로 스캔을 하므로 획득되는 이미지 데이터양 또한 방대하므로 고속 신호처리가 필수적으로 동반되어야 한다[4,5].
	본 연구에서 제안한 결함 검출기의 구성 요소는 무엇이 있는가?	기존의 시스템에서는 소프트웨어를 기반으로 한 고속 DSP가 적용되어 왔고 주로 RGB 개별 논리에 의해 결함을 검출하는 방법이었지만 본 논문에서는 RGB-HSL 변환기, FIFO, HSL 풀-컬러 결함 디코더 및 이미지 프레임 버퍼로 구성된 하드웨어 기반의 결함 검출기를 제안하였다. 결함 검출기는 RGB에서 HSL로의 색상 공간 변환을 위한 하드웨어 기반 룩업테이블과 4K HSL 풀-컬러 결함 디코더로 구성되어 있다. 또한 단일 라인 데이터 기반의 로컬 픽셀 처리 대신 2차원 배열 구조의 이미지 단위 처리를 위해 라인 데이터 축적용 이미지 프레임을 포함한다. 설계된 시스템을 기존의 곡물 선별기에 적용하여 땅콩을 대상으로 선별해 본 결과 효과적임을 알 수 있었다.

참고문헌 (8)

J. P. Yun, "A Micro-defect Detection of Cold Rolled Steel," Journal of Institute of Control, Robotics and Systems, vol. 22, no. 4, pp. 247-252, Apr. 2016.

원문보기 상세보기
Y. S. Jung, K. H. Park, "O-ring Size Measurement Based on a Small Machine Vision Inspection Equipment," Journal of the Korea Industrial Information System Research, vol. 19, no. 4, pp. 41-52, Aug. 2014.
R. S. Satake, Development and Designing of a Spectro-Separator for Rice Applications, 1st ed. Seoul:Dept. of Agricultural Engineering Press, 2007.
G. C. Holst and T. S. Lomheim, CMOS/CCD Sensors and Camera Systems, 2nd ed. Bellingham, WA:SPIE Press, 2011.
N. R. Waltham, "CCD and CMOS sensors," in Observing Photons in Space, 2nd ed. New York, NY: Springer, ch. 23, pp. 423-442, 2013.
P. M. Nishad, R. M. Chezian, "Various Colour Spaces And Colour Space Conversion Algorithms," Journal of Global Research in Computer Science, vol. 4, no. 1, pp. 44-48, Jan. 2013.
S. H. Park, VHDL for Hardware Engineer, 2nd ed. Seoul:Green Press, 1999.
Altera Corporation, Cyclone IV Device Handbook, vol 1, San Jose, CA:Altera, 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증