[논문]부분 재구성을 이용한 노이즈 영상의 경계선 검출 시스템

윤일중; 정희원; 김승종; 민병석; 이주흥

doi:10.5762/kais.2017.18.1.21

부분 재구성을 이용한 노이즈 영상의 경계선 검출 시스템
Edge Detection System for Noisy Video Sequences Using Partial Reconfiguration 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.18 no.1, 2017년, pp.21 - 31

윤일중 (홍익대학교 전자전산공학과) , 정희원 (홍익대학교 전자전산공학과) , 김승종 (한양여자대학교 컴퓨터정보과) , 민병석 (충청대학교 전자컴퓨터학부) , 이주흥 (홍익대학교 전자전산공학과)

초록
AI-Helper

본 논문에서는 Zynq SoC 플랫폼을 사용하여 노이즈 영상의 경계선 검출 및 노이즈 감소를 위한 부분 재구성 시스템을 설계한다. 실시간 1080p 영상 시퀀스의 처리를 위한 높은 연산량을 제공하기 위해 재구성이 가능한 Programmable Logic 영역을 사용하고 하드웨어 필터를 구현한다. 또한 하드웨어 필터들은 부분 재구성 가능한 영역을 활용한 자동 재구성 기능을 통해 제한된 환경의 임베디드 시스템에서 더욱 더 효과적으로 하드웨어 자원 활용을 가능하게 한다. 주어진 한계점을 넘는 잡음을 포함한 입력 영상의 경우 적응적 노이즈 제거를 위한 필터링 연산을 하드웨어에 자동 재구성하여 수행함으로써 제안된 시스템은 향상된 경계선 검출 결과를 보여 주고 있다. 제안 하는 시스템을 사용하여 영상 시퀀스의 잡음 밀도에 따라 영상 처리 필터의 bitstream이 스스로 재구성 되었을 때 경계선 검출의 정확도에 대한 결과가 향상된 것을 (14~20배 PFOM) 구현 결과에서 보여 준다. 또한, ZyCAP을 사용하여 구현 한 경우 2.1배 빠르게 부분 재구성함을 확인하였다.

Abstract ▼ AI-Helper

In this paper, the Zynq system-on-chip (SoC) platform is used to design an adaptive noise reduction and edge-detection system using partial reconfiguration. Filters are implemented in a partially reconfigurable (PR) region to provide high computational complexity in real-time, 1080p video processing. In addition, partial reconfiguration enables better utilization of hardware resources in the embedded system from autonomous replacement of filters in the same PR region. The proposed edge-detection system performs adaptive noise reduction if the noise density level in the incoming video sequences exceeds a given threshold value. Results of implementation show that the proposed system improves the accuracy of edge-detection results (14~20 times in Pratt's Figure of Merit) through self-reconfiguration of filter bitstreams triggered by noise density level in the video sequences. In addition, the ZyCAP controller implemented in this paper enables about 2.1 times faster reconfiguration when compared to a PCAP controller.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Salt-and-pepper noise에 의해 손상된 영상에서 효과적인 경계선 검출을 실행하기 위해서 본 논문에서는 Median filter를 전처리 과정으로 사용하여 noise를 감소시킨 후 Sobel filter를 실행 (이후에는 Median+Sobelfilter로 표기)하는 self-reconfiguration 방법을 제안하여 경계선 검출의 효율성을 높이고자 한다.
본 논문에서 우리는 적응적 부분 재구성 시스템을 이용하여 경계선 검출 필터의 성능을 증가시키는 방법을 제안하였다. 필터 영역을 FPGA에서 하드웨어로 구현하여 1080p 해상도 영상의 경계선 검출에 필요한 연산 능력을 향상시켰다.
실험 결과를 보면 부분적 재구성이 전체 재구성에 걸리는 시간 보다 약 12% 감소함을 확인 할 수 있으며, Median+Sobel filter를 사용한 경우 PFOM 수치가 Sobel filter만 사용한 경우보다 14 ∼ 20배 정도 향상됨을 확인하였다. 이후 연구 진행 방향은, 하드웨어의 적응적 재구성을 더욱 효과적으로 지원할 수 있는 시스템 소프트웨어의 설계와 영상의 높은 잡음 밀도에 더욱 강인한 필터를 설계 구현하고자 한다.

제안 방법

1080p 해상도의 비디오 영상에서 물체의 경계선을 실시간으로 추출하기 위해 PL 영역에서 Sobel filter를 구현하였다. Fig.
9이다. 5%와 10%의 밀도를 가지는 salt-and-pepper 노이즈에 의해 훼손된 비디오 영상인 Video #1과 #2를 측정 대상으로 하고 frame 진행에 따른 Sobel filter 와 Median+Sobel filter의 결과 영상에 따른 PFOM 수치를 측정하였다[21][22]. Median+Sobelfilter의 PFOM 수치가 Sobel filter 보다 매우 높게 측정되어 잡음에 의해 훼손된 영상의 경우 보다 효과적으로 경계선 검출을 수행함을 확인할 수 있다.
본 논문에서는 Zynq SoC 플랫폼을 이용하여 영상의 잡음을 제거한 후 경계선 성분을 추출하는 필터를 구현한다. 또한, 영상에 존재하는 잡음의 정도에 따라 노이즈제거를 위한 필터를 자동 재구성하여 연산하는 시스템을 구현한다. 이를 통하여 임베디드 환경에서 제한적인 하드웨어 자원을 더욱 효과적으로 활용할 수 있으며, 지금까지의 연구 방향은 사용자의 선택에 따른 수동적 재구성을 전제로 이루어져 왔지만 본 논문에서 제안한 방법은 필터를 입력신호의 특성을 고려하여 스스로 재구성함으로써 잡음에 의해 훼손된 영상이 입력될 경우 이에 따른 실시간 대응이 가능하여 효과적인 경계선 검출을 수행할 수 있다.
ICAP과 PCAP은 32-bits의 data width를 가지고 이론적으로 최대 400MB/s의 reconfiguration throughput을 지원한다. 본 논문에서는 PCAP을 사용하여 full bitstream과 partial bitstream 파일을 PL로 전송하며 그 과정을 Fig. 2에서 보여주고 있다. 외부 메모리저장소인 SD 카드에서 받은 First Stage Boot Loader(FSBL)는 PS를 boot 시키고 full bitstream을 읽어서 PL의 Static Logic에 다운로드한다.
본 논문에서는 Zynq SoC 플랫폼을 이용하여 영상의 잡음을 제거한 후 경계선 성분을 추출하는 필터를 구현한다. 또한, 영상에 존재하는 잡음의 정도에 따라 노이즈제거를 위한 필터를 자동 재구성하여 연산하는 시스템을 구현한다.
검출된 noise 픽셀의 총 수를 영상의 전체 픽셀수로 나눈 값이 주어진 영상 프레임의 noise 밀도가 된다. 영상이 Salt-and-pepper noise에 의해 손상되면 경계선 검출 성능이 많이 감소하게 되며, 경계선 검출 성능의 감소를 막기 위해서 noise를 제거하는 Median filter를 구현하였다. Median filter는 식 (8)의 정의와 같다.
특히 많은 데이터를 실시간 처리해야 하는 영상정보의 경우, CPU를 활용한 소프트웨어 처리는 매우 많은 클럭을 소모하기 때문에, 이의 효과적인 연산을 위하여 FPGA (Field- Programmable Gate Array)와 같은 하드웨어를 이용하여 처리함으로서 각 응용에 최적화된 병렬처리 구조와 파이프 라이닝을 통해 저속의 동작 주파수에서도 영상정보의 실시간 처리가 가능하도록 시스템 레벨에서의 설계가 이루어지고 있다[1]. 이전에 FPGA와 고성능의 ARM Dual-core Cortex-A9 프로세서를 탑재한 Zynq SoC 플랫폼을 이용하여 영상의 고주파 에지 성분을 추출하기 위한 경계선 검출 필터를 구현하였고 [2], 이를 바탕으로 적응적 신호처리를 위한 복수의 영상처리 필터들이 floorplanning을 통해 지정된 하드웨어 영역을 함께 사용하도록 설계함으로써, 공통된 하드웨어 자원을 활용하여 여러 개의 영상처리 알고리즘들을 필요에 따라 실시간 선택하여 사용할 수 있는 PR(Partial Reconfiguration) 시스템을 구현하였다.

대상 데이터

실험에 사용되는 장비는 XC7Z020 CLG484-1 APSoC를 장착한 ZC702 Evaluation board와 ADV7611/ADV7511 기반의 HDMI Input/Output을 지원하는 FMC Module, 그리고 1920X1080 해상도를 지원하는 monitor가 있다. UART Terminal Emulator를 사용하여 Board를 제어한다[16].
실험에 사용한 영상은 1920x1080의 해상도를 가지는 두 종류의 Full HD 비디오 영상이며 Fig. 8의 Video #1은 Elephants dream 이고 Video #2는 Soccer Game Goal 이다. Fig.

이론/모형

Xilinx Zynq SoC 하드웨어 플랫폼의 전력소모량을 Vivado Design Suite에서 제공하는 Power Report를 사용하여 측정하였다[23]. Fig.
경계선 검출의 성능을 평가하기 위해 제안된 Pratt’s Figure of Merit (FOM) 을 사용하여 경계선 검출에 방해가 되는 noise 밀도의 기준점을 결정하는데 사용하였다.
경계선 검출은 위에서 정의한 Sobel 연산을 통하여 검출되지만 만약 영상을 촬영하는 센서에 결함이 발생하거나 영상을 전송하는 과정에서 bit error가 발생하여 Salt-and-Pepper와 같은 noise가 영상에 손상을 입히게 되면 경계선 검출 필터의 성능이 크게 감소하게 된다. 본 논문에서는 [13]에서 제안된 noise 검출 알고리즘을 구현하였으며, noise 검출 알고리즘은 다음과 같다.
실험에 사용하는 Sobel 필터와 Median+Sobel 필터는 High-Level Synthesis (HLS) tool을 사용하여 생성된다[18][19]. HLS는 C언어 또는 C++ 언어를 Register Transfer Level (RTL)로 구성된 Verilog 또는 VHDL 언어로 변경하고 IP core를 생성한다.

성능/효과

8-(g)와 Fig. 8-(h)는 Median+Sobel filter를 거친 결과 영상이고 Sobel filter 만을 사용한 결과영상 보다 노이즈 제거에 탁월하고 경계선 검출 성능도 효과적인 것을 확인 할 수 있다.
5%와 10%의 밀도를 가지는 salt-and-pepper 노이즈에 의해 훼손된 비디오 영상인 Video #1과 #2를 측정 대상으로 하고 frame 진행에 따른 Sobel filter 와 Median+Sobel filter의 결과 영상에 따른 PFOM 수치를 측정하였다[21][22]. Median+Sobelfilter의 PFOM 수치가 Sobel filter 보다 매우 높게 측정되어 잡음에 의해 훼손된 영상의 경우 보다 효과적으로 경계선 검출을 수행함을 확인할 수 있다.
PR의 사용으로 인해서 bitstream의 메모리 용량과 PCAP configuration에 소모되는 시간 또한 감소되었음을 Table 2에서 보여주고 있다. 실시간 영상처리에서 중요한 부분인 configuration time은 full bitstream의 configuration에 사용되는 시간의 12%만을 사용하여 partial bitstream의 configuraiton이 수행되었음을 확인하였다. 기존 Xilinx에서 제공하는 PR방식들 보다 좀 더 빠르게 부분 재구성을 수행하는 ZyCAP은 AMBA Bus의 HP Port를 효과적으로 사용하고 기존 재구성 방식에서 소프트웨어에 의한 overhead를 최소화하여 PR을 수행하는 방법이며, 오픈소스로 제공된다[20].
실험 결과를 보면 부분적 재구성이 전체 재구성에 걸리는 시간 보다 약 12% 감소함을 확인 할 수 있으며, Median+Sobel filter를 사용한 경우 PFOM 수치가 Sobel filter만 사용한 경우보다 14 ∼ 20배 정도 향상됨을 확인하였다.
필터 영역을 FPGA에서 하드웨어로 구현하여 1080p 해상도 영상의 경계선 검출에 필요한 연산 능력을 향상시켰다. 영상에 noise가 검출되면 이를 처리하기 위한 다른 하드웨어 bitstream이 자동 재구성되어 손상된 영상에서도 경계선이 효과적으로 검출됨을 확인할 수 있었다. 실험 결과를 보면 부분적 재구성이 전체 재구성에 걸리는 시간 보다 약 12% 감소함을 확인 할 수 있으며, Median+Sobel filter를 사용한 경우 PFOM 수치가 Sobel filter만 사용한 경우보다 14 ∼ 20배 정도 향상됨을 확인하였다.
또한, 영상에 존재하는 잡음의 정도에 따라 노이즈제거를 위한 필터를 자동 재구성하여 연산하는 시스템을 구현한다. 이를 통하여 임베디드 환경에서 제한적인 하드웨어 자원을 더욱 효과적으로 활용할 수 있으며, 지금까지의 연구 방향은 사용자의 선택에 따른 수동적 재구성을 전제로 이루어져 왔지만 본 논문에서 제안한 방법은 필터를 입력신호의 특성을 고려하여 스스로 재구성함으로써 잡음에 의해 훼손된 영상이 입력될 경우 이에 따른 실시간 대응이 가능하여 효과적인 경계선 검출을 수행할 수 있다.
본 논문에서 우리는 적응적 부분 재구성 시스템을 이용하여 경계선 검출 필터의 성능을 증가시키는 방법을 제안하였다. 필터 영역을 FPGA에서 하드웨어로 구현하여 1080p 해상도 영상의 경계선 검출에 필요한 연산 능력을 향상시켰다. 영상에 noise가 검출되면 이를 처리하기 위한 다른 하드웨어 bitstream이 자동 재구성되어 손상된 영상에서도 경계선이 효과적으로 검출됨을 확인할 수 있었다.
기존 Xilinx에서 제공하는 PR방식들 보다 좀 더 빠르게 부분 재구성을 수행하는 ZyCAP은 AMBA Bus의 HP Port를 효과적으로 사용하고 기존 재구성 방식에서 소프트웨어에 의한 overhead를 최소화하여 PR을 수행하는 방법이며, 오픈소스로 제공된다[20]. 현재 플랫폼에 적용하여 재구성 시간을 측정한 결과, 4.7ms 로서 PCAP보다 2.1배 빠르게 재구성함을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상 전처리과정에서 활용되는 경계선 검출의 한계점은 무엇인가?	영상의 경계선 검출은 처리해야 할 정보의 양을 줄여주면서 중요한 구조적 정보를 유지시켜주기 때문에 물체 검출, 얼굴 인식, 패턴 인식 등 여러 분야에서 적용되고 있으며, 인식 및 검출에 관련한 대부분의 영상 전처리과정으로 활용되고 있다. 그러나 영상이 salt-pepper 잡음에 훼손되었을 경우 경계선 검출의 성능이 급격하게 저하된다. 이러한 문제점을 방지하기 위하여 미디언 필터 (median filter)와 같은 잡음제거 필터들이 경계선 검출 전 전처리 과정으로 활용된다.
	영상의 경계선 검출은 어느 분야에 적용되고 활용되는가?	영상의 경계선 검출은 처리해야 할 정보의 양을 줄여주면서 중요한 구조적 정보를 유지시켜주기 때문에 물체 검출, 얼굴 인식, 패턴 인식 등 여러 분야에서 적용되고 있으며, 인식 및 검출에 관련한 대부분의 영상 전처리과정으로 활용되고 있다. 그러나 영상이 salt-pepper 잡음에 훼손되었을 경우 경계선 검출의 성능이 급격하게 저하된다.
	Xilinx FPGA에서 지원되는 PR은 어떤 기능을 지원하는가?	Xilinx FPGA에서 지원되는 PR은 재구성이 가능한 하드웨어 자원에서 특정부분을 Partially Reconfigurable Region (PRR) 으로 재정의 하여 미리 설계된 하드웨어비트스트림을 다운로드하여 사용할 수 있도록 지원한다. 다양한 기능의 비트스트림들을 정의된 PRR에 실시간으로 재사용하여 하드웨어 자원을 효과적으로 활용할 수 있으며 이를 통한 전력 및 비용 감소를 얻을 수 있다[5-9].

참고문헌 (23)

P. Greisen, M. Runo, P. Guillet, S. Heinzle, A. Smolic, H. Kaeslin and M. Gross, "Evaluation and FPGE Implementation of Sparse Linear Solvers for Video Processing Applications", Circuits and Systems for Video Technology, IEEE, vol. 23, Issue: 8, pp. 1402-1407, Feb. 2013. DOI: https://doi.org/10.1109/TCSVT.2013.2244797

상세보기
UG1165 (v2015.3), "Zynq-7000 All Programmable SoC: Embedded Design Tutorial", Xilinx, Nov. 2015.
DS190(v1.8), "Zynq-7000 All Programmable SoC Overview", Xilinx, May 2015.
UG585(v1.10), " Zynq-7000 All Programmable SoC Technical Reference Manual", Xilinx, Feb. 2015.
UG909(v2014.4), "Vivado Design Suite User Guide Partial Reconfiguration", Xilinx, Nov. 2014.
E, Stott, P. Sedcole, P. Y. K. Cheung, "Fault tolerant methods for reliability in FPGAs", International Conference on Field Programmable Logic and Applications, pp. 415-420, Sept. 2008. DOI: https://doi.org/10.1109/fpl.2008.4629973
Naveed Imran, Ronald F. DeMara, Jooheung Lee, Jian Huang, "Self-Adapting Resource Escalation for Resilient Signal Processing Architectures", Journal of Signal Processing Systems, vol. 77, no. 3, pp. 257-280, Dec. 2014. DOI: https://doi.org/10.1007/s11265-013-0811-x

상세보기
C. Insaurralde, "Reconfigurable computer architectures for dynamically adaptable avionics systems", IEEE Aerospace and Electronic Systems Magazine, vol. 30, pp. 46-53, Sept. 2015. DOI: https://doi.org/10.1109/MAES.2015.140077

상세보기
UG909(v2014.4), "Vivado Design Suite User Guide Partial Reconfiguration", Xilinx, Nov. 2014.
Kizheppatt Vipin and Suhaib A. Fahmy, "ZyCAP: Efficient Partial Reconfiguration Management on the Xilinx Zynq", Embedded Systems Letters, IEEE, vol. 6, Issue: 3, pp. 41-44, Sep. 2014. DOI: https://doi.org/10.1109/LES.2014.2314390

상세보기
XAPP1159(v1.0), Christian Kohn, "Partial Reconfiguration of a Hardware Accelerator on Zynq-7000 All Programmable SoC Devices", Xilinx, Jan. 2013.
Soonjong Jin, Wonki Kim and Jechang Jeong, "Fine Directional De-interlacing Algorithm Using Modified Sobel operation", Consumer Electronics, IEEE, vol.54, Issue: 2, pp. 587-862, May. 2008. DOI: http://dx.doi.org/10.1109/TCE.2008.4560171

상세보기
Pei-Yin Chen, Chih-Yuan Lien, and Yi-Ming Lin, "A Real-time Image Denoising Chip", Circuits and Systems, ISCAS IEEE International Symposium on, pp. 3390-3393, May. 2008. DOI: http://dx.doi.org/10.1109/ISCAS.2008.4542186
Chenglong Chen, Jiangqun Ni and Jiwu Huang, "Blind Detection of Median Filtering in Digital Images: A Difference Domain based Approach", Image Processing, IEEE, vol. 22, Issue: 12, pp. 4699-4710, Aug. 2013. DOI: https://doi.org/10.1109/TIP.2013.2277814

상세보기
William K. Pratt, "Digital Image Processing", PIKS Inside, Third Edition, pp. 490-494, Aug. 2000.
XAPP1231 (v1.1), Christian Kohn, "Partial Reconfiguration of a Hardware Accelerator with Vivado Design Suite for Zynq-7000 Ap SoC Processor", Xilinx, Mar. 2015.
UG821 (v12.0), "Zynq7000 All Programmable SoC Software Developers Guide", Xilinx, Sep. 2015.
XAPP890 (v1.0), Fernando Martinez Vallina, Christian Kohn, and Pallav Joshi, "Zynq All Programmable SoC Sobel Filter Implementation Using the Vivado HLS Tool", Xilinx, Sep. 2012.
UG902 (v2015.4), "Vivado Design Suite User Guide : High-Level Synthesis", Xilinx, Nov. 2015.
Kizheppatt Vipin and Suhaib A. Fahmy, "ZyCAP: Efficient Partial Reconfiguration Management on the Xilinx Zynq", IEEE Embedded Systems Letters, vol. 6, Issue : 3, Mar. 2014. DOI: http://dx.doi.org/10.1109/LES.2014.2314390

상세보기
Ikram E. Abdou and William K. Pratt, "Quantitative design and evaluation of enhancement/thresholding edge detectors", Proceedings of the IEEE , vol. 67 , no. 5, pp. 753-763, May 1979. DOI: https://doi.org/10.1109/PROC.1979.11325

상세보기
J.-A. Jiang, C.-L. Chuang, Y.-L. Lu and C.-S. Fahn, "Mathematical-morphology-based edge detectors for detection of thin edges in low-contrast regions", Image Processing, IET, vol. 1, no.3 pp. 269-277, Sep. 2007. DOI: https://doi.org/10.1049/iet-ipr:20060273

상세보기
UG907(v2015.4), "Vivado Design Suite User Guide: Power Analysis and Optimization", Xilinx, Nov. 2015.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증