[논문]블록 기반 압축 이미지 및 비디오를 위한 디블로킹 필터의 SoC 구현

서광석; 이주흥

doi:10.7471/ikeee.2019.23.3.925

초록
AI-Helper

본 논문에서는 Zynq Soc Platform의 부분 재구성 기능을 사용하여 영상 압축으로 생성된 blocking artifacts를 제거하는 후처리 시스템을 설계한다. 높은 연산량을 제공하고 실시간으로 1080p 영상을 처리하도록 부분 재구성이 가능한 FPGA(Field Programmable Gate Array) 영역에 디블로킹 필터를 구현한다. 또한 부분적으로 재구성 가능한 영역을 활용하여 제한된 환경의 임베디드 시스템에서 하드웨어 리소스를 보다 효율적으로 사용할 수 있다. 제안된 시스템의 실험결과는 디블로킹 필터처리 후 약 0.6dB의 PSNR 향상을 보여준다. Zynq SoC에서 구현된 필터가 동작할 때 68.33mW의 전력을 소모한다.

Abstract ▼ AI-Helper

In this paper, we implement ZYNQ SoC-based post-processing system that utilizes partial reconfiguration to remove blocking artifacts generated by compression algorithm. Hardware implementation of the deblocking filter in a Field Programmable Gate Array (FPGA) provides high computational capability a...

In this paper, we implement ZYNQ SoC-based post-processing system that utilizes partial reconfiguration to remove blocking artifacts generated by compression algorithm. Hardware implementation of the deblocking filter in a Field Programmable Gate Array (FPGA) provides high computational capability and can be partially reconfigured to process 1080p images in real time. Partially reconfigurable areas in FPGA can be utilized to use hardware more efficiently in highly resource-constrained embedded systems. Experimental results of the proposed system show improvement of visual quality both objectively and subjectively with 0.6dB higher PSNR after deblocking filtering process. The measured power consumption of the deblocking filter during run-time is 68.33mW.

주제어

표/그림 (10)

그림 Fig. 1. Device configuration flow. 그림 1. 장치 구성 흐름도
그림 Fig. 2. Vivado HLS flow. 그림 2. Vivado HLS 흐름도
그림 Fig. 3. Block boundary. 그림 3. 블록 경계
그림 Fig. 4. RTL simulation results. 그림 4. RTL의 시뮬레이션 결과
그림 Fig. 5. Prototype of the system. 그림 5. 시스템 프로토타입
그림 Fig. 6. Floorplanning. 그림 6. 시스템 플로어플래닝
그림 Fig. 7. Deblocking results of image sequence(Elephants Dream). 그림 7. 이미지 시퀀스에 대한 디블로킹 후처리 결과
표 Table 1. Resources required for Partial Reconfiguration Module 표 1. 부분재구성 모듈 자원
그림 Fig. 8. Comparison of pixel values before and after processing. 그림 8. 처리 전 후 화소 값 비교
표 Table. 2. Performance Comparison. 표 2. 성능 비교

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

가설 설정

비디오 프레임이 처리 된 후, VDMA write channel은 결과를 다시 메모리에 기록한다. HLS 영상 필터는 이 디자인에서 실시간 재구성되는 하드웨어 블록이다. 시스템은 PR을 사용하여 PCAP 인터페이스를 통해 런타임에 동적으로 필터 모듈을 불러온다.

제안 방법

PS영역에 리눅스 운영체제를 포팅하고, 1 GHz에서 동작하는 Cortex-A9 CPU에서 S/W를 이용하여 디블록킹 필터를 구현하였다. SW 구현 성능의 경우, 1920x1080 고해상도 영상의 실시간 연산이 불가능한 0.
본 논문에서 deblocking filter는 HLS를 사용하여 고정 소수점으로 구현한다. 구현하는 deblocking filter에는 평탄모드와 일반모드가 있다[12].
본 논문에서는 HDMI input/output을 지원하는 ZC702 evaluation board 및 FMC 모듈을 이용하여 제안된 재구성 시스템을 구현한다. Fig.
본 논문에서는 계산 복잡도가 높은 deblocking filter를 Xilinx사의 Vivado HLS(High Level Synthesis) Tool을 사용하여 Zynq-7020 SoC 환경에서 구현한다. OpenCV 함수호출은 입출력 영상 값을 얻는데 사용되며, 획득된 영상정보를 사용하여 deblocking 연산이 수행된다.

데이터처리

그림 4는 RTL 시뮬레이션 결과를 파형으로 검증한 결과이다. HLS에서 C/RTL co-simulation 기능을 활용하여 시뮬레이션을 수행하였고, 각 함수별 입출력을 C로 구현한 결과와 비교 평가하여 검증 하였다.

이론/모형

HLS에서 제공하는 C Simulation을 사용하여 functional level에서 시스템을 검증할 수 있다. Functionally simulated design의 합성을 통해 변환된 코드는 C/RTL Co-Simulation을 사용하여 waveform 검증을 수행할 수 있다. 그 후 검증된 디자인은 IP 패키징을 통해 Vivado Design Suite에서 사용할 수 있다[11].
본 논문에서는 시스템의 성능을 평가하기 위해 AXI Performance Monitor(APM)을 사용한다. APM Core는 performance를 측정하고 연결된 AXI 인터페이스 처리량의 실시간 성능을 기록한다[13].
63mW의 전력을 소모하였다. 제한된 임베디드 환경 하에서 실시간 화질 향상 기능을 구현하기 위하여 SW/HW codesign 방법을 활용하였다. Zynq SoC의 PL 영역에 디블록킹 필터를 구현하였을 경우, 150 MHz의 동작 주파수에서 35 fps의 실시간 처리가 가능하였으며, 68.
5:1의 비율로 압축률을 높여 테스트 입력 영상 Elephants Dream에 blocking artifacts를 생성한다. 후처리 성능의 객관적 비교를 위하여 PSNR(Peak Signal-toNoise Ratio)을 사용한다. 본 논문에서 구현한 필터를 적용하였을 경우 평균적으로 PSNR이 0.

성능/효과

제한된 임베디드 환경 하에서 실시간 화질 향상 기능을 구현하기 위하여 SW/HW codesign 방법을 활용하였다. Zynq SoC의 PL 영역에 디블록킹 필터를 구현하였을 경우, 150 MHz의 동작 주파수에서 35 fps의 실시간 처리가 가능하였으며, 68.33mW의 전력을 소모함을 확인하였다. 임베디드 환경에서 실시간 연산처리량이 높은 deblocking filter를 부분 재구성이 가능한 하드웨어에 맵핑하여 구현함으로서 낮은 전력에서 더 높은 성능 향상을 이룰 수 있었다.
후처리 성능의 객관적 비교를 위하여 PSNR(Peak Signal-toNoise Ratio)을 사용한다. 본 논문에서 구현한 필터를 적용하였을 경우 평균적으로 PSNR이 0.6dB 개선되는 것을 볼 수 있다. Fig.
본 논문에서는 Zynq SoC 환경에서 실시간 화질 향상을 위한 후처리용 디블록킹 필터를 PL 영역에 구현하여 평균적으로 약 0.6dB의 PSNR이 향상되었으며, 주관적으로도 뚜렷한 화질 개선을 보여주었다. 소프트웨어로 구현하였을 경우, 1920x1080 고해상도 영상의 실시간 처리가 불가능하였으나, 재구성 가능 하드웨어를 사용하여 지원을 할 경우 실시간 최대 35 fps를 처리함으로서 필터의 성능과 전력소모에서 더욱 향상된 결과를 얻을 수 있었다.
6dB의 PSNR이 향상되었으며, 주관적으로도 뚜렷한 화질 개선을 보여주었다. 소프트웨어로 구현하였을 경우, 1920x1080 고해상도 영상의 실시간 처리가 불가능하였으나, 재구성 가능 하드웨어를 사용하여 지원을 할 경우 실시간 최대 35 fps를 처리함으로서 필터의 성능과 전력소모에서 더욱 향상된 결과를 얻을 수 있었다. 또한 동적 부분 재구성 기능을 활용하여 후처리용 필터를 사용하지 않을 경우 블랭크 비트스트림을 다운로드함으로서 전력소모를 줄일 수 있다.
33mW의 전력을 소모함을 확인하였다. 임베디드 환경에서 실시간 연산처리량이 높은 deblocking filter를 부분 재구성이 가능한 하드웨어에 맵핑하여 구현함으로서 낮은 전력에서 더 높은 성능 향상을 이룰 수 있었다. 성능 측정 및 비교 결과는 표 2에 표시하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	CPU를 사용하는 소프트웨어의 실시간 처리가 어려운 단점을 극복하기 위하여 어떤 조치를 취할 수 있는가?	많은 양의 데이터를 필요로 하는 영상 처리의 경우 CPU를 사용하는 소프트웨어는 많은 시간을 소비해야 하므로 실시간 처리에 어려움이 있다. 효과적인 계산을 수행하기 위해, FPGA 및 고속 파이프 라이닝과 같은 하드웨어 환경에서 애플리케이션에 최적화된 병렬처리구조를 활용해 실시간으로 영상 정보를 처리 할 수 있다. FPGA 구현은 높은 유연성, 낮은 비용 및 낮은 전력소비의 장점을 제공한다[2].
	PRRs의 정의와 기능은 무엇인가?	FPGA의 Partial Reconfiguration Regions (PRRs)에 사용자가 원하는 새로운 기능을 다른 회로들의 동작을 멈추지 않고 실시간으로 재프로그래밍 할 수 있다. PRRs은 재프로그래밍이 가능하도록 사전에 사용자에 의해 정의된 FPGA의 특정 영역이며, Partial Reconfiguration Modules(PRMs) 을 구현하는데 사용된다. 일반적으로 부분 재구성에는 다음과 같은 3가지 이점이 있다.
	블록기반 압축 알고리즘은 어디에 사용되는가?	최근 고해상도 멀티미디어 장치의 발전으로 인해 많은 다양한 영상 압축 기술이 활용되고 있다. 블록기반 압축 알고리즘은 이미지 및 동영상을 처리 하는데 널리 사용된다. 예를 들어, JPEG에서 HEVC(High Efficiency Video Coding)에 이르는 다양한 국제표준 압축 알고리즘들이 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

블록 기반 압축 이미지 및 비디오를 위한 디블로킹 필터의 SoC 구현
SoC Implementation of Deblocking Filter for Block-based Compressed Images and Videos 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper

가설 설정

제안 방법

데이터처리

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

블록 기반 압축 이미지 및 비디오를 위한 디블로킹 필터의 SoC 구현 SoC Implementation of Deblocking Filter for Block-based Compressed Images and Videos 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10) 모든 표/그림 보기

표/그림 (10) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

가설 설정

제안 방법

데이터처리

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

블록 기반 압축 이미지 및 비디오를 위한 디블로킹 필터의 SoC 구현
SoC Implementation of Deblocking Filter for Block-based Compressed Images and Videos 원문보기

초록
AI-Helper

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper