[논문]Zynq SoC에서 재구성 가능한 하드웨어 가속기를 지원하는 멀티쓰레딩 시스템 설계

신현준; 이주흥

doi:10.7471/ikeee.2020.24.1.186

[국내논문] Zynq SoC에서 재구성 가능한 하드웨어 가속기를 지원하는 멀티쓰레딩 시스템 설계
Multi-threaded system to support reconfigurable hardware accelerators on Zynq SoC 원문보기

전기전자학회논문지 = Journal of IKEEE, v.24 no.1, 2020년, pp.186 - 193

신현준 (Chips&Media) , 이주흥 (Dept. of Electronic and Electrical Engineering, Hongik University)

초록
AI-Helper

본 논문에서는 Zynq SoC 환경에서 재구성 가능한 하드웨어 가속기를 지원하는 멀티쓰레딩 시스템을 제안한다. 압축된 정지 영상의 픽셀 데이터를 복원하는 고성능 JPEG 디코더를 구현하고 2D-IDCT 함수를 재구성 가능한 하드웨어 가속기로 설계하여 성능을 검증한다. 구현된 시스템에서 최대 4개의 재구성 가능한 하드웨어 가속기는 소프트웨어 쓰레드와 동기화되어 연산을 수행할 수 있으며 이미지 해상도와 압축률에 따라 다른 성능 향상을 보인다. 1080p 해상도 영상의 경우 17:1의 압축률에서 최대 79.11배의 성능 향상과 99fps의 throughput 속도를 보여준다.

Abstract ▼ AI-Helper

In this paper, we propose a multi-threading system to support reconfigurable hardware accelerators on Zynq SoC. We implement high-performance JPEG decoder with reconfigurable 2D IDCT hardware accelerators to achieve maximum performance available on the platform. In this system, up to four reconfigurable hardware accelerators synchronized with SW threads can be dynamically reconfigured to provide adaptive computing capabilities according to the given image resolution and the compression ratio. JPEG decoding is operated using images with resolutions 480p, 720p, 1080p at the compression ratio of 7:1-109:1. We show that significant performance improvements are achieved as the image resolution or the compression ratio increase. For 1080p resolution, the performance improvement is up to 79.11 times with throughput speed of 99 fps at the compression ratio 17:1.

주제어

표/그림 (14)

그림 Fig. 1. Partial Reconfiguration. 그림 1. 부분 재구성
그림 Fig. 2. Architecture of ReconOS to support hardware multi-threaded system. 그림 2. 하드웨어 멀티쓰레딩 시스템을 지원하기 위한 ReconOS의 구조
그림 Fig. 3. System architecture to support multi-tasking on μC/OS-Ⅱ. 그림 3. μC/OS-Ⅱ에서 멀티태스킹을 지원하기 위한 시스템 아키텍처
그림 Fig. 4. Data processing sequence. 그림 4. 데이터 처리 과정
그림 Fig. 5. The percentage of JPEG decoder functions in SW design. 그림 5. SW design에서 JPEG 디코더 함수의 처리 시간 분포
그림 Fig. 6. 2D-IDCT Architecture. 그림 6. 2D-IDCT 아키텍처
그림 Fig. 7. System interface diagram. 그림 7. 시스템 인터페이스 다이어그램
그림 Fig. 8. System architecture with partial reconfiguration. 그림 8. PR을 활용한 시스템 아키텍처
그림 Fig. 9. Image processing sequence. 그림 9. 이미지 처리 방식
그림 Fig 10. System Floorplanning. 그림 10. 시스템 플로어플래닝
표 Table 1. Resources utilization for Static Logic and 2D-IDCT module. 표 1. Static Logic과 2D-IDCT 모듈의 리소스 사용률
그림 Fig. 11. Processing results of different resolutions. 그림 11. 해상도에 따른 영상 처리 결과
표 Table 2. Processing Time of 2D-IDCT for Different Resolutions. 표 2. 해상도에 따른 2D-IDCT 처리 시간
표 Table 3. Processing Time of 2D-IDCT for Images with Different Compression Ratios. 표 3. 압축률에 따른 2D-IDCT 처리 시간

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 FPGA와 Cortex-A9 dual-core processor가 탑재된 Zynq-7000 SoC 플랫폼을 활용 하여 μC/OS-Ⅱ 환경에서 재구성 가능한 하드웨어 가속기를 지원하는 멀티쓰레딩 시스템을 제안한다.
본 논문에서는 압축된 정지 영상으로부터 픽셀 데이터를 복원하는 고성능 JPEG decoder를 설계하여 SW design 및 HW/SW co-design 플랫폼에서 의 성능을 검증한다.
본 논문에서는 Zynq SoC에서 재구성 가능한 하 드웨어 가속기를 지원하는 멀티쓰레딩 시스템을 제안하였다. μC/OS-Ⅱ 환경에서 재구성 가능 하드 웨어 가속기를 이용하여 압축된 정지 영상의 픽셀 데이터를 복원하는 고성능 JPEG 디코더를 구현하였다.

제안 방법

HW thread는 JPEG decoding 처리 과정에서 많은 연산을 필요로 하는 8×8 2D-IDCT(Two Dimensional Inverse Discrete Cosine Transform) 를 재구성 가능 하드웨어 가속기로 구현하여 실제 성능을 검증한다.
본 논문에서는 FPGA와 Cortex-A9 dual-core processor가 탑재된 Zynq-7000 SoC 플랫폼을 활용 하여 μC/OS-Ⅱ 환경에서 재구성 가능한 하드웨어 가속기를 지원하는 멀티쓰레딩 시스템을 제안한다. 소프트웨어로 압축된 이미지를 복원하는 고성능 JPEG 디코더를 구현하고, 재구성 가능한 하드웨어를 설계하여 FPGA의 자원을 효율적으로 사용할 수 있도록 한다. 실시간으로 입력되는 영상의 특성에 따라 필요한 하드웨어 가속기를 재구성하여 FPGA 자원을 소프트웨어의 쓰레드와 같이 사용할 수 있다.
ICAP(Internal Configuration Access Port)을 통해 PL이 스스로 재구성하거나 PCAP (Processor Configuration Access Port)을 통해 PS가 PL 영역을 재구성 할 수 있다. 본 논문에서는 최대 100MHz의 동작주파수에서 3.2Gbps의 속도를 지원 하는 ICAP을 활용하여 PR을 진행하였다[6].
본 논문에서는 제안된 모델을 바탕으로 Zynq SoC 플랫폼 및 μC/OS-Ⅱ 운영체제를 활용 하여 실시간으로 부분 재구성이 가능한 hardware multi-threaded system을 구현한다.
47%로, LevelShift 를 포함하는 2D-IDCT 연산은 전체 처리시간의 약 42%를 차지한다. 그러므로 HW/SW co-design으로 구현 시 HW task에서 RM으로 활용하기 위한 재구성 가능 하드웨어 가속기로 IDCT 및 LevelShift 함수를 선택하여 구현 및 검증한다. IDCT는 영상 압축 및 복원에 사용되는 알고리즘으로 입력 받는 주파수 계수들을 코사인 역변환 연산 과정을 거쳐 픽셀 데이터를 생성해내는 연산량이 높은 블록이 다.
본 논문에서는 480p, 720p, 1080p 등 다양한 해상 도를 가지는 영상을 활용하여 고성능 JPEG 디코더 를 최대 4개의 재구성 가능 하드웨어 가속기를 활용할 수 있는 hardware multi-threaded system으 로 구현하고 검증하였다. 그림 9는 구현한 system 의 이미지 처리 방식을 나타낸다.
μC/OS-Ⅱ 환경에서 재구성 가능 하드 웨어 가속기를 이용하여 압축된 정지 영상의 픽셀 데이터를 복원하는 고성능 JPEG 디코더를 구현하였다.
μC/OS-Ⅱ 환경에서 재구성 가능 하드 웨어 가속기를 이용하여 압축된 정지 영상의 픽셀 데이터를 복원하는 고성능 JPEG 디코더를 구현하였다. 디코딩 과정에서 가장 많은 처리 시간을 차 지하는 2D-IDCT 연산을 재구성 가능한 하드웨어 가속기로 구현하고 480p, 720p, 1080p 해상도의 이미지를 사용하여 성능을 검증하였다. 실험결과 4개 의 HW task를 생성하여 1080p 해상도의 이미지를 처리할 경우 최대 99 fps를 처리할 수 있고 해상도가 높을수록 많은 성능 향상이 이루어진다.

대상 데이터

1920×1080 해상도의 이미지를 사용 하였고 이미지 압축률에 따른 PSNR(Peak Signal to Noise Ratio)도 표기하였다.

성능/효과

그림 5는 SW design에서 주요 함수의 처리시간 분포를 나타낸 것이다. SW design으로 구현된 JPEG decoding 어플리케이션에서 1080p 해상도의 이미 지를 처리할 경우 inverse quantization을 수행하는 DeQuantization 함수는 16.90%, 복원된 픽셀 데이 터를 DDR Memory로 전송하는 PushtoStream 함 수는 18.20%, IDCT 연산을 수행하는 IDCT함수는 32.50%, 역변환 과정을 거친 픽셀 데이터를 DC shifting하는 LevelShift 함수는 9.47%로, LevelShift 를 포함하는 2D-IDCT 연산은 전체 처리시간의 약 42%를 차지한다. 그러므로 HW/SW co-design으로 구현 시 HW task에서 RM으로 활용하기 위한 재구성 가능 하드웨어 가속기로 IDCT 및 LevelShift 함수를 선택하여 구현 및 검증한다.
표 1은 구현된 Static Logic 및 2D-IDCT module의 리소스 사용률을 나타낸다. 4개의 하드웨어 가속기가 모두 동작할 경우 약 44.96%의 하드웨어 리소스를 사용하는 것을 확인하였다. 전체 bitstream의 크기 는 4,045,663 Bytes이고 각각의 partial bitstream의 크기는 417,380 Bytes로 약 9.
96%의 하드웨어 리소스를 사용하는 것을 확인하였다. 전체 bitstream의 크기 는 4,045,663 Bytes이고 각각의 partial bitstream의 크기는 417,380 Bytes로 약 9.69배의 차이를 확인 할 수 있으며 하나의 partial bitstream 로직 구성 시간으로 약 1.046ms 소모하는 것을 확인하였다.
640×480, 1280×720, 1920×1080 해상도의 2D-IDCT 연산을 1개의 HW task를 생성하여 처리할 경우 각각 약 17.394배, 18.996배, 19.080배의 성능이 향상 된 것을 확인할 수 있다.
실제 실 험에 사용된 이미지의 경우 640×480 해상도에서 71.03%, 1280×720 해상도에서 65.08%, 1920×1080 해상도에서 57.43%로 해상도가 증가할수록 전체 픽셀 데이터 대비 non-zero DCT 계수의 비율이 줄어드는 것을 확인하였다.
본 논문에서 구현한 2D-IDCT 모듈은 이미지의 non-zero DCT 계수만을 연산하기 때문에 이미지의 특성에 따라 다른 연산 성능을 보여준다. 표 2는 해상도에 따른 SW design 및 HW/SW co-design 에서의 평균 2D-IDCT 연산 처리 시간을 비교한 것이며, 그림 11은 실제 처리된 이미지 결과를 나 타낸다.
080배의 성능이 향상 된 것을 확인할 수 있다. 또한 HW task를 최대 4개 생성하는 경우 각각 약 71.812배, 78.568배, 79.113 배의 성능 향상이 이루어지며 이는 1개의 HW task 를 생성하는 경우에 비해 약 4배의 성능 향상을 보이는 것을 확인할 수 있다. HW task를 생성하여 처리하는 경우 해상도에 따라 성능 향상이 다른 것을 확인할 수 있는데 이는 non-zero DCT 계수를 처 리하는 하드웨어 가속기의 특징 때문이다.
1920×1080 해상도의 이미지를 사용 하였고 이미지 압축률에 따른 PSNR(Peak Signal to Noise Ratio)도 표기하였다. 1개의 HW task를 생성하여 2D-IDCT를 수행하는 경우 압축률이 높은 순서대로 각각 약 42.918배, 26.597배, 11.001배의 성능 향상을 보여주며 PSNR이 낮을수록 높은 성능 향상을 보여준다. 영상 압축률이 높을수록 quantization 처리 이후의 non-zero DCT 계수의 개수가 줄어드 는데 이는 2D-IDCT의 연산량을 감소시켜 SW에 비해 더욱 높은 성능 향상을 이룰 수 있다.
001배의 성능 향상을 보여주며 PSNR이 낮을수록 높은 성능 향상을 보여준다. 영상 압축률이 높을수록 quantization 처리 이후의 non-zero DCT 계수의 개수가 줄어드 는데 이는 2D-IDCT의 연산량을 감소시켜 SW에 비해 더욱 높은 성능 향상을 이룰 수 있다. 또한 최 대 4개의 HW task를 생성하는 경우 각각 173.
영상 압축률이 높을수록 quantization 처리 이후의 non-zero DCT 계수의 개수가 줄어드 는데 이는 2D-IDCT의 연산량을 감소시켜 SW에 비해 더욱 높은 성능 향상을 이룰 수 있다. 또한 최 대 4개의 HW task를 생성하는 경우 각각 173.959 배, 109.113배, 46.497배의 성능이 향상되어 1개의 HW task를 생성하여 처리하는 경우에 비해 약 4 배의 성능 향상을 보이는 것을 확인할 수 있다.
디코딩 과정에서 가장 많은 처리 시간을 차 지하는 2D-IDCT 연산을 재구성 가능한 하드웨어 가속기로 구현하고 480p, 720p, 1080p 해상도의 이미지를 사용하여 성능을 검증하였다. 실험결과 4개 의 HW task를 생성하여 1080p 해상도의 이미지를 처리할 경우 최대 99 fps를 처리할 수 있고 해상도가 높을수록 많은 성능 향상이 이루어진다. 압축률이 다를 경우 낮은 압축률에서 46.

질의응답

핵심어	질문	논문에서 추출한 답변
	Static 영역이란?	그림 1과 같이 RP(Reconfigurable Partition)를 사전에 지정 하여 Static 영역과 분리한다. Static 영역은 FPGA 가 처음 다운로드 될 때 구성되는 영역이며, RP는 partial bitstream 파일을 통해 실시간 재구성이 가 능한 영역이다. RP가 재구성되는 동안 Static 영역 은 이로 인한 영향을 받지 않기 때문에 어플리케이션의 중단 없이 FPGA를 실시간으로 재구성 할 수 있다.
	FPGA의 단점은 무엇인가?	일반적으로 FPGA는 bitstream 파일을 통해 프로그래밍 되면 실시간으로 수정할 수 없다는 단점이 있다. 이를 보완하여 설계의 유연성을 향상시킨 기능이 PR(Partial Reconfiguration)이다.
	FPGA가 일단 프로그래밍 되면 실시간으로 수정할 수 없다는 단점을 보완한 기능은?	일반적으로 FPGA는 bitstream 파일을 통해 프로그래밍 되면 실시간으로 수정할 수 없다는 단점이 있다. 이를 보완하여 설계의 유연성을 향상시킨 기능이 PR(Partial Reconfiguration)이다. 그림 1과 같이 RP(Reconfigurable Partition)를 사전에 지정 하여 Static 영역과 분리한다.

참고문헌 (8)

Bryan Chan Jia Ching, Ab Al-Hadi Ab Rahman, Nabihah Ahmad, "Implementation of an $8{\times}8$ Discrete Cosine Transform on Programmable System-on-hip," Journal of Physics: Conference Series, Vol.1049, 2018. DOI: 10.1088/1742-6596/1049/1/012084
Ahmed Ben Atitallah, Patrice Kadionik, Fahmi Ghozzi, Patrice Nouel, Nouri Masmoudi, Herve Levi, "An FPGA implementation of HW/SW codesign architecture for H.263 video coding," International Journal of Electronics and Communications, Vol.61, NO.9, pp.605-620 2007, DOI: 10.1016/j.aeue.2006.11.001

상세보기
Enno Lubbers and Marco Platzner. "ReconOS: Multithreaded Programming for Reconfigurable Computers," ACM Transactions on Embedded Computing Systems (TECS), Vol.9, No.1, 2009. DIO: 10.1145/1596532.1596540
Xilinx, Zynq-7000 SoC Data Sheet: Overview (DS190), Xilinx, 2018.
Xilinx, Vivado Design Suite User Guide Partial Reconfiguration (UG909), Xilinx, 2019.
Xilinx, Partial Reconfiguration User Guide (UG702), Xilinx, 2013.
Andreas Agne, Markus Happe, Ariane Keller, Enno Lubbers, Bernhard Plattner, Marco Platzner, Christian Plessl, "ReconOS: An Operating System Approach for Reconfigurable Computing," IEEE Micro, Vol.34, No.1, pp.60-71, 2013. DIO: 10.1109/MM.2013.110

상세보기
Jooheung Lee, Narayanan Vijaykrishnan, and Mary Jane Irwin, "Inverse discrete cosine transform architecture exploiting sparseness and symmetry properties," IEEE Transactions On Circuits And Systems For Video Technology, Vol.16, No.5, pp.655-662, 2006. DIO: 10.1109/TCSVT.2006.873155

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증