선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 H.264/AVC에서 사용되는 양자화 Table을 Shift 연산만으로 처리하는 방법을 제안한다. 식(2)는 H.
- 본 논문에서는 H.264/AVC의 정수형 DCT 연산에서 사용된 MF의 값을 근사화하여 표현할 수 있는 테이블들을 생성한다. 이 테이블을 생성하기 위해서 식(3)을 이용하여 SHIFT1, SHIFT2, SHIFT3 값들을 구한다.
제안 방법
- 그림 2는 설계한 IP를 탑재한 FPGA의 전체 구조이다. DCT 변환과 CAVLC 엔트로피 변환은 H/W 로 처리하고 이를 제외한 H.264/AVC의 다른 모듈은 MicroBlaze를 이용한 S/W연산으로 처리 하도록 설계 하였다. 설계한 H/W IP는 Modelsim을 통하여 시뮬레이션 검증을 한 후 Xilinx ISE/XPS를 사용하여 H/W를 IP로 추가 한 후, Synthesis와 Implementation을 수행하였다.
- DCT 변환부를 설계함에 있어서는 H.264/AVC에서 제시한 변환식에 의한 DCT계수를 사용하지 않고 MF ≅ 2 SHIFT1 + 2 SHIFT2 + 2 SHIFT3 를 이용한 근사화된 수치와 곱셈 연산이 아닌 Shift 연산을 이용 하여 DCT 연산을 수행하였다.
- 264/AVC에서 사용하는 8×8 정수형 DCT 와의 연산처리 시간을 비교하였다. JM13.2를 이용하여 CAVLC와 CABAC 엔트로피 부호화 시 PSNR과 전체 비트 수를 비교 분석하였다.
- JM13.2를 이용하여 PC상에서 10개의 QCIF(176×144) 영상(Bus, City, Soccer, Crew, Footboll, Foreman, Harbour, Ice, Mobile, Akiyo)을 58 프레임으로 CAVLC로 부호화하였을 때를 비교한 것이다.
- 표4에는 구현한 H/W 모듈의 성능을 보였다. ML410보드 상에서 소프트웨어적으로 구현한 모듈과 하드웨어 모듈의 연산 시간을 비교하였다. DCT 의 경우 약 10.
- MicroBlaze를 이용한 소프트웨어로 처리했을 때 걸리는 시간과 하드웨어로 처리 했을 때 걸리는 시간을 비교하였다. MicroBlaze Core는 내부 타이머가 존재 하지 않기 때문에 OPB-Timer를 이용하여 처리 속도를 측정하였다. OPB-Timer는 제작한 IP가 동작될 때 클럭을 측정하는 타이머로써 단위는 ticks이고, ticks에 프로세서의 동작 주기를 곱하면 동작 시간이 된다[8].
- MicroBlaze를 이용한 소프트웨어로 처리했을 때 걸리는 시간과 하드웨어로 처리 했을 때 걸리는 시간을 비교하였다. MicroBlaze Core는 내부 타이머가 존재 하지 않기 때문에 OPB-Timer를 이용하여 처리 속도를 측정하였다.
- OPB-Timer는 제작한 IP가 동작될 때 클럭을 측정하는 타이머로써 단위는 ticks이고, ticks에 프로세서의 동작 주기를 곱하면 동작 시간이 된다[8]. 공정한 시간 측정을 위하여 10번 반복 수행 후 평균 처리 속도를 구하였다.
- 그렇기 때문에 DCT H/W 설계시 4×4 DCT 변환과 8×8 DCT 변환 모두를 지원할 수 있게 설계하였으며, 휘도와 색차영상을 구분하여 휘도신호일 때 Hadamard변환을 수행하도록 설계하였다.
- 단독설계 방법으로 제작된 하드웨어와의 성능 비교를 위하여 전체 로직의 크기 및 연산시 소요되는 클럭을 비교 분석하였다. 병행설계 방법으로 제작한 4×4 DCT H/W 모듈과 기존에 단독설계 방법으로 제작된 4×4 DCT H/W 모듈의[11] 로직 크기 및 소요 클럭을 비교하였다.
- 또한 인트라모드의 16×16 영상의 경우 16×16 크기의 영상을 4×4 크기의 영상으로 분할 한 후, 4×4 DCT 연산을 수행 할 수 있도록 설계하였다.
- 병행설계 방법으로 제작한 4×4 DCT H/W 모듈과 기존에 단독설계 방법으로 제작된 4×4 DCT H/W 모듈의[11] 로직 크기 및 소요 클럭을 비교하였다.
- 병행설계을 이용한 임베디드 시스템의 성능평가를 위하여 8×8 DCT와 양자화 연산만을 실행하는 H/W 모듈을제작하여 H.264/AVC에서 사용하는 8×8 정수형 DCT 와의 연산처리 시간을 비교하였다.
- 본 논문에서는 H.264/AVC 모듈 중에서 DCT/ Hadamard 부호화와 CAVLC 엔트로피 부호화는 하드웨어로 제작하였고, 기타 다른 모듈은 MicroBlaze를 이용하여 소프트웨어로 처리할 수 있도록 설계하였다. 그림 2는 설계한 IP를 탑재한 FPGA의 전체 구조이다.
- 본 논문에서는 ImpulseC CoDeveloper 프로그램을 사용하여 소프트웨어와 하드웨어를 개발 단계부터 동시에 개발하는 병행설계 방법을 이용한 임베디드용 H.264/ AVC 엔코더 시스템 중 DCT/Hadamard 부호화, CAVLC 엔트로피 부호화 모듈을 하드웨어로 설계 및 구현하였다.
- 본 논문에서는 하드웨어와 소프트웨어를 동시에 설계하는 병행설계(Co-Design)를 이용한 임베디드 시스템에서 사용 가능한 H.264/AVC 엔코더를 설계하는데 있어서 DCT 변환부와 CAVLC 엔트로피 부호화 부를 하드웨어로 설계하였다.
- 설계된 IP의 검증은 Modelsim 시뮬레이터를 이용 하여 기능 시뮬레이션을 실시하였고, Xilinx 사의 ISE 8.2 와 EDK 8.2 Tool을 사용하여 H/W 모듈과 MicroBlaze를 합성하고, S/W 모듈과 H/W 모듈의 연동 실험을 통해 정상 동작 여부를 확인하였다.
- 264/AVC의 다른 모듈은 MicroBlaze를 이용한 S/W연산으로 처리 하도록 설계 하였다. 설계한 H/W IP는 Modelsim을 통하여 시뮬레이션 검증을 한 후 Xilinx ISE/XPS를 사용하여 H/W를 IP로 추가 한 후, Synthesis와 Implementation을 수행하였다. XPS를 이용하여 Bit 파일이 생성되면 Xilinx사의 개발용 보드인 ML410보드의 Virtex-4 FX60 FPGA에 다운로드 하였다.
- 압축 성능을 높이기 위해 기존의 MPEG 방식에 비해 4×4 크기기의 블록 단위까지 움직임 보상과 DCT/Hadamard 변환을 수행하며, 화질의 향상을 위해 DCT 변환을 이용하는 영상부호화 방식의 결점이었던 블록 경계의 왜곡을 억제하는 Deblocking 필터를 사용한다.
- 표1은 MF값을 이용해 얻어진 SHIFT 테이블을 보여준다. 이렇게 생성된 SHIFT 테이블 값을 이용하여 DCT 양자화 연산시 기존의 MF값을 이용한 곱셈연산을 하지 않고 쉬프트 연산만을 하도록 하는 구조로 설계하였다. 식(4)를 이용하여 쉬프트 연산을 3번 수행하도록 하고, 성능 비교를 위하여 MF ≅ 2SHIFT1 + 2SHIFT2 식을 이용하여 쉬프트 연산을 2번 실행하였다.
대상 데이터
- 2 Tool을 사용하여 H/W 모듈과 MicroBlaze를 합성하고, S/W 모듈과 H/W 모듈의 연동 실험을 통해 정상 동작 여부를 확인하였다. 실제 검증에 이용된 H/W 시스템은 Xilinx사의 ML410 설계 테스트 보드이며 Virtex-4 FX60 FPGA 칩을 사용 하고 있다. 또한 FPGA 내부에 생성된 MicroBlaze Core를 이용하여 75MHz 주파수로 동작시켰다.
데이터처리
- 제안한 방법에 대한 성능 평가는 H/W의 성능 평가를 위하여 기존의 4×4 DCT, CAVLC H/W와 게이트 사용량 및 연산 클럭수를 비교하였다.
이론/모형
- 하드웨어와 소프트웨어를 동시에 설계하는 병행 설계(Co-Design)는 설계하고자 하는 시스템의 연산 량이나 제어의 편리성 등에 따라 소프트웨어와 하드웨어를 동시에 설계하는 방식이다. 병행설계에는 ImpulseC CoDeveloper 프로그램을 사용하였다. ImpulseC 프로그램은 S/W와 H/W를 동시에 개발하는 병행설계(Co-Design) 연동 모델을 설계하는데 효율적인 툴로서, 초기 단계부터 하드웨어와 소프트웨어를 동시에 개발, 검증하고 하드웨어로 처리할 부분과 소프트웨어로 처리할 부분을 최적으로 분할하여 가격대 성능비를 향상 시킬 수 있으며 하드웨어와 소프트웨어의 설계 시간, 설계비용 등을 감소시킬 수 있다.
성능/효과
- 17(%) 감소하였다. CABAC 엔트로피 부호화를 이용하였을 때 원영상보다 PSNR이 0.1(dB) 낮아지고 비트량은 1.9(%) 정도 감소하였다. 원래의 방법과 성능이 개선이 이루어지면서도 표3에서 보인 것과 같이 연산 속도는 16(%) 정도의 빨라지는 것으로 나타났다.
- ML410 보드를 이용한 실제 FPGA에서 동작 실험 결과 개발된 DCT 하드웨어 IP는 MicroBlaze를 이용한 소프트웨어 연산에 비해 약 10.4(배), CAVLC 하드웨어 IP는 소프트웨어 연산보다 약 15.5(배) 빠른 속도로 연산이 가능하였다.
- 실험 결과 Shift 연산을 3회 실시하였을 경우 원영상과 거의 유사한 성능이 나타남을 확인할 수 있었다. Shift 연산을 2회 실시하였을 경우에는 PSNR이 약간 떨어지고 비트량은 증가하는 trade-off가 발생하는 것을 확인 할 수 있었다.
- ② 지그재그 스캔 이후 0이 아닌 가장 큰 계수들은 종종 연속된 ±1이고 CAVLC 는 간결한 방법으로 고주파 ±1계수들의 개수를 알 수 있다.
- 78(%)의 연산 속도 감소가 이루어진다. 기존 방법들은 PSNR 감소와 비트율의 증가가 발생하는 반면 제안한 방법은 Shift 연산 3회 실행 시 PSNR 감소와 비트율 증가 없이 DCT 연산 시간을 16(%) 감소시킬 수 있다. 또한 Shift 연산 2회 실행 시 PSNR의 0.
- 264/AVC에서 사용하는 기존의 정수형 DCT보다 16(%) 정도 빠른 연산이 가능하였고 FPGA 사용량도 감소하였다. 또한 3번의 Shift 연산을 행하였을 때 정수형 DCT와 거의 같은 PSNR 과 비트율을 얻을 수 있었다 Shift 연산을 2번 행하였을 때는 PSNR 0.1～0.15(dB) 감소하지만 비트량은 약 2(%) 감소되었다.
- 본 논문에서 구현된 하드웨어는 기존의 단일 설계 방법에 의한 결과와 비교하면 로직의 면적이 더 많이 요구되는 것을 나타내었으나, 이는 설계에 사용한 Impuse C 프로그램이 FSM(유한상태머신)방식에 기반하기 때문이다. 그러나, 설계에 소요되는 시간이 짧고 투입되는 비용이 적게 들어 하드웨어와 소프트웨어 병행설계를 통해 멀티미디어 시스템을 빨리 개발하는 경우에 유용할 것으로 생각된다.
- 시뮬레이션 결과 Visual Studio 2008로 실행 하여 얻은 결과 값과 동일한 데이터가 출력되는 것을 확인하였고, 16×16 크기의 영상을 DCT 변환하는 데는 122.2(ns)의 처리시간이 소요되었다.
- 264/AVC에서 제시한 변환식에 의한 DCT계수를 사용하지 않고 MF ≅ 2 SHIFT1 + 2 SHIFT2 + 2 SHIFT3 를 이용한 근사화된 수치와 곱셈 연산이 아닌 Shift 연산을 이용 하여 DCT 연산을 수행하였다. 실험 결과 H/W로 제작시 제안한 방법이 H.264/AVC에서 사용하는 기존의 정수형 DCT보다 16(%) 정도 빠른 연산이 가능하였고 FPGA 사용량도 감소하였다. 또한 3번의 Shift 연산을 행하였을 때 정수형 DCT와 거의 같은 PSNR 과 비트율을 얻을 수 있었다 Shift 연산을 2번 행하였을 때는 PSNR 0.
- 표 6은 10개의 영상을 CAVLC와 CABAC 방법으로 각각 부호화 하였을 때 평균값을 나타낸 것이다. 실험 결과 Shift 연산 3회 이용하였을 경우에는 CAVLC 엔트로피 부호화시 원영상과 비교하여 PSNR도 약간 개선되고 비트량은 0.17(%) 정도 증가 하는 것을 확인하였다. CABAC 엔트로피 부호화시 PSNR은 유지되고 비트량이 0.
- 2 의 기본 설정으로 설정하였다. 실험 결과 Shift 연산을 3회 실시하였을 경우 원영상과 거의 유사한 성능이 나타남을 확인할 수 있었다. Shift 연산을 2회 실시하였을 경우에는 PSNR이 약간 떨어지고 비트량은 증가하는 trade-off가 발생하는 것을 확인 할 수 있었다.
- 표 3은 Xilinx ML410 보드를 이용하여 실제 Virtex-4 FX60 FPGA 칩에서 기존의 8×8 정수형 DCT 변환과 제안한 방법을 소프트웨어적으로 100번 수행하였을 때의 연산 처리 시간을 비교한 것이다. 실험 결과 기존의 방법에 비하여 16(%)정도 빠른 연산이 가능함을 확인하였다.
후속연구
- 휴대용 멀티미디어 기기의 보급과 함께 고압축, 고화질의 영상을 원활히 재생할 수 있는 하드웨어 코덱의 IP 확보가 중요시되고 있는 요즘 본 연구는 병행설계를 이용한 H.264/AVC 하드웨어 코덱을 제작 하는데 있어서 기본 기반을 제공할 것으로 생각한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.