[논문]H.264/AVC의 시간적 오류 은닉을 위한 경계 정합과 후처리 방법

이준우; 나상일; 원인수; 임대규; 정동석

문제 정의

본 논문에서는 H.264/AVC의 오류를 은닉하는 방법에 초점을 맞추었다. 오류를 은닉하는 방법에는 공간, 시간적인 중복성을 이용한 방법이 있다.
본 논문에서는 기존의 BMA 방법과 OBMA 방법을 혼합하고 기존의 방법보다 많은 후보를 설정하여 오류를 은닉한 후 에러가 발생한 경계선을 필터 처리를 통해 부드럽게 하여 보다 좋은 오류 은닉 성능을 나타내는 방법을 제안한다.
본 논문에서는 블록의 경계가 부드러운 영상에서 좋은 성능을 보이는 기존의 경계 정합 방법과 블록의 경계가 뚜렷한 영상에서 보다 좋은 성능을 보이는 중복 경계 정합 방법을 혼합하는 방법을 제안한다. 이와 같은 방법을 사용하면 부드러운 영상이나 블록의 경계가 뚜렷한 영상에 치우치지 않는 결과를 얻을 수 있다.
본 논문에서는 유무선 네트워크 환경에서 발생될수 있는 패킷의 손실로 인한 동영상의 화질 열화를 막기 위해 사용되는 오류를 은닉하는 방법 중 시간적 중복성을 이용한 방법에 초점을 맞주었다. 기존의 시간적 중복성을 이용한 오류 은닉 방법인 경계 정합방법과 중복 경계 정합 방법을 혼합하여 새롭게 경계를 정합하는 방법을 제안하였고 오류가 발생한 블록의 주변 움직임 벡터간의 높은 연관성을 이용하여 기존의 방법보다 많은 후보 움직임 벡터를 설정하여서 원본에 가깝게 은닉될 확률을 높이는 방법을 제안하였다.
264 영상은 영상 부호화 처리 그 자체를 다루는 영상 부호화 계층(Video Coding Layer, VCL)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 네트워크 추상 계층 (Network Abstraction Layer, NAL) 의 분리된 구조로 구성한다. 이와 같이 분리하여 정의하는 목적은 영상 부호화 계층의 압축 특징과 네트워크 추상 계층의 전송 특징 사이를 구별하기 위해서이다 [8, 9].

제안 방법

효율적인 오류은닉을 위해 유연한 매크로 블록 순서 방법(Flexible Macroblock Order, FMO)을 사용하여 한 프레임을 두 개의 슬라이스로 나누고 슬라이스에 따른 매크로 블록을 격자 모양으로 부호화 하였다U2]. 그리고 IPPP 의 프레임 순서로 부호화 하였다. 또한 화질측정 방법으로 PSNR(Peak to Peak Signal to Noise Ratio)을 사용하였다.
또한 제안된 방법을 이용하여 후보 움직임 벡터의 최솟값과 최댓값으로 범위를 설정한 후 범위 내의 모든 블록 중 가장 작은 누적 오차 값을 나타내는 블록으로 오류가 발생한 블록을 대체시킨다. 그리고 최종적으로 은닉된 매크로 블록과 오류 없이 복호화 된 매크로 블록간의 부자연스러운 경계를 후처리 과정을 통하여 부드럽게 하는 방법을 제안한다.
이용한 방법에 초점을 맞주었다. 기존의 시간적 중복성을 이용한 오류 은닉 방법인 경계 정합방법과 중복 경계 정합 방법을 혼합하여 새롭게 경계를 정합하는 방법을 제안하였고 오류가 발생한 블록의 주변 움직임 벡터간의 높은 연관성을 이용하여 기존의 방법보다 많은 후보 움직임 벡터를 설정하여서 원본에 가깝게 은닉될 확률을 높이는 방법을 제안하였다. 또한 은닉된 블록과 기존의 블록들 간의 블록 왜곡 현상을 줄이고 자연스러운 영상으로 은닉하기 위해 후처리 단계로 변형된 디블록킹 필터링 과정을 수행하는 방법을 제안하였다'
264/AVC에서는 이렇게 설정된 9개의 후보 움직임 벡터 중에서 대체할 블록을 찾기 때문에 후보의 개수가 적어서 오류가 발생한 블록을 부정확한 블록으로 대체할 가능성이 있다. 따라서 9개의 후보 움직임 벡터로부터 각각 X, 0벡터 값의 최솟값과 최댓값을 구한 후 그 값을 이용하여 범위를 설정한 후 범위 내의 추가적인 후보 움직임 벡터를 설정한다. 먼저 ?/벡터 값의 최솟값과 최댓값은 식 (5) 와같이 구한다.
기존의 시간적 중복성을 이용한 오류 은닉 방법인 경계 정합방법과 중복 경계 정합 방법을 혼합하여 새롭게 경계를 정합하는 방법을 제안하였고 오류가 발생한 블록의 주변 움직임 벡터간의 높은 연관성을 이용하여 기존의 방법보다 많은 후보 움직임 벡터를 설정하여서 원본에 가깝게 은닉될 확률을 높이는 방법을 제안하였다. 또한 은닉된 블록과 기존의 블록들 간의 블록 왜곡 현상을 줄이고 자연스러운 영상으로 은닉하기 위해 후처리 단계로 변형된 디블록킹 필터링 과정을 수행하는 방법을 제안하였다';
이와 같은 방법을 사용하면 부드러운 영상이나 블록의 경계가 뚜렷한 영상에 치우치지 않는 결과를 얻을 수 있다. 또한 제안된 방법을 이용하여 후보 움직임 벡터의 최솟값과 최댓값으로 범위를 설정한 후 범위 내의 모든 블록 중 가장 작은 누적 오차 값을 나타내는 블록으로 오류가 발생한 블록을 대체시킨다. 그리고 최종적으로 은닉된 매크로 블록과 오류 없이 복호화 된 매크로 블록간의 부자연스러운 경계를 후처리 과정을 통하여 부드럽게 하는 방법을 제안한다.
범위내의 가장 가운데 부분 하나와 가운데를 중심으로 한 십자가 모양으로 네 개, $ 움직임 벡터의 최댓값과 y 움직임 벡터의 최솟값의 위치와 X 움직임 벡터의 최솟값과 V 움직임 벡터의 최댓값의 위치의 두 개, 그리고 내부의 추가적인 네 개, 총 11개의 추가적인 후보 움직임 벡터를 설정한다. 총 20개의 후보 움직임 벡터의 위치의 블록들을 현재 프레임과 비교하여 누적 차이 값이 최소가 되는 블록으로 현재 프레임의 오류가 발생한 블록을 대체시킨다.
제안된 방법을 통하여 후보 매크로 블록으로 오류가 발생한 매크로 블록을 대체한다고 해도 원본과 동일한 블록이 아니기 때문에 아무리 많은 후보 매크로 블록을 가지고 오류가 발생한 매크로 블록을 대체한다고 하여도 오류가 발생하지 않은 주변 블록과 대체된 블록간에는 블록 왜곡 현상이 존재하게 된다. 이러한 블록 왜곡 현상을 줄이기 위하여 오류를 은닉한 영상에 변환된 디블록킹 필터를 적용하는 방법을 제안한다’
후보 움직임 벡터를 설정한다. 총 20개의 후보 움직임 벡터의 위치의 블록들을 현재 프레임과 비교하여 누적 차이 값이 최소가 되는 블록으로 현재 프레임의 오류가 발생한 블록을 대체시킨다. 이와 같이 추가적인 후보 움직임 벡터를 설정하게 되면 기존의 방법보다 더욱 많은 후보들 가운데서 대체할 블록을 찾기 때문에 보다 정확한 블록을 선택하게 되고 결과적으로 기존의 방법보다 높은 오류 은닉 성능을 보이게 된다.

대상 데이터

1 버전을 사용하였고 실험은 QCIF (176x144) 크기의 Foreman, Bus, Football, Ice 영상을 사용하였다[11]. 영상은 30프레 임을 사용하였고 양자화 파라미터는 28로 설정하였다. 효율적인 오류은닉을 위해 유연한 매크로 블록 순서 방법(Flexible Macroblock Order, FMO)을 사용하여 한 프레임을 두 개의 슬라이스로 나누고 슬라이스에 따른 매크로 블록을 격자 모양으로 부호화 하였다U2].
제안된 방법을 평가하기 위해 JVT Model(JM) 참조 소프트웨어 10.1 버전을 사용하였고 실험은 QCIF (176x144) 크기의 Foreman, Bus, Football, Ice 영상을 사용하였다[11]. 영상은 30프레 임을 사용하였고 양자화 파라미터는 28로 설정하였다.

이론/모형

그리고 IPPP 의 프레임 순서로 부호화 하였다. 또한 화질측정 방법으로 PSNR(Peak to Peak Signal to Noise Ratio)을 사용하였다.
영상은 30프레 임을 사용하였고 양자화 파라미터는 28로 설정하였다. 효율적인 오류은닉을 위해 유연한 매크로 블록 순서 방법(Flexible Macroblock Order, FMO)을 사용하여 한 프레임을 두 개의 슬라이스로 나누고 슬라이스에 따른 매크로 블록을 격자 모양으로 부호화 하였다U2]. 그리고 IPPP 의 프레임 순서로 부호화 하였다.

성능/효과

2) IpO —이고 |pl—pOl <0 이고 机— 刺 < 0 a와 B는 표준안에서 정의된 임계 값(threshold)으로, 현재 블록의 양자화 파라미터의 평균에 따라 증가한다. 양자화 파라미터가 작을 경우, 경계 주위의 매우 작은 변화 외에는 이미지의 특성에 기인한 것이므로 보존되어야 하므로 임계값 a와 0는 낮다.
부드러운 영상과 경계가 뚜렷한 영상 중 어느 한쪽에만 적합한 경계 정합 방법이 아닌 새로운 경계 정합방법을 이용하여 기존의 방법 보다 더 많은 후보들 가운데에서 은닉할 블록을 찾고 또한 후처리를 통하여 은닉한 블록과 기존 블록간의 경계를 부드럽게 해줌으로 인하여 기존의 방법들에 비해 전체적으로 높은 PSNR 값을 갖게 된다. PSNR 값 뿐만 아니라 그림 8과 같이 기존의 오류 은닉 방법들과 제안된 오류은닉 방법을 적용한 결과 영상을 비교하여 보면 매크로 블록간의 경계가 더 자연스럽다. 영 움직임 벡터 방법, 기존의 경계 정합 방법, 그리고 중복 경계 정합방법과 비교하였을 때 PSNR 값 뿐만 아니라 주관적인 평가로도 제안된 방법으로 오류를 은닉했을 경우더 좋은 성능을 보임을 확인할 수 있다.
영 움직임 벡터 방법, 기존의 경계 정합 방법, 그리고 중복 경계 정합방법과 비교하였을 때 PSNR 값 뿐만 아니라 주관적인 평가로도 제안된 방법으로 오류를 은닉했을 경우더 좋은 성능을 보임을 확인할 수 있다. 그리고 Core 2 Duo 3.0 GHz, 4GB Ram의 PC를 사용하여 기존의 경계 정합 방법과 중복 경계 정합 방법을 사용하여 30프레임을 복호화 하는데 걸리는 시간은 평균 4.53초, 4.69초인 반면 제안된 방법을 사용하였을 때에는 평균 5.39초의 시간이 걸렸다. 약간의 계산량 증가를 통하여 정량적, 주관적 관점의 화질이 향상됨을 알 수 있다.
PSNR 값을 나타내고 있다. 기존의 방법들보다 제안된 방법이 Q6dB에서 0.9dB 더 높은 PSNR 값을 나타냄을 알 수 있다. 그러나 Foreman 영상과 같이 비교적 움직임이 적은 영상에서는 오류 은닉 방법을 사용했을 때 원본에 가까운 PSNR 값을 나타내지만 Football이나 Ice와 같은 움직임이 많은 영상에서는 제안된 오류 은닉 .
기존의 오류 은닉 방법들로 오류를 은닉했을 때와 제안된 오류 은닉 방법으로 오류를 은닉했을 때의 PSNR을 비교해보면 제안된 오류 은닉 방법으로 오류를 은닉했을 때가 기존의 방법으로 오류를 은닉했을 때 보다 약 0.6(©에서 0.9 dB의 화질 향상을 보여주었다.
부드러운 영상과 경계가 뚜렷한 영상 중 어느 한쪽에만 적합한 경계 정합 방법이 아닌 새로운 경계 정합방법을 이용하여 기존의 방법 보다 더 많은 후보들 가운데에서 은닉할 블록을 찾고 또한 후처리를 통하여 은닉한 블록과 기존 블록간의 경계를 부드럽게 해줌으로 인하여 기존의 방법들에 비해 전체적으로 높은 PSNR 값을 갖게 된다. PSNR 값 뿐만 아니라 그림 8과 같이 기존의 오류 은닉 방법들과 제안된 오류은닉 방법을 적용한 결과 영상을 비교하여 보면 매크로 블록간의 경계가 더 자연스럽다.
PSNR 값 뿐만 아니라 그림 8과 같이 기존의 오류 은닉 방법들과 제안된 오류은닉 방법을 적용한 결과 영상을 비교하여 보면 매크로 블록간의 경계가 더 자연스럽다. 영 움직임 벡터 방법, 기존의 경계 정합 방법, 그리고 중복 경계 정합방법과 비교하였을 때 PSNR 값 뿐만 아니라 주관적인 평가로도 제안된 방법으로 오류를 은닉했을 경우더 좋은 성능을 보임을 확인할 수 있다. 그리고 Core 2 Duo 3.
총 20개의 후보 움직임 벡터의 위치의 블록들을 현재 프레임과 비교하여 누적 차이 값이 최소가 되는 블록으로 현재 프레임의 오류가 발생한 블록을 대체시킨다. 이와 같이 추가적인 후보 움직임 벡터를 설정하게 되면 기존의 방법보다 더욱 많은 후보들 가운데서 대체할 블록을 찾기 때문에 보다 정확한 블록을 선택하게 되고 결과적으로 기존의 방법보다 높은 오류 은닉 성능을 보이게 된다.

후속연구

본 논문에서는 매크로 블록의 크기를 16x16의 크기로 고정하여서 오류를 은닉하였지만 움직임이 많은 영상에서 최적의 오류 은닉이 불가능하므로 향후 매크로 블록의 단위를 8×8, 더 나아가 4><4 단위까지 세밀하게 나누어서 본 논문의 방법을 적용하는 연구와 오류가 발생한 영상내의 다양한 부호화 모드와 움직임 벡터의 많고 적음에 따라 선택적으로 공간적 오류 은닉 방법을 적용하는 연구가 이루어져야 하겠다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

H.264/AVC의 시간적 오류 은닉을 위한 경계 정합과 후처리 방법
A Boundary Matching and Post-processing Method for the Temporal Error Concealment in H.264/AVC 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

H.264/AVC의 시간적 오류 은닉을 위한 경계 정합과 후처리 방법 A Boundary Matching and Post-processing Method for the Temporal Error Concealment in H.264/AVC 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

이준우 (3) 원인수 (6) 임대규 (1) 정동석 (33)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

H.264/AVC의 시간적 오류 은닉을 위한 경계 정합과 후처리 방법
A Boundary Matching and Post-processing Method for the Temporal Error Concealment in H.264/AVC 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper