[논문]스크린 콘텐츠를 위한 VVC 화면내 삼각형 분할 예측 방법

최재륜; 권대혁; 한희지; 이하현; 강정원; 최해철

doi:10.5909/jbe.2020.25.3.325

스크린 콘텐츠를 위한 VVC 화면내 삼각형 분할 예측 방법
VVC Intra Triangular Partitioning Prediction for Screen Contents 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.3, 2020년, pp.325 - 337

최재륜 (한밭대학교 정보통신전문대학원 멀티미디어공학과) , 권대혁 (한밭대학교 정보통신전문대학원 멀티미디어공학과) , 한희지 (한밭대학교 정보통신전문대학원 멀티미디어공학과) , 이하현 (한국전자통신연구원) , 강정원 (한국전자통신연구원) , 최해철 (한밭대학교 정보통신전문대학원 멀티미디어공학과)

초록
AI-Helper

VVC(Versatile Video Coding)는 ISO/IEC/ITU-T의 JVET(Joint Video Experts Team)에서 표준화 중인 새로운 비디오 부호화 표준으로 스크린 콘텐츠 부호화 툴을 포함한 다양한 기술을 채택하고 있다. 스크린 콘텐츠는 문자 영역과 같이 사선 방향 에지가 자주 발생하는 특징을 가지며, 이런 특징을 갖는 영상에 삼각형 형태의 분할 부호화를 적용하면 압축 효율이 증가할 수 있다. 본 논문에서는 스크린 콘텐츠를 위한 VVC 기반 화면내 삼각형 분할 예측 방법을 제안한다. 기존 VVC의 화면간 예측 부호화에서 삼각형 분할 예측을 지원하는 Triangular Prediction Mode 방법과 유사하게, 제안 방법은 화면내 예측 부호화에서 수직과 수평 방향 예측 모드와 주변 복원 참조 라인을 이용하여 두 개의 사각형 예측 블록을 생성하고 삼각형 모양의 마스크로 두 예측 블록을 가중합하여 최종 예측 신호를 만든다. 제안 방법의 실험 결과는 All Intra 스크린 콘텐츠 영상 실험에서 YUV 각각 평균 1.86%, 1.49%, 1.55% 부호화 성능향상을 보이고, 자연 영상 실험 조건에서는 부호화 효율에 미미한 손실을 보였다. 결론적으로, 화면내 예측 부호화 모드에 제안 방법을 적용하여 압축 성능을 향상할 수 있었다.

Abstract ▼ AI-Helper

Versatile Video Coding (VVC) is a new video coding standard that is being developed by the Joint Video Experts Team of ISO/IEC/ITU-T and it has adopted various technologies including screen content coding tools. Screen contents have a feature that blocks are likely to have diagonal edges like character regions. If triangular partitioning coding is allowed for screen contents having such the feature, coding efficiency would increase. This paper proposes a intra prediction method using triangular partitioning prediction for screen content coding. Similar to the Triangular Prediction Mode of VVC that supports the triangular partitioning prediction, the proposed method derives two prediction blocks using Horizontal and Vertical modes and then it blends the predicted blocks applying masks with triangle shape to generate a final prediction block. The experimental results of the proposed method showed an average of 1.86%, 1.49%, and 1.55% coding efficiency in YUV, respectively, for VVC screen content test sequences.

주제어

표/그림 (15)

그림 그림 1. 비디오 부호화 표준의 역사 및 성능^[7] Fig. 1. History and performance of video coding standards^[7]
그림 그림 2. VVC 화면내 예측 모드^[10] Fig. 2. Intra prediction mode of VVC^[10]
그림 그림 3. 좌) TPM의 삼각형 분할 구조, 우) TPM의 가중치 값^[15] Fig. 3. Left) Triangular partitioning stucture of TPM, Right) Weight value of the TPM^[15]
그림 그림 4. TPM에서 움직임 벡터를 유도하기 위한 주변 블록 (1~7)^[13] Fig. 4. Neighboring blocks to derive motion vector for TPM^[13]
그림 그림 5. MRL에서 사용하는 참조 라인^[3] Fig. 5. Reference lines of MRL^[3]
그림 그림 6. ITP의 예측 신호 생성 방법 Fig. 6. Prediction signal generation method of ITP
그림 그림 7. 수평과 수직 방향 예측 모드를 이용한 ITP의 예측 신호 생성 방법 Fig. 7. Prediction signal generation method of ITP using Horizontal and Vertical prediction modes
그림 그림 8. ITP와 MRL의 연동방법 Fig. 8. Cooperation with ITP and MRL
그림 그림 9. 제안 방법에서 사용된 3-tap 블랜딩 마스크 Fig. 9. 3-tap blending mask for the proposed method
그림 그림 10. VVC 기반 ITP 모드 시그널링 방법 Fig. 10. VVC based ITP mode signaling method
표 표 1. 실험 영상 Table 1. Test sequences
표 표 2. VVC 공통 실험 조건에서의 ITP 모드 부호화 효율 Table 2. ITP mode perforamcne under the VVC common test condition
그림 그림 11. ITP가 최적 모드로 선택된 CU, (좌) ChineseEditing 영상, (우) FlyingGraphics 영상 Fig. 11. CUs coded by ITP mode as the best mode, (left) ChineseEditing sequence, (right) FlyingGraphics sequence
표 표 3. IBC_off 조건에서의 ITP 모드 부호화 효율 Table 3. Coding efficiency of ITP mode under IBC_off condition
표 표 4. 블랜딩 마스크 tap 수에 따른 ITP 부호화 효율 Table 4. Coding efficiency of ITP according to the number of blending mask taps

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그림 1 ^[7]은 역대 비디오 압축 표준의 압축률을 나타내며 새로운 표준이 제정될 때 그 이전 표준보다 약 50%의 비트 레이트(bit-rate) 감소를 보인다. ISO/IEC MPEG과 ITU-T VCEG의 공동팀인 JVET에 서 개발하고 있는 차세대 비디오 부호화 표준 VVC도 근래 표준인 HEVC/H.265 표준 대비 50% 이상의 부호화 효율 향상을 목표로 한다. 이 목표 달성을 위해서 VVC는 다양한 압축 기술들을 채택하고 있다.
그림 1 ^[7]은 역대 비디오 압축 표준의 압축률을 나타내며 새로운 표준이 제정될 때 그 이전 표준보다 약 50%의 비트 레이트(bit-rate) 감소를 보인다. ISO/IEC MPEG과 ITU-T VCEG의 공동팀인 JVET에 서 개발하고 있는 차세대 비디오 부호화 표준 VVC도 근래 표준인 HEVC/H.265 표준 대비 50% 이상의 부호화 효율 향상을 목표로 한다. 이 목표 달성을 위해서 VVC는 다양한 압축 기술들을 채택하고 있다.
다음 절에서 VVC의 채택 기술 중 본 논문에서 제안하는 방법과 관련 있는 TPM과 MRL에 대해 자세히 살펴본다.
이에 따라 MPM 모드와 연동한 화면내 예측 모드 지시자의 부호화 방법을 설계해야 하며 이는 VVC 구문요소가 크게 수정되어 다른 부호화 기술에 큰 영향을 미칠 수 있으며 추가 구문요소의 증가로 인해 부호화 효율 이 크게 감소할 수 있다. 따라서 본 논문에서는 화면내 예측 모드에서 많이 선택되는 수평과 수직 방향 예측 모드로 고정하여 두 영역의 예측 신호를 생성하도록 설계하였다. 일반적으로 화면내 예측 모드에서는 Planar와 DC 모드가 가장 많이 선택되지만, 이 두 모드는 블록 내의 화소들이 모두 유사한 경우에 적절하며 상측과 좌측의 참조 라인을 함께 이용하므로 블록을 사선으로 나누어 별도로 예측 신호를 생성하는데 적절하지 않다.
하지만 블록내 45° 혹은 135°의 사 선 방향으로 두 개의 구분되는 영역이 존재하고 두 영역간 화소 유사성이 낮은 블록의 경우에는 부호화 효율이 낮아 진다. 본 논문에서는 사각형 블록을 사선 방향으로 분할하 여 각각의 삼각형 모양에 예측 신호를 별도 생성하여 부호 화 효율을 높일 수 있는 화면내 예측 방법을 제안한다.
AR/VR, 스트리밍 게임, 온라인 강의, 화상 회의 등의 활성화로 인해 컴퓨터에 의해 생성된 스크린 콘텐츠 압축이 많은 관심을 끌고 있다. 본 논문에서는 현재 표준화 중인 VVC 표준에 기반한 스크린 콘텐츠 부호화 툴을 제안했다. 기존 화면내 예측 부호화에서는 사각형 분할만을 지원하는 한계가 있으며, 문자와 그래픽 등으로 인해 사선 방향 에지 가 산재한 스크린 콘텐츠의 특성을 고려하지 않았다.
그러나 VVC를 포함 한 기존 비디오 압축 표준의 화면내 예측에서는 사각형 분할만을 허용하기 때문에 스크린 콘텐츠의 사선 방향으로 나뉘는 두 영역에서 서로 상이한 텍스쳐를 갖는 블록을 특별히 고려하지 않았다. 스크린 콘텐츠의 부호화 효율을 향상시키기 위하여, 본 논문에서는 사선 방향으로 나뉘는 두 영역에서 서로 상이한 텍스쳐를 갖는 블록이 있을 때, 이를 효과적으로 부호화할 수 있는 화면내 예측 방법을 제안한다. 제안 방법은 서로 다른 두 개의 화면내 예측 모드를 이용하여 두 개의 예측 블록을 생성하고 이를 서로 반대되는 삼각형 모양의 마스크를 이용해 혼합함으로써 최종 예측 블록을 생성한다.

제안 방법

즉 현재 CU를 ITP 만 이용하여 부호화할 수 있으며, ITP와 MRL을 함께 연동하여 부호화할 수도 있다. ITP와 MRL을 함께 연동하면, 3 개의 참조 라인 중 하나를 선택하고 그 선택된 참조 라인으로부터 제1 및 제2 예측 블록을 위한 수평과 수직 예측을 수행한다.
반면 ITP와 유사한 화면간 부호화 툴인 TPM은 최대 7-tap의 마스크를 사용한다. ITP의 3-tap 마스크의 적정성을 검증하기 위해 ITP 방법에 3-tap과 7-tap을 적용할 때의 부호화 효율을 비교해 보았다. 표 4는 그 실험 결과를 나타낸다.
SCC 클래스 영상에서 ITP의 성능을 다시 검증하기 위해서, VVC의 대표적인 스크린 콘텐츠 부호화 툴인 IBC를 허용하지 않고 실험을 진행하였다. 표 3과 같이, IBC_off 조 건에서 ChineseEditing, Console, Destktop, FlyingGraphics 영상에 대해 Y Bd-rate가 각각 –2.
VVC의 공통 테스트 영상 중 스크린 콘텐츠 영상인 SCC 클래스, 자연 영상과 컴퓨터 그래픽스가 섞여 있는 F 클래스, 자연 영상인 A1, A2 클래스 영상에 대해 공통 테스트 조건에 명시된 양자화 계수 4개의 값에 대한 비트스트림을 생성하여 부호화 효율을 비교하였다.
일반적으로 화면내 예측 모드에서는 Planar와 DC 모드가 가장 많이 선택되지만, 이 두 모드는 블록 내의 화소들이 모두 유사한 경우에 적절하며 상측과 좌측의 참조 라인을 함께 이용하므로 블록을 사선으로 나누어 별도로 예측 신호를 생성하는데 적절하지 않다. 결론적으로, 제안하는 ITP는 블록을 좌상측에서 우하측 방향의 사선으로 나누고 좌하 삼각형 영역은 가까운 좌측 참조 라인으로부터 수평 방향으로 예측 신호를 생성하고 우상 삼각형 영역은 가까운 상측 참조 라인으로부터 수직 방향으로 예측 신호를 생성하였다.
구체적으로, 제안하는 Intra Triangular Partitioning(ITP) 방법은 그림 6과 같이 이미 복원된 주변 상단 참조 라인과 좌측 참조 라인으로부터 서로 다른 두 개의 화면내 예측 모드를 이용하여 두 개의 예측 블록을 생성한다. 한 예측 블록에 사선 방향으로 점진적으로 낮은 값을 갖는 가중치 마스크를 적용하여 마치 삼각형 형태에만 값을 갖는 예측 블록(제1 예측 블록)을 생성한다.
그러나 평활한 영상 의 경우에는 기존의 화면내 예측 기술들로도 충분하며 허 용하는 경우의 수가 늘면 더 정확한 예측으로 압축 왜곡 (Distortion)이 낮아질 수 있는 것과 함께, 늘어난 경우의 수 중 하나를 알리기 위한 지시자의 비트율(Rate)도 증가하기 에 Rate-Distortion Optimization(RDO) 측면에서 경우의 수를 늘리는 것은 부호화 효율의 감소로 이어질 수 있다. 따라서 본 논문에서는 실험을 통해 좌상측에서 우하측으로 나누는 한 가지 경우만 허용하기로 설계하였다.
늘어난 개수의 화면내 예측 모드를 효과적으로 부호 화하기 위해 MPM(Most Probable Mode) 개수도 6개로 증가시켰다. 또한 MIP(Matrix-based Intra Prediction), MRL Combination), CCLM(Cross-Component Linear Model) 모드 등의 새로운 화면내 예측 기술도 채택하였다^[9].
RDO 측면에서 MRL의 사용이 결정되면 3 개의 참조 라인 중 하나를 선택하여 예측 정확도를 높인다. 본 논문에 서 제안하는 ITP도 제1 및 제2 예측 블록 생성을 위해 수평과 수직 방향 예측 시 MRL을 허용한다. 즉 현재 CU를 ITP 만 이용하여 부호화할 수 있으며, ITP와 MRL을 함께 연동하여 부호화할 수도 있다.
마스크의 탭 수는 블록 크기 및 모양에 상관없이 3개로 간소화하였다. 스크린 콘텐츠는 에지가 선명한 특징이 있으므로 에지를 잘 보존하기 위해서, VVC의 화면간 예측 모드 부호화 기술 중 하 나인 TPM 모드에서 사용하는 7-tap보다 작은 3-tap을 사용하였다. 이 3-tap 마스크에서 블랜딩 연산의 가중치는 6:2, 4:4, 2:6를 적용한다.
앞선 표 3의 실험에서 ITP가 선택되는 경향을 확인하기 위해서, ITP의 부호화 효율이 가장 높은 영상인 ChineseEditing과 가장 낮은 부호화 효율을 갖는 FlyingGraphics에 대해 ITP가 선택된 블록을 그림 11과 같이 가시화하였다. 그림 11에서 박스로 그려진 블록은 RDO 관점에서 최적 모드로 ITP가 선택된 CU이다.
제안 방법은 VVC 기반으로 현재 CU가 ITP 모드인지를 알리기 위한 구문요소인 cu_itp_flag를 정의한다. 구문요소 cu_itp_flag의 발생 확률에 기반하여 문맥 모델(Context model)을 설계하고 CABAC(Context Adaptive Binary Arithmetic Coding)을 이용하여 엔트로피 부호화한다.
86%의 상당히 높은 부호화 효율을 갖기에 저복잡도를 요구하는 응용에서 IBC를 대체할 수 있는 부호화 기술이 될 수 있을 것으로 판단된다. 제안 방법은 고정된 두 개의 화면 내 예측 모드를 이용하여 예측 신호를 생성한다. MPM과 주변 블록의 부호화 정보 등을 이용하여 적응적으로 화면내 예측 모드를 선택하는 연구를 추진한다면 스크린 콘텐츠 환경에서의 부호화 성능을 더 향상시킬 수 있을 것이라 기대한다.
제안 방법은 블랜딩 마스크를 이용하여 그림 9와 같이 좌하측(LT) 영역과 우상측(AT) 영역의 예측 신호를 혼합하 여 하나의 사각형 예측 신호를 생성한다. 마스크의 탭 수는 블록 크기 및 모양에 상관없이 3개로 간소화하였다.
스크린 콘텐츠의 부호화 효율을 향상시키기 위하여, 본 논문에서는 사선 방향으로 나뉘는 두 영역에서 서로 상이한 텍스쳐를 갖는 블록이 있을 때, 이를 효과적으로 부호화할 수 있는 화면내 예측 방법을 제안한다. 제안 방법은 서로 다른 두 개의 화면내 예측 모드를 이용하여 두 개의 예측 블록을 생성하고 이를 서로 반대되는 삼각형 모양의 마스크를 이용해 혼합함으로써 최종 예측 블록을 생성한다. 이 최종 예측 블록은 기존 하나의 방향성 혹은 비방향성 화면내 예측 모드만을 이용해 생성한 예측 블록보다 사선 방향으로 나뉘는 두 영역에서 서로 상이한 텍스쳐를 갖는 블록을 더 정확히 예측할 수 있으며, 실험을 통해 제안 방법의 부호화 성능 개선 효과를 확인한다.
기존 화면내 예측 부호화에서는 사각형 분할만을 지원하는 한계가 있으며, 문자와 그래픽 등으로 인해 사선 방향 에지 가 산재한 스크린 콘텐츠의 특성을 고려하지 않았다. 제안 방법은 화면내 부호화에서 두 개 삼각형 예측 신호를 생성함으로써 스크린 콘텐츠의 사선 방향 에지를 효과적으로 부호화한다. 이는 대표적 스크린 콘텐츠 부호화 기술인 IBC보다 낮은 복잡도로 평균 1.
45%의 유의미한 비트율 감소를 보였다. 제안하는 ITP는 스크린 콘텐츠의 특징을 반영한 부호화 툴이다. 그럼에도 불구하고 제안 방법이 클래스 F에 대해서는 유의미한 부호화 효율을 보였지만 SCC 클래스에 대해서는 부호화 효율이 오히려 미비하다.

이론/모형

제안 방법은 VVC 기반으로 현재 CU가 ITP 모드인지를 알리기 위한 구문요소인 cu_itp_flag를 정의한다. 구문요소 cu_itp_flag의 발생 확률에 기반하여 문맥 모델(Context model)을 설계하고 CABAC(Context Adaptive Binary Arithmetic Coding)을 이용하여 엔트로피 부호화한다.
본 논문에서는 제안 ITP 방법을 VVC 참조 소프트웨어인 VTM6.0^[17]를 기반으로 구현하였고, 성능 평가를 위해 VVC 표준화에서 사용 중인 공통 테스트 조건^[18]을 사용하였다. VVC의 공통 테스트 영상 중 스크린 콘텐츠 영상인 SCC 클래스, 자연 영상과 컴퓨터 그래픽스가 섞여 있는 F 클래스, 자연 영상인 A1, A2 클래스 영상에 대해 공통 테스트 조건에 명시된 양자화 계수 4개의 값에 대한 비트스트림을 생성하여 부호화 효율을 비교하였다.

성능/효과

15%의 상당히 높은 비트율 감소를 보였다. IBC를 허용 하지 않을 때 제안하는 ITP는 SCC 클래스에 대해 평균 1.86%의 높은 부호화 효율을 가짐을 알 수 있다. 즉, 본 논문에서 제안하는 ITP는 IBC와 유사한 효과를 가지는 부분이 존재하는 것으로 보인다.
그림 11에서 박스로 그려진 블록은 RDO 관점에서 최적 모드로 ITP가 선택된 CU이다. ITP의 부호화 효율이 높은 만 큼, 그림 11에서도 다양한 크기와 많은 수의 CU들이 ITP 모드로 부호화되었음을 확인할 수 있다. 그림 11에서 보이는 바와 같이 ChineseEditing 영상은 문자가 많다.
이는 화면내 예측을 사용하는 블록인 경우 항상 전송해야 하므로 비트 오버헤드로 인해 부호화 효율이 감소할 수 있다. 둘째, 우상측에서 좌하측으로 나누는 경우 우하 삼각형 영역은 좌측 혹은 상측 참조 라인 과 거리가 멀어진다. 화면간 예측의 경우 참조 영상으로부터 현재 블록 위치의 우측과 하측 영역도 참조할 수 있지만, 화면내 예측의 경우 현재 블록의 좌측과 상측의 영역만 참 조할 수 있으므로 먼 공간적 거리를 갖게 된다.
늘어난 개수의 화면내 예측 모드를 효과적으로 부호 화하기 위해 MPM(Most Probable Mode) 개수도 6개로 증가시켰다. 또한 MIP(Matrix-based Intra Prediction), MRL역대 비디오 압 축 표준의 압축률을 나타내며 새로운 표준이 제정될 때 그 이전 표준보다 약 50%의 비트 레이트(bit-rate) 감소를 보인 다. ISO/IEC MPEG과 ITU-T VCEG의 공동팀인 JVET에서 개발하고 있는 차세대 비디오 부호화 표준 VVC도 근래 표준인 HEVC/H.
표 4는 그 실험 결과를 나타낸다. 블랜딩 마스크 3-tap을 적용한 경우, 실험 영상 ChineseEditing, Console, Desktop, FlyingGraphics에 대해서 Y 부호화 효율 이 평균 1.86% 향상한 결과를 보이며, 7-tap을 적용한 경우에는 평균 1.33% 향상으로 3-tap 대비 낮은 결과를 보인다. 스크린 콘텐츠는 에지가 선명하고 색의 분포가 자연 영상 에 비해 낮으므로 7-tap보다는 3-tap의 적은 수 화소에만 필터링을 가하는 것이 에지 보전 및 블러링을 막는데 효과적이라는 것을 확인할 수 있다.
수평 방향과 수직 방향으로 예측 신호를 생성할 때, MRL 기술을 연동하여 예측 신호의 정확성을 높일 수 있다. 그림 8과 같이 MRL은 기존 화면내 예측 모드에서 사용하는 0번 참조 화소 라인뿐만 아니라 1번 참조 화소 라인과 3번 참조 화소 라인을 지원한다.
33% 향상으로 3-tap 대비 낮은 결과를 보인다. 스크린 콘텐츠는 에지가 선명하고 색의 분포가 자연 영상 에 비해 낮으므로 7-tap보다는 3-tap의 적은 수 화소에만 필터링을 가하는 것이 에지 보전 및 블러링을 막는데 효과적이라는 것을 확인할 수 있다.
그림 11에서 보이는 바와 같이 ChineseEditing 영상은 문자가 많다. 이 문자들은 사선 에지를 많이 포함하고 있기 때문에 ITP가 많이 선택되었으며, FlyingGraphics 영상은 ChineseEditing 영상 보다 적은 문자 영역을 가지고 있고 사선에 지의 분포가 적어 비교적 낮은 수의 CU들이 ITP로 부호화되었다. 그림 11에서 ITP로 부호화된 CU 중 사선 에지가 없는 아주 평활한(Homogemeous)한 블록도 찾을 수 있다.
제안 방법은 서로 다른 두 개의 화면내 예측 모드를 이용하여 두 개의 예측 블록을 생성하고 이를 서로 반대되는 삼각형 모양의 마스크를 이용해 혼합함으로써 최종 예측 블록을 생성한다. 이 최종 예측 블록은 기존 하나의 방향성 혹은 비방향성 화면내 예측 모드만을 이용해 생성한 예측 블록보다 사선 방향으로 나뉘는 두 영역에서 서로 상이한 텍스쳐를 갖는 블록을 더 정확히 예측할 수 있으며, 실험을 통해 제안 방법의 부호화 성능 개선 효과를 확인한다.
제안 방법은 화면내 부호화에서 두 개 삼각형 예측 신호를 생성함으로써 스크린 콘텐츠의 사선 방향 에지를 효과적으로 부호화한다. 이는 대표적 스크린 콘텐츠 부호화 기술인 IBC보다 낮은 복잡도로 평균 1.86%의 상당히 높은 부호화 효율을 갖기에 저복잡도를 요구하는 응용에서 IBC를 대체할 수 있는 부호화 기술이 될 수 있을 것으로 판단된다. 제안 방법은 고정된 두 개의 화면 내 예측 모드를 이용하여 예측 신호를 생성한다.
F 클래스에 대해서는 VVC의 스크린 콘텐츠 부호화 툴들이 허용되지 않기 때문에 ITP가 비교적 높은 부호화 효율을 보일 수 있었다. 자연 영상인 A1, A2 클래스에 대해서는 평균 0.01%의 미비한 비트율 증가를 보였다. ITP의 허용으로 인해 구문요소를 추가적으로 시그널링하여 비트 오버헤드가 증가했음에도 불구하고 자연 영상에 대해서 부호화 손실을 거의 유발하지 않는다.
표 2는 공통 테스트 조건 중 하나인 All_intra Configuration에서 제안 방법의 성능을 나타낸다. 제안 방법은 SCC 클래스영상 ChoenseEditing, Console, Desktop, FlyingGraphics 대해서 Y BD-rate^[19]는 각각 -0.2%, 0.03%, 0.00%, 0.02%의 결과를 보였다. 평균 -0.
86%의 높은 부호화 효율을 가짐을 알 수 있다. 즉, 본 논문에서 제안하는 ITP는 IBC와 유사한 효과를 가지는 부분이 존재하는 것으로 보인다. 다만, 복잡도 측면에서 IBC와 ITP는 상당한 차이가 있다.
본 논문에서는 다음 두 가지 이유로 좌상측에서 우하 측으로 나누는 경우만을 고려한다. 첫째, 두 가지 방향을 모두 고려하면 사선 방향을 지시하기 위한 지시자를 시그널링(Signaling)해야 한다. 이는 화면내 예측을 사용하는 블록인 경우 항상 전송해야 하므로 비트 오버헤드로 인해 부호화 효율이 감소할 수 있다.
표 3과 같이, IBC_off 조 건에서 ChineseEditing, Console, Destktop, FlyingGraphics 영상에 대해 Y Bd-rate가 각각 –2.37%, -2.08%, -1.84%, -1.15%의 상당히 높은 비트율 감소를 보였다.

후속연구

제안 방법은 고정된 두 개의 화면 내 예측 모드를 이용하여 예측 신호를 생성한다. MPM과 주변 블록의 부호화 정보 등을 이용하여 적응적으로 화면내 예측 모드를 선택하는 연구를 추진한다면 스크린 콘텐츠 환경에서의 부호화 성능을 더 향상시킬 수 있을 것이라 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	TPM의 특징은 무엇인가?	TPM[11]-[13]은 화면간 예측 모드의 하나로 서로 다른 움직임 정보로부터 획득한 두 개의 삼각형 모양을 가중합하여 하나의 예측 블록을 생성한다. 구체적으로 서로 다른 두 개 의 참조 블록을 삼각형 모양의 마스크를 이용하여 블랜딩 (Blending)함으로써 마치 삼각형으로 분할된 예측 신호를 생성한 효과를 얻을 수 있다.
	스크린 콘텐츠가 갖는 특징은 무엇인가?	VVC(Versatile Video Coding)는 ISO/IEC/ITU-T의 JVET(Joint Video Experts Team)에서 표준화 중인 새로운 비디오 부호화 표준으로 스크린 콘텐츠 부호화 툴을 포함한 다양한 기술을 채택하고 있다. 스크린 콘텐츠는 문자 영역과 같이 사선 방향 에지가 자주 발생하는 특징을 가지며, 이런 특징을 갖는 영상에 삼각형 형태의 분할 부호화를 적용하면 압축 효율이 증가할 수 있다. 본 논문에서는 스크린 콘텐츠를 위한 VVC 기반 화면내 삼각형 분할 예측 방법을 제안한다.
	VVC 표준에 기반한 스크린 콘텐츠 부호화 툴은 어떻게 부호화를 제안하는가?	기존 화면내 예측 부호화에서는 사각형 분할만을 지원하는 한계가 있으며, 문자와 그래픽 등으로 인해 사선 방향 에지 가 산재한 스크린 콘텐츠의 특성을 고려하지 않았다. 제안 방법은 화면내 부호화에서 두 개 삼각형 예측 신호를 생성함으로써 스크린 콘텐츠의 사선 방향 에지를 효과적으로 부호화한다. 이는 대표적 스크린 콘텐츠 부호화 기술인 IBC보다 낮은 복잡도로 평균 1.

참고문헌 (20)

A Segall, V Baroncini, J Boyce, J Chen, T Suzuki, "Joint Call for Proposals on Video Compression with Capability beyond HEVC," ITU-T/ISO/IEC JVET, JVET-H1002, Oct. 2017. https://mpeg.chiariglione.org/standards/exploration/future-video-coding/n17195-jointcall-proposals-video-compression-capability
B. Bross, J. Chen, S. Liu, and Y.-K. Wang, "Versatile Video Coding (Draft 8)," ISO/IEC/ITU-T JVET, JVET-Q2001, Jan. 2020. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id9675
J. Chen, Y. Ye, and S. Kim, "Algorithm Description for Versatile Video Coding and Test Model 8 (VTM 8)," ISO/IEC/ITU-T JVET, JVET-Q2002, Jan. 2020. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id9676
High Efficiency Video Coding (HEVC), Rec. ITU-T H.265 and ISO/IEC 23008-2, Jan. 2013. https://www.itu.int/itu-t/recommendations/rec.aspx?rec12905
Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, and Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," IEEE Trans. Circuits Syst. Video Technol., Vol. 22, No. 12, pp. 1649-1668, Dec. 2012. https://doi.org/10.1109/TCSVT.2012.2221191

상세보기
F. Bossen, X. Li, and K. Suhring, "JVET AHG Report: Test Model Software Development (AHG3)," ISO/IEC/ITU-T JVET, JVETQ0003, Jan. 2020. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id9363
B. Bross, "Versatile Video Coding (VVC) on the Final Stretch," ITU workshop on the future of media, Geneva, Switzerland, Oct. 2019. https://www.itu.int/en/ITU-T/Workshops-and-Seminars/20191008/Pages/programme.aspx
Jong-Seok Lee, Jun-Taek Park, Han-Sol Choe, Ju-Hyeong Byeon, and Dong-Gyu Sim, "Overview of VVC," Broadcasting and Media Magazine, Vol. 24, No. 3, pp.10-25, Oct. 2019.
Heeji Han, Jaeryun Choe, Daehyeok Gwon, and Haechul Choi, "VVC Intra Prediction and Coding Tools," Broadcasting and Media Magazine, Vol. 24, No. 3, pp.39-54, , Oct. 2019.
Liang Zhao, Xin Zhao, Shan Liu and Xiang Li, "CE3-related: Unification of angular intra prediction for square and non-square blocks," ITU-T/ISO/IEC JVET, JVET-L0279, Oct. 2018. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id4374
D. Park, Y. Yoon, J.-G. Kim, J. Lee, and J. Kang, "CE10-related: Simplification of Triangular Partitions," ISO/IEC/ITU-T JVET, JVET-M0352, Jan. 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id5159
F. Chen and Li Wang, "CE10-related: Simplified Triangle Prediction Unit Mode," ISO/IEC/ITU-T JVET, JVET-M0328, Jan. 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id5135
X. Wang, Y.-W. Chen, X. Xiu, and T.-C. Ma, "CE4-related: An Improved Method for Triangle Merge List Construction," ISO/IEC/ITU-T JVET, JVET-N0340, March. 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id6061
Jungwon Kang and Hahyun Lee, "VVC Inter Prediction Coding Technologies," Broadcasting and Media Magazine, Vol. 24, No. 3, pp.55-70, , Oct. 2019.
Ru-Ling Liao and Chong Soon Lim, "CE10.3.1.b: Triangular prediction unit mode," ITU-T/ISO/IEC JVET, JVET-L0124, Oct. 2018. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id4205
B. Bross, P. Keydel, H. Schwarz, D. Marpe, T. Wiegand, L. Zhao, X. Zhao, X. Li, S. Liu, Y.-J. Chang, H.-Y. Jiang, P.-H. Lin, C.-C. Kuo, C.-C. Lin, and C.-L. Lin, "CE3: Multiple Reference Line Intra Prediction (Test 1.1.1, 1.1.2, 1.1.3 and 1.1.4)," ISO/IEC/ITU-T JVET, JVET-L0283, Oct. 2018. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id4379
J. Chen, Y. Ye, and S. H. Kim "Algorithm Description for Versatile Video Coding and Test Model 6 (VTM 6)," ISO/IEC/ITU-T JVET, JVET-O2002, July 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id7826
F. Bossen, J. Boyce, X. Li, V. Seregin, and K. Sharing, "JVET Common Test Conditions and Software Reference Configurations for SDR Video," ISO/IEC/ITU-T JVET, JVET-N1010, Mar. 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id6643
G. Bjontegaard, "Calculation of Average PSNR Differences Between RD Curves," ITU-T SG16 Q.6 VCEG, VCEG-M33, Apr. 2001. http://wftp3.itu.int/av-arch/video-site/0104_Aus/VCEG-M33.doc
W.-J. Chien, V. Seregin, and M. Karczewicz, "CE8-related: CPR Mode Signaling and Interaction with Inter Coding Tools," ISO/IEC/ITU-T JVET, JVET-M0483, Jan. 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id5293

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증