선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- JPEG2000과 HEVC Intra를 이용하여 홀로그램을 압축할 경우에 HEVC Intra 가 더 우수한 성능을 나타내기 때문에 JPEG2000 에서 방향성을 고려한 변환으로 이득을 보인 것만큼 HEVC Intra에서도 그 만큼의 이득을 보일 수있을 것이라는 예측에 기반한다. 따라서 본 연구에서는 HEVC의 인트라 예측 모드에 방향성을 고려한 연산이 가능한 알고리즘을 삽입하였다. 원래 HEVC Intra 모드는 방향성을 따지는 알고리즘이 내재되어 있는데 이를 홀로그램에 적합한 변환과 양자화기를 고안하여 추가함으로써 홀로그램에 대한 압축 효율을 향상시키고자 하였다.
- 신호처리 기술에는 다양한 것들이 포함될 수 있을텐데, 2차원 혹은 3차원 멀티미디어에서도 그러하듯이 홀로그램에서도 압축 기술이 여기에 포함될 것이다. 본 고에서는 지금까지 진행되어 왔던 여러 학술적인 연구들을 조사하고 분석함으로써 압축 기술과 관련하여 어떤 기술들이 연구되어왔고, 현재는 어떤 수준인지 살펴보고자 한다.
- 본 고에서는 최근까지 진행되었던 디지털 홀로그램 압축과 관련된 다양한 기술들에 대해서 논문들을 분석해 보았다. 디지털 홀로그램에 대한 정의조차 명확하지 않기 때문에 디지털 홀로그램의 압축 기술을 다루는 분야는 이제 걸음마 단계로 생각할 수 있다.
- 이 연구에서는 HEVC의 인트라 예측 모드에 방향성을 고려한 연산이 가능한 알고리즘을 삽입하였다. 원래 HEVC Intra 모드는 방향성을 따지는 알고리즘이 내재되어 있는데 이를 홀로그램에 적합한 변환과 양자화기를 고안하여 추가함으로써 홀로그램에 대한 압축 효율을 향상시키고자 하였다. 압축 과정에서 최적의 압축 방식을 결정하기 위해 홀로그램에 맞는 Rate-Distortion Optimized 방식을 사용하였다.
제안 방법
- 앞서 설명한 2가지 기능을 취합하여 JPEG2000 에 추가하였고, 영상의 특성에 따라서 이들을 선택할 수 있도록 하였다. DA-DWT를 이용하여 DWPT 방식으로 변환된 홀로그램은 EBCOT를 이용하여 실제 압축을 수행한다. 그러나 DA-DWT 기반의 DWPT 구조가 표준 JPEG2000의 EBCOT 에 최적화된 것은 아니기 때문에 코덱 전체가 최적 화된 형태라고 보기는 어렵다.
- 대부분의 논문들[25][26][28]에서는 홀로그램을 압축하는데 JPEG을 그대로 이용하였으나 [32]에서는 JPEG의 내부구조를 홀로그램에 맞게 수정한 후에 압축을 시도한다. 먼저 DCT를 이용하여 홀로그램을 주파수로 변환하고, DCT 영역에서 홀로그램의 일차항을 제거하기 위해 Making 을 수행한다. 이 Masking이 [32]의 핵심 기법인데 일차항이 포함되지 않은, 생성된 홀로그램의 경우에는 무의미하다.
- 본 장에서는 홀로그램의 압축과 관련하여 지금까지 소개되었던 연구들 중에서 몇 가지 주요한 기술들에 대해 좀 더 상세히 소개함으로써 다양한 기법 들이 홀로그램 압축에 기여하는 정도와 각 기술들 간의 비교 분석을 시도한다.
- [12]의 연구에서는 홀로그램의 압축을 위해서 JPEG2000 코덱을 일부 수정하여 확장된 버전의 코덱을 제안하였다. 수정된 부분은 DWT를 수행하는 부분으로, 원래의 DWT에서 부대역의 구조가 다양한 방법으로 생성될 수 있도록 수정하였고, 다양한 방향성을 갖는 필터를 이용하여 영상을 분해하는 방식으로 필터링을 수정하였다. 이때 다양한 방향성에 대한 웨이블릿 변환은 DA(Directional Adaptive)-DWT[20]를 사용하였다.
- 전자의 경우에 압축율과 GOP의 크기를 조절하면서 몇 가지 홀로그램(Stormtrooper, Dice, Cat, Screws)에 대한 압축을 수행하였다. 압축율은 1에서 20:1까지 조절하면서 실험하였고, GOP는 1, 2, 5, 및 7로 조절하였다. 실험 결과를 살펴보면 GOP가 1인 경우 즉, Intra 모드보다 Inter 모드가 더 좋은 결과를 나타낸다는 것을 알 수 있다.
- [25]의 논문에서는 <표 1>과 같이 테스트 영상으로 INTERFERE-I dataset을 사용하고 있다. 압축율을 측정하는 방법으로 bpp를 사용하고 있고, 0.125, 0.25, 0.5 및 1의 4가지 조건으로 압축을 하였다.
- 앞서 설명한 2가지 기능을 취합하여 JPEG2000 에 추가하였고, 영상의 특성에 따라서 이들을 선택할 수 있도록 하였다. DA-DWT를 이용하여 DWPT 방식으로 변환된 홀로그램은 EBCOT를 이용하여 실제 압축을 수행한다.
- 웨이블릿 변환을 이용한 압축 방식이 디지털 홀로그램에 잘 적용되기 때문에 이전에 많은 연구들이 웨이블릿 변환을 이용하여 디지털 홀로그램을 압축하고자 시도하였다. 이 연구는 이러한 연구 줄기의 하나로써 웨이블릿 변환을 기반으로 하는 JPEG2000에 홀로그램의 특성을 반영할 수 있는 알고리즘을 부가하여 JPEG2000 코덱을 확장하였다[12]. 먼저 디지털 홀로그램의 주파수 특성은 일반적인 2차원 영상과 매우 상이한 형태로 나타나 고, 2차원 영상과 다른 주파수 성분을 갖는다.
- 홀로그램의 방향성에 대한 특성을 HEVC에 적용한 연구도 수행되었다 [89]. 이 연구에서는 HEVC의 인트라 예측 모드에 방향성을 고려한 연산이 가능한 알고리즘을 삽입하였다. 원래 HEVC Intra 모드는 방향성을 따지는 알고리즘이 내재되어 있는데 이를 홀로그램에 적합한 변환과 양자화기를 고안하여 추가함으로써 홀로그램에 대한 압축 효율을 향상시키고자 하였다.
- 첫 번째는 홀로그램 비디오의 압축을 위해 사용한 경우이고[46], 두 번째는 한 장의 홀로 그램을 비디오와 같이 변형한 후에 압축을 한 경우이 다[21][22][23]. 전자의 경우에 압축율과 GOP의 크기를 조절하면서 몇 가지 홀로그램(Stormtrooper, Dice, Cat, Screws)에 대한 압축을 수행하였다. 압축율은 1에서 20:1까지 조절하면서 실험하였고, GOP는 1, 2, 5, 및 7로 조절하였다.
대상 데이터
- [26]의 연구에서 테스트 데이터는 3D Multi (1,920×1,080)와 Bunny (512×512)이고, 실험에 사용한 코덱은 JPEG, JPEG2000, H.264/ AVC Intra와 HEVC Intra이다.
데이터처리
- 입력 홀로그램에 따라서 결과는 좀 차이가 있는 데, 0.5bpp를 기준으로 앞서 설명한 논문과 비교를 위해서 3D multi-dice의 결과와 비교한다. 특이하게 3D cat의 경우에 HEVC로 압축을 하지 않아서 결과에서 제외시킨다.
이론/모형
- 즉, 두시점의 영상에 대한 문제를 두 위상의 홀로그램에 대한 위상으로 옮겨 놓은 것으로 생각할 수 있다. VLS를 통해서 출력된 저주파와 고주파 성분의 두홀로그램은 JPEG2000을 이용하여 압축을 수행한다. 전체적인 구조를 따져보면 VLS는 JPEG2000을 위한 전처리의 역할을 수행하는 것으로 고려할 수 있다.
- 즉, 홀로그램의 다양한 구조적 형태를 분해하고 해석하기 위해 <그림 1>과 같이 방향성을 고려할 수 있는 변환 도구를 사용해야 한다. 본 연구에서는 이를 위해 DA-DWT를 채택하여 디지털 홀로그램의 공간 특성을 해석하는데 이용하였다[20].
- 원래 HEVC Intra 모드는 방향성을 따지는 알고리즘이 내재되어 있는데 이를 홀로그램에 적합한 변환과 양자화기를 고안하여 추가함으로써 홀로그램에 대한 압축 효율을 향상시키고자 하였다. 압축 과정에서 최적의 압축 방식을 결정하기 위해 홀로그램에 맞는 Rate-Distortion Optimized 방식을 사용하였다. 그러나 결론적으로 압축 효율은 HEVC Intra와 거의 유사한 특성을 보였다.
- 수정된 부분은 DWT를 수행하는 부분으로, 원래의 DWT에서 부대역의 구조가 다양한 방법으로 생성될 수 있도록 수정하였고, 다양한 방향성을 갖는 필터를 이용하여 영상을 분해하는 방식으로 필터링을 수정하였다. 이때 다양한 방향성에 대한 웨이블릿 변환은 DA(Directional Adaptive)-DWT[20]를 사용하였다. [12]에서 연구 결과를 살펴보면 원래의 JPEG2000 코덱에 비해서 일부 성능이 개선되는 것을 확인할 수 있고, [13]논문에서 제안된 Vector Lifting Scheme(VLS) 방식과 유사한 성능을 나타내었다.
성능/효과
- 압축 과정에서 최적의 압축 방식을 결정하기 위해 홀로그램에 맞는 Rate-Distortion Optimized 방식을 사용하였다. 그러나 결론적으로 압축 효율은 HEVC Intra와 거의 유사한 특성을 나타냈다. HEVC의 Intra 예측만을 개선하여 압축 효율을 높이고자 하였으나, HEVC는 내장된 전체 알고리즘들이 전체적으로 최적화 과정을 거쳤기 때문에 특정 부분을 수정하였다면 그때부터 이미 그 부분을 제외한 나머지 다른 부분들은 수정된 부분에 대해 최적화된 것이 아닌 형태로 볼 수 있다.
- 압축 과정에서 최적의 압축 방식을 결정하기 위해 홀로그램에 맞는 Rate-Distortion Optimized 방식을 사용하였다. 그러나 결론적으로 압축 효율은 HEVC Intra와 거의 유사한 특성을 보였다.
- 연구 결과를 살펴보면 NSTD (Normalized Standard Deviation)를 이용하여 원래의 객체와 복원된 객체를 비교하였는데, 낮은 양자화 비트를 할당한 경우(고압축)에서는 균일 양자 화기가 좋은 성능을 보이고, 높은 양자화 비트를 할당한 경우(저압축)에서는 K-medians Clustering 방식이 좋은 성능을 보였다. 그러나 그 차이는 매우 작은 수준인데, 전체적으로는 K-means Clustering 방식이 모든 양자화 비트에 대해서 낮은 성능을 보였다. 이러한 연구 결과를 통해서 살펴보면, 연산량이 높고 알고리즘이 복잡한 벡터 양자화 기가 반드시 홀로그램의 양자화에 좋은 성능을 보이지 않는다는 것이다.
- [10]의 연구결과를 살펴보면 DCT 및 DWT를 이용한 방식의 압축보다 낮은 에러율을 보이고 있다. 다양한 웨이블릿 필터를 이용하여 제안한 알고리즘을 적용하였으나 특정 필터가 모든 경우에 대해 우수한 결과를 보이는 경향성은 나타나지 않았다.
- 두 구조는 매우 유사한 구조를 가지고 있는데 먼저 첫 번째 위상 성분에 의한 홀로그램의 처리는 동일하다. 두 번째 위상 성분에 의한 홀로그램을 연산하는 방법에 있어서 예측 혹은 업데이트 연산방법이 다르다. 그러나 결국 두 방식 모두 첫 번째 위상에 의한 홀로그램을 두 번째 위상에 의한 홀로그램을 예측하는데 사용한다는 점은 동일하다.
- 압축율은 1에서 20:1까지 조절하면서 실험하였고, GOP는 1, 2, 5, 및 7로 조절하였다. 실험 결과를 살펴보면 GOP가 1인 경우 즉, Intra 모드보다 Inter 모드가 더 좋은 결과를 나타낸다는 것을 알 수 있다. 이를 통해 홀로그램 비디오도 시간적으로 상관성이 있다는 것을 알 수 있다.
- Masking 이후에 양자화를 수행하고 허프만 코딩을 거쳐서 홀로그램을 위한 JPEG 비트 스트림을 생성한다. 실험결과를 살펴보면 동일한 압축 조건에서 일반적인 JPEG에 비해서 약 6% 가량의 성능향상을 볼 수 있었다. 뿐만 아니라 일반적인 JPEG 디코더와 완벽히 호환되기 때문에 유용성이 높은 코덱으로 볼 수 있다.
- 이들 쌍은 같은 정보를 표시하지만 다른 특성을 보이므로 압축에 대한 효과도 상이할 가능성은 존재한다. 연구 결과를 살펴보면 AM/PH 쌍의 경우에 홀로그램의 압축 효과는 거의 미미하고, RE/IM의 쌍의 경우에는 약 3:1~4:1의 압축율을 나타내었다. 모든 경우에 BW가 가장 좋은 특성을 보인다[1].
- 가장 최근에 수행된 연구 결과를 살펴보면 아래와 같은 양자화 기가 사용되었다[9]. 연구 결과를 살펴보면 NSTD (Normalized Standard Deviation)를 이용하여 원래의 객체와 복원된 객체를 비교하였는데, 낮은 양자화 비트를 할당한 경우(고압축)에서는 균일 양자 화기가 좋은 성능을 보이고, 높은 양자화 비트를 할당한 경우(저압축)에서는 K-medians Clustering 방식이 좋은 성능을 보였다. 그러나 그 차이는 매우 작은 수준인데, 전체적으로는 K-means Clustering 방식이 모든 양자화 비트에 대해서 낮은 성능을 보였다.
- 그러나 최근 JPEG에서 홀로그램에 대한 표준 코덱을 만들기 위해 다양한 데이터 세트를 공개하고 있는데, 이들에 대한 다양한 resampling 연구는 반드시 필요할 것이다. 연구 결과를 살펴보면 평균적으로 bilinear 보간을 사용한 경우가 가장 좋은 결과를 보였고, 다음으로 bicubic 보간, 마지막으로 nearest neighbor 보간 방식의 순서로 결과가 나타났다[1].
- 이러한 결과를 <그림 7>(b)에 나타냈다. 이 결과를 살펴보면 단지 필터 탭수가 크다고 해서 성능이 향상되는 것은 아니고 적절한 탭수의 필터를 사용해야지 최적의 성능을 보인다는 것을 확인할 수 있다. 이 실험에서는 (20,2)가 가장 우수한 성능을 보이고 있다.
- 단지 예측 및 업데이트에 이용되는 인접 화소가 1차원이 아닌 2차원 좌표로 이루어져 있다는 것이 차이점이다. 이러한 2차원의 인접 화소를 참조하여 예측을 수행함으로써 예측의 정확도를 높일 수 있었다. 그러나 <그림 7>(a)의 실험 결과를 살펴보면 압축 효율은 약 0.
- 그러나 그 차이는 매우 작은 수준인데, 전체적으로는 K-means Clustering 방식이 모든 양자화 비트에 대해서 낮은 성능을 보였다. 이러한 연구 결과를 통해서 살펴보면, 연산량이 높고 알고리즘이 복잡한 벡터 양자화 기가 반드시 홀로그램의 양자화에 좋은 성능을 보이지 않는다는 것이다. 연산량과 성능을 고려 하면 균일 양자화기가 가장 좋은 성능을 나타내는 것을 알 수 있다.
후속연구
- 고전적 형태의 resampling 연구는 이전에 주로 수행되었고[1], 압축율이 낮기 때문에 최근에는 거의 연구결과가 발표되지 않고 있다. 그러나 최근 JPEG에서 홀로그램에 대한 표준 코덱을 만들기 위해 다양한 데이터 세트를 공개하고 있는데, 이들에 대한 다양한 resampling 연구는 반드시 필요할 것이다. 연구 결과를 살펴보면 평균적으로 bilinear 보간을 사용한 경우가 가장 좋은 결과를 보였고, 다음으로 bicubic 보간, 마지막으로 nearest neighbor 보간 방식의 순서로 결과가 나타났다[1].
- Separable 방식은 두 홀로그램 사이에 예측을 위해 1차원 정보만을 이용하고 있다. 만일 예측을 할때 2차원 형태의 더 많은 정보를 활용한다면 조금 더 정확한 예측을 통해서 중복성을 효율적으로 제거할수 있을 것이다. 이러한 개념으로 나온 것이 nonseparable 방식이고, <그림 7>에 구조를 나타냈다 [13].
- 그러나 만일 압축으로 인해 발생한 오차가 시각적으로 영향을 주지 않는 범위에 있고, 특정한 거리 에서 발생한 오차로 인해 다른 거리에서의 복원에 영향을 미치지 않는다면 이 방식은 매우 효율적인 방식이라 할 수 있다. 이러한 논의에 대한 연구는 아직 되고 있지 않기 때문에 추후 복원 영역에서의 압축에 대한 다양한 실험과 검증 과정이 필요할 것으로 보인다. 복원 영역에서의 압축을 시도한 가장 대표적인 연구는 프레넬릿 기반의 압축 방법이다 [15][28].
- DA-DWT를 기반으로하여 JPEG2000 코덱을 확장한 연구[12]에서 홀로그램을 압축하기 위해서 방향성을 고려한 주파수 변환 도구를 사용하는 것이 성능이 우수하다는 특성을 보였다. 이와 같은 연구 결과에 기초하여 HEVC의 변환 도구에도 방향성에 대한 특성을 부여할 수 있다면 더욱 좋은 홀로 그램 코덱을 만들 수 있을 것이라는 아이디어가 본연구의 시작이다[26]. JPEG2000과 HEVC Intra를 이용하여 홀로그램을 압축할 경우에 HEVC Intra 가 더 우수한 성능을 나타내기 때문에 JPEG2000 에서 방향성을 고려한 변환으로 이득을 보인 것만큼 HEVC Intra에서도 그 만큼의 이득을 보일 수있을 것이라는 예측에 기반한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.