선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
-
방송용 콘텐츠와 같은 비디오 콘텐츠의 저작권 보호를 위한 워터마크 은닉 기술은 실시간으로 진행되어야 한다. 본 논문에서는 실시간 워터마크 삽입을 위하여 하드웨어
기반의 칩과 시스템을 구현하고 이를 위한 최적화된 알고 리듬을 제안한다. 하드웨어 기반의 실시간 칩 및 시스템 구현에는 하드웨어 기반에 맞도록 계산 복잡도를 줄일 수 있는 알고리듬을 필요로한다. - 일반적으로 워터마크 강도 계산은 영상의 다양한 특징을 이용하여 시각적으로 민감도가 떨어지는 부분에는 강도를 높이고 그렇지 않은 부분은 강도를 낮추도록 한다. 본 논문에서는 영상의 특성에 따른 적응적인 워터마크 강도를 만들기 위해서 영상의 국부영역의 분산 값으로 질감정보를 구한 후 양자화 하여 워터마크 강도를 구하였다. 우선 영상의 질감정보를 구하기 전에 전처리 필터를 사용한다.
- 본 논문에서는 저작권 보호가 가능한 정보를 HD/SD 비디오 신호에 은닉 할 수 있는 워터마킹 기법을 실시간으로 처리할 수 있도록 칩과 시스템을 설계 구현하였다. HD방송과 같은 고화질 비디오에 워터마크를 실시간 삽입할 경우 PC환경에서의 소프트웨어적 프로그래밍 방법으로 구현 할 경우 높은 하드웨어 성능이 요구되어 실용화가 어려운 실정에 있다.
- HD방송과 같은 고화질 비디오에 워터마크를 실시간 삽입할 경우 PC환경에서의 소프트웨어적 프로그래밍 방법으로 구현 할 경우 높은 하드웨어 성능이 요구되어 실용화가 어려운 실정에 있다. 이에 본 연구에서는, 전용 하드웨어 시스템을 이용하여 이러한 문제를 해결하였다. 구현한 칩은 ALTERA사의 STRATIX칩을 사용하여 하드웨어에 최적화된 워터마크 삽입 알고리듬 방법을 이용하여 구현하였고, 시스템은 HD/SD 비디오 신호 처리를 위하여 GENNUM사의 GS1560A와 GS1532를 사용하여 구현하였다.
제안 방법
- GINNUM사의 GS15360A와 GS1532 디바이스는 SD급 및 HD급의 신호에 대한 신호 변환이 가능하여 HD급 실시간 시스템을 만드는데 적당한 디바이스이다. FPGA의 Clock과 Reset은 입력으로 들어 오는 비디오 신호의 데이터와 동기화 하기 위하여 GS1560A의 Clock과 Reset을 사용하고, FPGA에서 처리가 완료된 비디오 데이터를 출력하여 GS1532 디바이스의 입력으로 전달 할 경우 역시 GS1560A의 Clock과 Reset을 사용하여 동기화 하였다.
- VHDL로 모델링된 워터마크 삽입 알고리듬을 ALTER사의 FPGA중 STRATIX에 구현하여 원영상과 워터마크 삽입된 영상을 시각적으로 비교하였다.
- 구현한 칩은 ALTERA사의 STRATIX칩을 사용하여 하드웨어에 최적화된 워터마크 삽입 알고리듬 방법을 이용하여 구현하였고, 시스템은 HD/SD 비디오 신호 처리를 위하여 GENNUM사의 GS1560A와 GS1532를 사용하여 구현하였다. 구현된 하드웨어의 테스트를 위하여 두 개의 LCD 모니터에 한쪽은 워터마크를 삽입하고 다른 한쪽은 원 비디오를 나타내도록 하였다. 두 모니터를 30cm정도의 가까운 거리에서 인간의 시각을 통하여 관찰한 결과 두 비디오간의 화질차이는 거의 느낄 수 없었다.
- 이에 본 연구에서는, 전용 하드웨어 시스템을 이용하여 이러한 문제를 해결하였다. 구현한 칩은 ALTERA사의 STRATIX칩을 사용하여 하드웨어에 최적화된 워터마크 삽입 알고리듬 방법을 이용하여 구현하였고, 시스템은 HD/SD 비디오 신호 처리를 위하여 GENNUM사의 GS1560A와 GS1532를 사용하여 구현하였다. 구현된 하드웨어의 테스트를 위하여 두 개의 LCD 모니터에 한쪽은 워터마크를 삽입하고 다른 한쪽은 원 비디오를 나타내도록 하였다.
- 우선 영상의 질감정보를 구하기 전에 전처리 필터를 사용한다. 국부영역의 분산 값만을 이용하여 워터마크 삽입 강도를 결정할 경우엔 비가시성과 강인성의 상관관계를 적절하게 맞추기 어려우므로 전처리 필터를 통하여 대략적인 영역을 추출하였다. 추출 되어진 영상에서 국부영역의 분산 값들을 구한 후 양자화 하여 소수의 양자화 값이 아닌 정수의 양자화 인덱스 값을 얻었다.
- 워터마크 메시지를 만들기 위한 입력 메시지는 저작권 정보이다. 또한 저작권 보호에 필요한 정보를 식 (2)와 같은 이진 신호로 만들기는 어렵기 때문에, 본 논문에서는 텍스트를 사용하여 저작권 정보를 포함 할 수 있는 메시지를 만들었다. 식 (2)와 같이 워터마크 메시지를 메시지와 의사 랜덤 신호와의 곱을 통하여 워터마크를 생성하면 곱연산에 의한 계산 복잡도가 증가하게 되므로 메시지로 사용되는 텍스트 정보를 ASCII로 변환하고 그 결과와 의사랜덤신호와의 단순 사상을 통하여 워터마크 메시지를 만들게 된다.
- 두 번째, 메시지를 워터마크로 변환 할 때 곱셈과 나눗셈을 배제하고 단순 사상방법을 사용하여 계산량을 줄였다. 마지막으로, 워터마크 삽입되는 위치에 따라서 워터마크 강도가 조정되어야 하는데 일반적으로 복잡한 계산을 통하여 해당 위치에 대한 강도 크기를 소수점 단위로 계산하게 되지만, 본 논문에서는 공간영역의 지역적 분산과 HVS(human visual system)를 이용하여 정수형으로 워터마크 강도 크기를 결정한다. 또한 화질 열화와 워터마크 강도 개선을 위하여 영상의 특징을 이용한 단계별 워터마크를 삽입하여 시각적으로 민감할 수 있는 부분에는 워터마크를 약하게 은닉하고 그렇지 않은 부분을 6단계로 나누어 워터마크를 은닉하여 화질열화를 최소화하고, 워터마크 검출률을 높이기 위하여 대역확산기법(spread spectrum manner)을 사용하였다[10-11].
- 본 논문에서는 공간영역에서 비가시성과 강인성을 가지는 워터마킹 삽입 알고리듬을 하드웨어 구조에 맞게 설계하고 FPGA를 이용하여 전체 시스템을 구현한다. 구현한 시스템은 워터마크 삽입 전용시스템으로 고화질의 비디오에 실시간 삽입이 가능하며 워터마크 삽입된 영상과 원본 영상의 실시간 비교가 가능한 실시간 워터마크 삽입 시스템이다.
- CSF의 출력 신호는 워터마크 강도 생성부의 입력에 연결된다. 워터마크 강도 생성부는 영상의 국부적인 특성을 이용하게 되는데 저주파 성분과 고주파 성분이 확실하게 구분되는 영상에서 각 화소의 분산 값을 계산하여 주변 보다 고주파 성분이 큰 화소에는 높은 강도를 생성하고 저주파 성분이 큰 화소에는 낮은 강도를 생성하도록 하였다. 워터마크 생성부에서는 저작권정보를 텍스트형태로 만들어 입력메시지로 사용하고 하다마드 행렬은 ROM(read only memory)형태로 FPGA에 구현한다.
- 워터마크 메시지와 영상의 국부적인 질감 특성을 이용하여 만든 워터마크 강도를 곱하여 워터마크를 만든다. 워터마크 메시지는 TRS신호 수평, 수직 동기 신호를 이용하여 실제 모니터에 재생되는 화면의 화소에만 더해지도록 구현하였다.
- FPGA의 입력 비디오 데이터는 20bit의 PDI데이터로서 Y와 C는 각각 10bit의 데이터 선으로 나누어져있다. 워터마크 삽입 시스템내부에 마이크로 컨트롤러를 장착하여 워터마크 삽입에 대한 제어를 하도록 하였다. 현재 보이는 화면에 워터마크가 삽입되어 있다면, 시스템에 장착되어 있는 LCD를 통하여 워터마크가 삽입되어 있다는 메시지를 보여주고, 그렇지 않고 원신호가 바이패스로 재생되고 있다면, LCD에는 워터마크가 삽입되어 있지 않다는 메시지를 출력할 수 있게 구현하였다.
- 워터마크 삽입 시스템을 구현하기 위하여 HD급의 고화질 비디오 신호에 대하여 고려하였다. 워터마크 삽입 시스템의 블록도를 구성하면 그림 5와 같다.
-
TRS를 제외한 Y성분에 워터마크를 삽입하는 이유는 입력되는 전체 비디오 신호에 워터마크를 삽입할 경우 동기신호를 잃어 버려 재생이 되지 않는 문제점이 있기 때문이다. 워터마크 삽입 알고리듬을
FPGA로 구현하기 위하여 전체 구성을 전처리부(CSF), 워터마크 강도 생성부(generate watermark strength), 워터마크 생성부(watermark generator) 그리고 워터마크 삽입부(watermark insert)로 나누어서 구현하였다. 그림 2에서 FPGA로 입력되는 신호는 고주파 통과 여과기인 CSF에 의해서 여과되는데, 이는 원 비디오 신호에서 에지를 검출하기 위하여 사용한다. - 그림 2는 워터마크 삽입 알고리듬의 FPGA 구현에 대한 흐름을 도식화 하였다. 워터마크 삽입 칩은 ALTERA사의 FPGA인 STRATIX를 사용하여 구현하였다. FPGA에 입력되는 비디오 신호는 ANSI/SMPTE 125M 표준화 문서에 정의된 병렬형태의 YCbCr신호이다[13].
- 워터마크의 강도는 국부영역의 분산 값 크기에 따라서 6단계로 조정되도록 설계하였다. 워터마크에 사용된 메시지는 텍스트의 형태의 26자로 구성하였으며, 각 프레임 별로 삽입하고 같은 메시지를 반복적으로 삽입하였다.
- 대역확산에 사용되는 랜덤신호는 하다마드 시퀀스를 사용하였고, 그 크기는 256×256이다. 워터마크의 강도는 국부영역의 분산 값 크기에 따라서 6단계로 조정되도록 설계하였다. 워터마크에 사용된 메시지는 텍스트의 형태의 26자로 구성하였으며, 각 프레임 별로 삽입하고 같은 메시지를 반복적으로 삽입하였다.
- 그림 6은 워터마크 삽입 시스템의 전체 구성도를 나타낸 것이다. 워터마킹 시스템은 두 대의 LCD 모니터, SDI 비디오 변환기, 워터마크 삽입기, 비디오 소스로 사용되는 DVD 재생기로 구성하였다. 워터마크가 삽입 될 원 비디오 신호는 DVD 재생기에서 나오는 신호를 사용하였다.
- 워터마크가 삽입된 신호는 SDI 변환기를 거쳐서 다시 YPbP 신호로 변환되어 모니터에 재생되게 된다. 이렇게 워터마크가 삽입된 비디오와 원 비디오를 비교하기 위하여 DVD의 원 비디오 신호를 바로 모니터에 재생하도록 하였다.
- 하드웨어 기반의 실시간 칩 및 시스템 구현에는 하드웨어 기반에 맞도록 계산 복잡도를 줄일 수 있는 알고리듬을 필요로한다. 이를 위하여 본 논문에서는 세가지 방법을 사용하였다.
- YCbCr은 Y와 C의 두 개의 신호선으로 프레임, 필드를 구별하고 수평과 수직을 구분 할 수 있는 제어 신호인 TRS(Time Reference Signal)가 포함되어 있다. 입력 비디오 신호의 Y와 C 데이터에서 TRS신호를 제외한 데이터가 실제 모니터에 재생되고, 모니터에 재생되는 부분의 Y성분에 워터마크를 삽입하였다. TRS를 제외한 Y성분에 워터마크를 삽입하는 이유는 입력되는 전체 비디오 신호에 워터마크를 삽입할 경우 동기신호를 잃어 버려 재생이 되지 않는 문제점이 있기 때문이다.
- 두 모니터중 한쪽에는 워터마크가 삽입된 비디오를 재생하고, 다른 한쪽은 워터마크가 삽입되지 않은 원 비디오를 재생하게 한다. 주관적 화질 비교 실험을 위하여 피실험인이 두 대의 모니터를 번갈아 보면서 모니터에 재생되는 화면의 이상 유무를 살펴보게 하였다. 실험 결과 두 모니터에 재생되는 화면의 시간차이를 전혀 느낄 수 없는 실시간 워터마킹이 구현되었음을 확인 할 수 있었고, 모니터에서 30cm, 70cm, 1m, 2m의 거리를 두고 워터마크 삽입 정도에 대한 의견에 대한 결과는 70cm, 1m, 2m정도의 거리에서는 시각적으로 인지 할 수 없는 정도였고, 30cm에서도 시각적으로 거의 인지할 수 없을 정도였다.
- 첫 번째, 주파수변환과 같은 계산 복잡도가 높은 방법 대신 비디오 신호의 공간영역에 워터마크를 삽입하는 알고리듬을 사용한다. 두 번째, 메시지를 워터마크로 변환 할 때 곱셈과 나눗셈을 배제하고 단순 사상방법을 사용하여 계산량을 줄였다.
- 국부영역의 분산 값만을 이용하여 워터마크 삽입 강도를 결정할 경우엔 비가시성과 강인성의 상관관계를 적절하게 맞추기 어려우므로 전처리 필터를 통하여 대략적인 영역을 추출하였다. 추출 되어진 영상에서 국부영역의 분산 값들을 구한 후 양자화 하여 소수의 양자화 값이 아닌 정수의 양자화 인덱스 값을 얻었다. 이 인덱스 값이 워터마크 강도이다.
- 워터마크 삽입 시스템내부에 마이크로 컨트롤러를 장착하여 워터마크 삽입에 대한 제어를 하도록 하였다. 현재 보이는 화면에 워터마크가 삽입되어 있다면, 시스템에 장착되어 있는 LCD를 통하여 워터마크가 삽입되어 있다는 메시지를 보여주고, 그렇지 않고 원신호가 바이패스로 재생되고 있다면, LCD에는 워터마크가 삽입되어 있지 않다는 메시지를 출력할 수 있게 구현하였다. 이렇게 함으로써 피실험자가 워터마크 삽입에 대한 비가시성 테스트를 원활히 할 수 있도록 하였다.
대상 데이터
- 대역확산에 사용되는 랜덤신호는 하다마드 시퀀스를 사용하였고, 그 크기는 256×256이다.
- HD/SD 비디오 소스는 SDI 형태의 신호로 입력되지만, FPGA에서 비디오 신호처리를 위하여 PDI(parallel digital interface)신호 형태로 변환하여 사용한다. 비디오 신호를 PDI 형태의 신호로 변환하여 FPGA의 입력으로 전달할 수 있도록 GINNUM사의 GS1560A 디바이스를 사용하였고, 워터마킹 처리가 완료된 PDI신호를 SDI신호로 만들어 출력하기 위하여 GS1532 디바이스를 사용하였다. GINNUM사의 GS15360A와 GS1532 디바이스는 SD급 및 HD급의 신호에 대한 신호 변환이 가능하여 HD급 실시간 시스템을 만드는데 적당한 디바이스이다.
- 표 1은 5명으로 구성된 일반 성인을 대상으로 일정한 거리에서 시각 테스트한 결과를 나타내었다. 실험방법은 그림 7에서와 같이 두 대의 17인치 LCD 모니터를 이용하였다. 두 모니터중 한쪽에는 워터마크가 삽입된 비디오를 재생하고, 다른 한쪽은 워터마크가 삽입되지 않은 원 비디오를 재생하게 한다.
- 실험에 사용한 비디오 신호는 SD급 신호로 720×486의 크기를 가지고, FPGA로 입력되는 신호는 BPDI 형태의 20bit YCbCr이다.
데이터처리
- 그림 4는 Quartus II에서 워터마크 삽입 칩의 VHDL 코드에 대한 합성 결과를 RTL(Register Transfer Language) viewer로 본 결과를 나타내었다. 그림에서와 시뮬레이션 결과를 이용하여 합성은 잘되었고, 이를 이용하여 Altera사의 STRATIX칩에 프로그래밍하여 구현하였다.
이론/모형
- 마지막으로, 워터마크 삽입되는 위치에 따라서 워터마크 강도가 조정되어야 하는데 일반적으로 복잡한 계산을 통하여 해당 위치에 대한 강도 크기를 소수점 단위로 계산하게 되지만, 본 논문에서는 공간영역의 지역적 분산과 HVS(human visual system)를 이용하여 정수형으로 워터마크 강도 크기를 결정한다. 또한 화질 열화와 워터마크 강도 개선을 위하여 영상의 특징을 이용한 단계별 워터마크를 삽입하여 시각적으로 민감할 수 있는 부분에는 워터마크를 약하게 은닉하고 그렇지 않은 부분을 6단계로 나누어 워터마크를 은닉하여 화질열화를 최소화하고, 워터마크 검출률을 높이기 위하여 대역확산기법(spread spectrum manner)을 사용하였다[10-11].
- 식 (2)와 같이 워터마크 메시지를 메시지와 의사 랜덤 신호와의 곱을 통하여 워터마크를 생성하면 곱연산에 의한 계산 복잡도가 증가하게 되므로 메시지로 사용되는 텍스트 정보를 ASCII로 변환하고 그 결과와 의사랜덤신호와의 단순 사상을 통하여 워터마크 메시지를 만들게 된다. 본 논문에서는 의사랜덤신호로 하다마드를 사용하였다. 하다마드 신호는 각 요소들이 이진인 1,-1로 구성되며 각 행과 각 열이 직교성(orthogonal)을 가지고 있으며, 하나의 심볼로 사용할 수 있다[12].
- 워터마크 삽입을 크게 두 부분으로 나누면 워터마크 메시지를 만드는 부분과 워터마크 강도를 계산하는 부분으로 나눌 수 있다. 워터마크 메시지를 만들기 위해 대역확산 기법을 사용하였다. 대역확산기법은 협대역 신호를 하나의 주파수 값에서 신호의 에너지가 인식되지 않을 정도로 확산시켜 큰 대역폭으로 전송하는 대역확산 통신에서 유래된 것으로, 워터마크 정보에 해당하는 신호의 에너지를 넓은 주파수 영역으로 확산시켜 잡음과 비슷한 상태로 영상 신호에 더하는 기법이다.
성능/효과
- 구현된 하드웨어의 테스트를 위하여 두 개의 LCD 모니터에 한쪽은 워터마크를 삽입하고 다른 한쪽은 원 비디오를 나타내도록 하였다. 두 모니터를 30cm정도의 가까운 거리에서 인간의 시각을 통하여 관찰한 결과 두 비디오간의 화질차이는 거의 느낄 수 없었다. 구현된 워터마크 삽입 시스템은 저작권 보호를 원하는 고화질의 동영상과 실시간 처리가 필요한 콘텐츠에 적용 될 수 있을 것이다.
- 첫 번째, 주파수변환과 같은 계산 복잡도가 높은 방법 대신 비디오 신호의 공간영역에 워터마크를 삽입하는 알고리듬을 사용한다. 두 번째, 메시지를 워터마크로 변환 할 때 곱셈과 나눗셈을 배제하고 단순 사상방법을 사용하여 계산량을 줄였다. 마지막으로, 워터마크 삽입되는 위치에 따라서 워터마크 강도가 조정되어야 하는데 일반적으로 복잡한 계산을 통하여 해당 위치에 대한 강도 크기를 소수점 단위로 계산하게 되지만, 본 논문에서는 공간영역의 지역적 분산과 HVS(human visual system)를 이용하여 정수형으로 워터마크 강도 크기를 결정한다.
- 영상에 삽입되는 워터마크의 크기는 워터마크 강도에 따라서 -6에서 +6까지의 차이를 가진다. 시뮬레이션 결과에서 79.15us근처의 ORGOUT와 WMOUT을 비교하면 ORGOUT은 값은 16진수 167을 가지고 WMOUT은 16진수 16D값을 가지며 그 차이는 6이다.
- 주관적 화질 비교 실험을 위하여 피실험인이 두 대의 모니터를 번갈아 보면서 모니터에 재생되는 화면의 이상 유무를 살펴보게 하였다. 실험 결과 두 모니터에 재생되는 화면의 시간차이를 전혀 느낄 수 없는 실시간 워터마킹이 구현되었음을 확인 할 수 있었고, 모니터에서 30cm, 70cm, 1m, 2m의 거리를 두고 워터마크 삽입 정도에 대한 의견에 대한 결과는 70cm, 1m, 2m정도의 거리에서는 시각적으로 인지 할 수 없는 정도였고, 30cm에서도 시각적으로 거의 인지할 수 없을 정도였다.
후속연구
- 두 모니터를 30cm정도의 가까운 거리에서 인간의 시각을 통하여 관찰한 결과 두 비디오간의 화질차이는 거의 느낄 수 없었다. 구현된 워터마크 삽입 시스템은 저작권 보호를 원하는 고화질의 동영상과 실시간 처리가 필요한 콘텐츠에 적용 될 수 있을 것이다. 제안하는 시스템은 방송용 콘텐츠의 저작권 보호를 위한 실시간 워터마크 삽입 알고리듬을 이용하여 구현하였으며, 향후에는 하드웨어 기반 실시간 워터마크 검출 시스템 개발에 관한 연구를 계속 진행할 예정이다.
- 구현된 워터마크 삽입 시스템은 저작권 보호를 원하는 고화질의 동영상과 실시간 처리가 필요한 콘텐츠에 적용 될 수 있을 것이다. 제안하는 시스템은 방송용 콘텐츠의 저작권 보호를 위한 실시간 워터마크 삽입 알고리듬을 이용하여 구현하였으며, 향후에는 하드웨어 기반 실시간 워터마크 검출 시스템 개발에 관한 연구를 계속 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.