선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 SDZHD 응용을 위한 고속 실시간 워터마킹이 가능한 하드웨어 시스템을 제안한다. 제안한 하드웨어 시스템은 ALTERA 사의 STRATIX FPGA 를 사용하여 구현하였다.
- 본 논문에서는 실시간 비디오 워터마킹 시스템을 제안하고 구현한다. 워터마크 삽입 칩은 ALTERA사의 FPGA인 STRATIX를 사용하여 구현하였고 검출기는 STRATK FPGA와 PCI제어기 그리고 소프트웨어 프로그램을 사용하여 구현하였다.
- 이런 특성으로 워터마크 삽입 반복횟수를 비약적으로 높여 검출효율을 개선할 수 있고, 하드웨어 구현하기에 간단한 구조적 특성을 가지게 된다. 본 논문에서는 영상의 특성에 따른 적응적인 워터마크 강도를 만들기 위해서 영상의 국부영역의 분산 값으로 질감정보를 구한 후 양자화 하여 워터마크 강도를 구하였다. 우선 영상의 질감 정보를 구하기 전에 전처리 필터를 사용한다, 국부 영역의 분산 값만을 이용하여 워터마크 삽입 강도를 결정할 경우엔 비가시성과 강인성의 상관관계를 적절하게 맞추기 어려우므로 전처리 필터를 통하여 대략적인 영역을 추출하였다.
- 식 (2)는 워터마크 삽입을 위한 강도 계산 방법이다. 본 논문에서는 하드웨어구현에서 필수적인 계산복잡도 간소화를 위하여 다음과 같은 방법을 제안한다.
제안 방법
- 사용하였다. DVD 재생기의 출력은 YPbH의 세 가지 신호 원으로 구성되어 있는데 이를 디지털 신호로 변환하기 위하여 ADZDA 변환기를 사용하였다. 변환된 신호는 SDK serial digital interface) 이며 YCbCr 로 표현된다.
- GINNM사의 GS15360A와 GS1532 디바이스는 SD급 및 HD급의 신호에 대한 신호 변환이 가능하여 HD급 실시간 시스템을 만드는데 적당한 디바이스이 다. FPGA의 Clock과 Resete 입 력으로 들어오는 비디오 신호의 데이터와 동기화 하기위하여 GS1560A의 Clock과 Reset을 사용하고, FPGA에서 처리가 완료된 비디오 데이터를 출력하여 GS1532 디바이스의 입력으로 전달 할 경우 역시 GS1560A의 Clock과 Reset을 사용하여 동기화 하였다.
- [그림 1]은 워터마크 삽입 알고리듬의 FPGA 구현에 대한 흐름을 도식화 하였다 워터마크 삽입 칩은 ALTERA사의 FPGA인 STRATIX를 사용하여 구현하였다. FPGA에 입력되는 비디오 신호는 ANSVSMPTE 125M 표준화 문서에 정의된 병렬형태의 YCbCr신호이다[16].
- 워터마크 메시지를 만들기 위한 입력 메시지는 저작권 정보이다. 또한 저작권 보호에 필요한 정보를 식 (2)와 같은 이진 신호로 만들기는 어렵기 때문에, 본 논문에서는 텍스트를 사용하여 저작권 정보를 포함 할 수 있는 메시지를 만들었다. 식 (2)와 같이 워터마크 메시지를 메시지와 의사랜덤 신호와의 곱을 통하여 워터마크를 생성하면 곱연산에 의한 계산 복잡도가 증가하게 되므로 메시지로 사용되는 텍스트 정보를 ASCH로 변환하고 그 결과와 의사 랜덤 신호와의 단순 사상을 통하여 워터마크 메시지를 만들게 된다.
- 마지막으로, 워터마크 삽입되는 위치에 따라서 워터마크 강도가 조정되어야 하는데 일반적으로 복잡한 계산을 통하여 해당 위치에 대한 강도 크기를 소수점 단위로 계산하게 되지만, 정수형으로 워터마크 강도 크기를 결정한다. 또한 화질 열화와 워터마크 강도 개선을 위하여 영상의 특징을 이용한 단계별 워터마크를 삽입하여 시각적으로 민감할 수 있는 부분에는 워터마크를 약하게 은닉하고 그렇지 않은 부분을 6단계로 나누어 워터마크를 은닉하여 화질열화를 최소화하였다.
- 변환된 신호는 SDK serial digital interface) 이며 YCbCr 로 표현된다. 본 논문에서 FPGA를 이용하여 구현된 삽입 칩은 YCbCr에서 Y신호에 워터마크를 삽입하고 그 결과를 DA(digital to analog)로 변환하여 LCD에 출력하게 된다. 또한 워 터마크 삽입 된 SDI 신호는 PCI 컨트롤러를 이용하여 캡쳐한 후 PC에서 워터마크 검출 할 수 있는 프로그램을 통하여 신호에 삽입된 워터마크를 검출하게 된다.
- 방법에 따라서 틀리게 된다. 본 논문에서는 워터마크 삽입시 삽입할 메시지를 아스키 코드화하여 의사 랜덤 함수인 하다마드 신호에 대역확산 하였다’ 그리고 대역확산된 신호는 영상의 국부적인 특성을 이용하여 만들어진 워터마크 강도와 곱한 후 원 비디오 신 호화 더하여 워터마크가 삽입된 신호로 만들어 진다. 여기서 원 신호원에 어떤 신호가 더해 진다는 것은 중첩의 원리에 따라서 워터마크 신호원에서 워터마크 신호를 뺄 수도 있게 된다는 의미가 된다.
- 본 논문에서는 영상의 특성에 따른 적응적인 워터마크 강도를 만들기 위해서 영상의 국부영역의 분산 값으로 질감정보를 구한 후 양자화 하여 워터마크 강도를 구하였다. 우선 영상의 질감 정보를 구하기 전에 전처리 필터를 사용한다, 국부 영역의 분산 값만을 이용하여 워터마크 삽입 강도를 결정할 경우엔 비가시성과 강인성의 상관관계를 적절하게 맞추기 어려우므로 전처리 필터를 통하여 대략적인 영역을 추출하였다. 추출 되어진 영상에서 국부영역의 분산 값들을 구한 후 양자화 하여 소수의 양자화 값이 아닌 정수의 양자화 인덱스 값을 얻었다.
- 제안한 하드웨어 시스템은 ALTERA 사의 STRATIX FPGA 를 사용하여 구현하였다. 워 터마킹 시스템은 본 논문에서 제안하는 하드웨어 기반에 최적화된 새로운 워터마킹 알고리즘을 기반으로 구현한다. 구현된 시스템은 비디오 내에서 어떤 선택된 프레임 비디오 메타 데이터와 같은 사용자 정보를 삽입할 수 있고, 워터마크가 삽입된 비디오의 어떤 프레임에서 삽입된 워터마크 정보를 검출 할 수 있다
- CSF의 출력 신호는 워터마크 강도 생성부의 입력에 연결된다. 워터마크 강도 생성부는 영상의 국부적인 특성을 이용하게 되는데 저주파 성분과 고주파 성분이 확실하게 구분되는 영상에서 각 화소의 분산 값을 계산하여주변 보다 고주파 성분이 큰 화소에는 높은 강도를 생성하고 저주파 성분이 큰 화소에는 낮은 강도를 생성하도록 하였다.
- 워터마크 메시지와 영상의 국부적인 질감 특성을 이용하여 만든 워터마크 강도를 곱하여 워터마크를 만든다. 워터마크 메시지는 TRS신호 수평, 수직 동기 신호를 이용하여 실제 모니터에 재생되는 화면의 화소에만 더해지도록 구현하였다.
- 워터마크 삽입 시스템을 구현하기 위하여 HD급의 고화질 비디오 신호에 대하여 고려하였다. HD/SD 비디오 소스는 SDI 형태의 신호로 입력되지만, FPGA에서 비디오 신호처리를 위하여 PDKparallel digital interface)신호 형태로 변환하여 사용한다.
- TRS를 제외한 Y성분에 워터마크를 삽입하는 이유는 입력되는 전체 비디오 신호에 워터마크를 삽입할 경우 동기신호를 잃어 버려 재생이 되지 않는 문제점이 있기 때문이다. 워터마크 삽입 알고리듬을 FPGA로 구현하기 위하여 전체 구성을 전처리부(CSF), 워 터 마크 강도 생성부(Generate Watermark Strength), 워터마크 생성부(Watermark Generator) 그리고 워터마크 삽입부(Waterrmrk Insert)로 나누어서 구현하였다. FPGA로 입력되는 신호는 고주파 통과 여과기인 CSF에 의해서 여과되는데, 이는 원 비디오 신호에서 에지를 검줄하기 위하여 사용한다.
- 워터마크 삽입된 영상의 화질을 비교하기 위하여 워터마크가 삽입된 비디오를 표현하기 위한 LCD와 워터마크가 삽입되지 않은 원본을 보여주기 위한 LCD 두 대를 사용하였고, 비디오 신호원은 SD급(720*480)의 신호를 발생 시킬 수 있는 DVD 재생기를 사용하였다. DVD 재생기의 출력은 YPbH의 세 가지 신호 원으로 구성되어 있는데 이를 디지털 신호로 변환하기 위하여 ADZDA 변환기를 사용하였다.
- 이와 같은 두 모니터에서 보이는 화질 차이를 비교하기 위한 실험을 하였다. 워터마크 시스템을 통하여 워터마크가 삽입된 비디오와 워터마크가 삽입되지 않은 원 비디오와의 차이를 실험하기 위하여 5명으로 구성된 일반 성인을 대상으로 일정 거리에서 시각테스트를 하였다.
- 그 결과 워터마크 삽입에 의한 약간의 인위적 잡음을 가졌고 삽입된 워터마크는 정확히 검출됨을 볼 수 있었다. 워터마킹 시스템에서 Kuttere} 제안한 알고리즘을 하드웨어 구현에 최적화하기 위하여 워터마크 강도 계산 부분과 워터마크 생성 부분을 각각 개선하였다. 제안한 하드웨어 워터마킹 시스템의 비가시성과 견고함은 실제 응용에 사용 가능하다.
- 원본 비디오에 삽입되어 있는 워터마크를 검출하기 위하여 본 논문에서 제안한 방법을 PC에 구현하였다. 검출 결과는 [그림 6]과 같다.
- YCbCre Y와 C의 두 개의 신호선으로 프레임, 필드를 구별하고 수평과 수직을 구분할 수 있는 제어 신호인 TRS(Time Reference Signal) 가 포함되어 있다. 입력 비디오 신호의 Y와 C 데이터에서 TRS신호를 제외한 데이터가 실제 모니터에 재생되고, 모니터에 재생되는 부분의 Y성분에 워터마크를 삽입하였다. TRS를 제외한 Y성분에 워터마크를 삽입하는 이유는 입력되는 전체 비디오 신호에 워터마크를 삽입할 경우 동기신호를 잃어 버려 재생이 되지 않는 문제점이 있기 때문이다.
- 워터마크 삽입 칩은 ALTERA사의 FPGA인 STRATIX를 사용하여 구현하였고 검출기는 STRATK FPGA와 PCI제어기 그리고 소프트웨어 프로그램을 사용하여 구현하였다. 제안한 실시간 워터마킹 시스템은 비디오의 공간영역에 워터마크를 삽입하였다. 그 결과 워터마크 삽입에 의한 약간의 인위적 잡음을 가졌고 삽입된 워터마크는 정확히 검출됨을 볼 수 있었다.
- 제안한 하드웨어 시스템은 ALTERA 사의 STRATIX FPGA 를 사용하여 구현하였다. 워 터마킹 시스템은 본 논문에서 제안하는 하드웨어 기반에 최적화된 새로운 워터마킹 알고리즘을 기반으로 구현한다.
- 주관적 화질 비교 실험을 위하여 피실험인이 두 대의 모니터를 번갈아 보면서 모니터에 재생되는 화면의 이상 유무를 살펴보게 하였다. 실험 결과 두 모니터에 재생되는 화면의 시간차이를 전혀 느낄 수 없는 실시간 워터마킹이 구현되었음을 확인할 수 있었고, 모니터에서 30cm, 70cm, Im, 2m의 거리를 두고 워터마크 삽입 정도에 대한 의견에 대한 결과는 70cm, 1m, 2m정도의 거리에서는 시각적으로 인지 할 수 없는 정도였고, 30cm에서도 시각적으로 거의 인지할 수 없을 정도였다.
- 첫 번째, 워터마크 강도 계산을 위하여 기존 방법은 로그 스케일과 자승의 조합으로 영상내 국부적인 특징을 추출하였지만, 로그스케일과 자승의 조합은 하드웨어 구현에서 계산 복잡도를 매우 크게 하기 때문에 영상 내 국부적인 특징을 얻기 위하여 지역 분산 값의 크기를 이용하였다. 두 번째, 메시지를 워터마크로 변환할 때 곱셈과 나눗셈을 배제하고 단순 사상방법을 사용하여 계산량을 줄였다.
- 우선 영상의 질감 정보를 구하기 전에 전처리 필터를 사용한다, 국부 영역의 분산 값만을 이용하여 워터마크 삽입 강도를 결정할 경우엔 비가시성과 강인성의 상관관계를 적절하게 맞추기 어려우므로 전처리 필터를 통하여 대략적인 영역을 추출하였다. 추출 되어진 영상에서 국부영역의 분산 값들을 구한 후 양자화 하여 소수의 양자화 값이 아닌 정수의 양자화 인덱스 값을 얻었다. 이 인덱스 값이 워 터마크 강도이다 이 방법을 사용하면 워 터마크 강도를 소수 값이 아닌 정수 값으로 구현하여 하드웨어적인 복잡도를 줄여 처리속도의 향상을 가져 올 수 있게 된다.
- K utter는 강인한 워터마크 삽입을 위하여 대역확산 기법과 같은 워터마크를 반복적으로 삽입하는 방법을 사용하였다. 하지만, 워터마크 강도가 소수점 단위이고, 복잡한 방법으로 삽입강도를 계산하였고, 의사 랜덤 신호를 이용하여 워터마크를 구현하였다. Kutter가 제안하는 워터마크 삽입 방법은 식 (1) 과 같다.
대상 데이터
- HD/SD 비디오 소스는 SDI 형태의 신호로 입력되지만, FPGA에서 비디오 신호처리를 위하여 PDKparallel digital interface)신호 형태로 변환하여 사용한다. 비디오 신호를 PDI 형태의 신호로 변환하여 FPGA의 입력으로 전달할 수 있도록 GINNUM사의 GS1560A 디바이스를 사용하였고, 워터마킹 처리가 완료된 PDL신호를 SDI 신호로 만들어 출력하기 위하여 GS1532 디바이스를 사용하였다. GINNM사의 GS15360A와 GS1532 디바이스는 SD급 및 HD급의 신호에 대한 신호 변환이 가능하여 HD급 실시간 시스템을 만드는데 적당한 디바이스이 다.
- [표 1] 은 소프트웨어로 워터마크 삽입 프로그램을 구현하여 100 프레임의 크기를 가지는 샘플 비디오에 대하여 테스트 한 결과이다. 테스트 환경은 펜티엄 듀어 코어 2.6GHz, Memory 4Byte이다. 실험 결과 100프레임을 재생하는데 소요되는 시간은 약 3.
데이터처리
- 구현한다. 워터마크 삽입 칩은 ALTERA사의 FPGA인 STRATIX를 사용하여 구현하였고 검출기는 STRATK FPGA와 PCI제어기 그리고 소프트웨어 프로그램을 사용하여 구현하였다. 제안한 실시간 워터마킹 시스템은 비디오의 공간영역에 워터마크를 삽입하였다.
- 위너 필터는 신호와 잡음을 효과적으로 분리 할 수 있는 필터로 워터마크가 삽입된 비디오에서 워터마크를 효율적으로 예측할 수 있는 장점이 있다. 워터마크를 예측하는 과정에서의 결과는 의사 랜덤 신호인 하다마드 신호와의 상관도를 계산한다. 하다마드 신호는 열과 열사이의 직교성이 매우 좋은 신호로 자기 상관도는 매우 높고 교차 상관은 매우 낮은 특징을 가진다.
이론/모형
- 강인한 워터마킹을 위하여 본 구현에서는 Kutter 등이 제안한 워터마킹 기법을 사용하였다[14]. K utter는 강인한 워터마크 삽입을 위하여 대역확산 기법과 같은 워터마크를 반복적으로 삽입하는 방법을 사용하였다.
- 식 (2)와 같이 워터마크 메시지를 메시지와 의사랜덤 신호와의 곱을 통하여 워터마크를 생성하면 곱연산에 의한 계산 복잡도가 증가하게 되므로 메시지로 사용되는 텍스트 정보를 ASCH로 변환하고 그 결과와 의사 랜덤 신호와의 단순 사상을 통하여 워터마크 메시지를 만들게 된다. 본 논문에서는 의사랜덤신호로 하다마드를 사용하였다. 하다마드 신호는 각 요소들이 이진인 1, -1 로 구성되며 각 행과 각 열이 직교성(orthogonal)을 가지고 있으며, 하나의 심볼로 사용할 수 있다[15].
- 나눌 수 있다. 워터마크 메시지를 만들기 위해 대역 확산 기법을 사용하였다. 워터마크 메시지를 만들기 위한 입력 메시지는 저작권 정보이다.
- 여기서 원 신호원에 어떤 신호가 더해 진다는 것은 중첩의 원리에 따라서 워터마크 신호원에서 워터마크 신호를 뺄 수도 있게 된다는 의미가 된다. 워터마크가 삽입된 비디오에서 워터마크를 검출하기 위하여 Kutter 가 제안한 식 (3)을 사용하였다. 이 알고리즘은 워터마크를 영상에 첨가된 잡음이라고 생각하고 먼저 원 영상과 잡음을 분리 한 다음 잡음과 변조.
성능/효과
- 제안한 실시간 워터마킹 시스템은 비디오의 공간영역에 워터마크를 삽입하였다. 그 결과 워터마크 삽입에 의한 약간의 인위적 잡음을 가졌고 삽입된 워터마크는 정확히 검출됨을 볼 수 있었다. 워터마킹 시스템에서 Kuttere} 제안한 알고리즘을 하드웨어 구현에 최적화하기 위하여 워터마크 강도 계산 부분과 워터마크 생성 부분을 각각 개선하였다.
- 이용하였다. 두 번째, 메시지를 워터마크로 변환할 때 곱셈과 나눗셈을 배제하고 단순 사상방법을 사용하여 계산량을 줄였다. 마지막으로, 워터마크 삽입되는 위치에 따라서 워터마크 강도가 조정되어야 하는데 일반적으로 복잡한 계산을 통하여 해당 위치에 대한 강도 크기를 소수점 단위로 계산하게 되지만, 정수형으로 워터마크 강도 크기를 결정한다.
- 검출 결과는 [그림 6]과 같다. 본 논문에서 제안한 방법과 구현에 의하여 삽입된 워터마크는 워터마크 검출 프로그램을 통하여 정확하게 검출 된 것을 볼 수 있다
- 영상에 삽입되는 워터마크의 크기는 워터마크 강도에 따라서 -6에서 +6까지의 차이를 가진다. 시뮬레이션 결과에서 79.15us 근처의 ORGOUT와 WMOCT을 비교하면 ORGOUTe 값은 16진수 167을 가지고 WMOUTe 16진수 16D값을 가지며 그 차이는 6이다.
- 6GHz, Memory 4Byte이다. 실험 결과 100프레임을 재생하는데 소요되는 시간은 약 3.3초이지만, 구현된 프로그램은 워터마크를 삽입하는데 평균 9.24초가 소요됨을 알 수 있고, 이는 실시간 처리가 되지 않고 있음을 보여주고 있다. 하드웨어 구현에서는 지역 분산을 구하기 위한 라인 버퍼에 지연 시간만이 존재하고, 소수 연산에 필요한 비트를 제거하였기 때문에 곱셈기, 덧셈기의 수가 절반으로 줄어 상대적인 계산 감소가 있었고, 비디오 재생 중 워터마크를 실시간으로 삽입할 수 있었다
- 주관적 화질 비교 실험을 위하여 피실험인이 두 대의 모니터를 번갈아 보면서 모니터에 재생되는 화면의 이상 유무를 살펴보게 하였다. 실험 결과 두 모니터에 재생되는 화면의 시간차이를 전혀 느낄 수 없는 실시간 워터마킹이 구현되었음을 확인할 수 있었고, 모니터에서 30cm, 70cm, Im, 2m의 거리를 두고 워터마크 삽입 정도에 대한 의견에 대한 결과는 70cm, 1m, 2m정도의 거리에서는 시각적으로 인지 할 수 없는 정도였고, 30cm에서도 시각적으로 거의 인지할 수 없을 정도였다.
- 실험결과 720x480 크기를 가지는 비디오에서 워터마크 삽입하였을 경우 평균 44.29dB의 PSNR을 가지고 이는 시각적으로 워터마크 삽입한 경우와 그렇지 않은 경우 사이의 화질 차이를 구분하기 힘든 정도이고, 현재 압축효율이 가장 좋은 H264로 압축하였을 경우 평균 92.5%의 검줄률을 보여 압죽에 강인한 함을 보여준다.
- 24초가 소요됨을 알 수 있고, 이는 실시간 처리가 되지 않고 있음을 보여주고 있다. 하드웨어 구현에서는 지역 분산을 구하기 위한 라인 버퍼에 지연 시간만이 존재하고, 소수 연산에 필요한 비트를 제거하였기 때문에 곱셈기, 덧셈기의 수가 절반으로 줄어 상대적인 계산 감소가 있었고, 비디오 재생 중 워터마크를 실시간으로 삽입할 수 있었다
후속연구
- 제안한 하드웨어 워터마킹 시스템의 비가시성과 견고함은 실제 응용에 사용 가능하다. 그리고, 제안한 시스템은 방송 또는 영화산업과 같은 저작권 보호를 필요로 하는 곳에 적용 가능하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.