본 논문에서는 인터넷 기반 스트리밍 음악 서비스의 저작권 보호를 위한 새로운 오디오 포렌식마킹 시스템을 제안한다. 제안한 방법에서는 스트리밍 서비스의 QoS 보장을 위해 고속으로 포렌식마크가 삽입된 MP3 파일을 생성한다. 이를 위하여 사전 포렌식마킹 과정을 두고, 사전 처리된 MP3 파일을 프레임 단위 조합 방식으로 사용자 정보가 삽입된 새로운 MP3 파일을 생성한다. 실험 결과, 제안한 방법은 강인성과 비인지성 및 실시간성 등에서 만족스러운 결과를 보였다. 또한 서버/클라이언트로 구현된 스트리밍 기반 오디오 포렌식마킹 시스템에서 실시간 삽입과 모바일 단말에서의 재생과 함께 삽입된 포렌식마크 검출이 가능함을 확인하였다.
본 논문에서는 인터넷 기반 스트리밍 음악 서비스의 저작권 보호를 위한 새로운 오디오 포렌식마킹 시스템을 제안한다. 제안한 방법에서는 스트리밍 서비스의 QoS 보장을 위해 고속으로 포렌식마크가 삽입된 MP3 파일을 생성한다. 이를 위하여 사전 포렌식마킹 과정을 두고, 사전 처리된 MP3 파일을 프레임 단위 조합 방식으로 사용자 정보가 삽입된 새로운 MP3 파일을 생성한다. 실험 결과, 제안한 방법은 강인성과 비인지성 및 실시간성 등에서 만족스러운 결과를 보였다. 또한 서버/클라이언트로 구현된 스트리밍 기반 오디오 포렌식마킹 시스템에서 실시간 삽입과 모바일 단말에서의 재생과 함께 삽입된 포렌식마크 검출이 가능함을 확인하였다.
In this paper, we propose a new audio forensic marking system for protecting the copyright of the Internet-based music streaming services. In the proposed method, in order to guarantee the QoS of the streaming service, high speed, and generates a forensic mark inserted MP3 file. We make pre-marking ...
In this paper, we propose a new audio forensic marking system for protecting the copyright of the Internet-based music streaming services. In the proposed method, in order to guarantee the QoS of the streaming service, high speed, and generates a forensic mark inserted MP3 file. We make pre-marking process and generate a new forensic marked MP3 file, a combination of the pre-marked MP3 frame, the inserted user information. Experimental results show that the proposed method satisfactory results robustness and imperceptibility, and real-time properties. In addition, we were confirmed that the real-time embedding and detection from the streaming-based audio forensic marking system that has been implemented on the server/client is possible.
In this paper, we propose a new audio forensic marking system for protecting the copyright of the Internet-based music streaming services. In the proposed method, in order to guarantee the QoS of the streaming service, high speed, and generates a forensic mark inserted MP3 file. We make pre-marking process and generate a new forensic marked MP3 file, a combination of the pre-marked MP3 frame, the inserted user information. Experimental results show that the proposed method satisfactory results robustness and imperceptibility, and real-time properties. In addition, we were confirmed that the real-time embedding and detection from the streaming-based audio forensic marking system that has been implemented on the server/client is possible.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 스트리밍 시 사용자 정보인 포렌식마크가 삽입된 MP3 파일을 실시간 생성하여 서비스하기 위해 미리 생성해 둔 0과 1의 정보 비트가 삽입된 한 쌍의 MP3 파일을 조합하여 사용자 정보가 포렌식마크로 삽입된 형태의 오디오 파일을 재구성하는 방법을 제안하였다. 이와 같은 방법으로 포렌식마크를 삽입할 때 포렌식마크 검출기에서 검출이 용이한 형태의 단위 길이로 조합해야 하는데, 이 길이는 일반적으로 기본 패킷 길이 또는 기본 바이트 길이의 배수로 정할 수 있으며, 본 논문에서는 MP3 4개 프레임 길이로 하였다.
본 논문에서는 실시간성을 최우선시하여, 스트리밍 음악의 서비스 시점에 사용자ID와 같은 식별 정보가 삽입된 음악 파일을 서버에서 고속으로 생성할 수 있는 시스템을 제안한다. 또한 스트리밍 음악을 모바일 단말에서 재생과 동시에 실시간으로 사용자 식별 정보를 검출하여 저작권 확인이 가능한 오디오 포렌식마킹 시스템을 구현하고, 서버/클라이언트 형태로 구현한 시스템 성능에 대해 실험을 통하여 고찰하였다.
본 논문에서는 온라인 음악 콘텐츠의 소비가 다운로드에서 스트리밍으로, PC에서 모바일 단말로의 변화를 고려하여, 스트리밍 음악 서비스의 저작권 보호를 위한 새로운 오디오 포렌식마킹 시스템을 제안하였다. 제안한 방법에서는 기존 스트리밍 서비스의 추가적인 지연시간을 최소화하면서 사용자 정보인 포렌식마크가 삽입된 MP3 파일을 고속으로 생성 가능하다.
본 장에서는 스트리밍 기반 오디오 포렌식마킹 시스템의 전체 구조를 설명하고, 포렌식마크 삽입과 검출 단계들이 어떠한 구성 요소로 이루어져 있는지에 대해 자세히 살펴본다.
제안한 방법에서는 기존 스트리밍 서비스의 추가적인 지연시간을 최소화하면서 사용자 정보인 포렌식마크가 삽입된 MP3 파일을 고속으로 생성 가능하다. 이를 위해 본 논문에서는 포렌식마킹 사전 처리 과정과 사전 처리된 한 쌍의 MP3 파일을 이용하여 최종 MP3를 고속으로 재구성하는 새로운 방식을 제안하였다. 또한 스트리밍 서버에 포렌식마킹 모듈을 설치하고 포렌식마크 검출을 위한 모바일 앱을 구현하여 실제 서비스와 유사한 환경으로 구성하여 실험하였다.
가설 설정
본 논문에서는 스트리밍 서비스되는 압축 음원을 MP3 파일로 가정하고 시스템을 구성하였다.
제안 방법
<표 1>은 포렌식마크 삽입으로 인한 비인지성 실험으로 MP3 192kbps의 5가지 장르 25곡에 대해 MOS(Mean Opnion Score)를 측정하였다.
3) 부밴드 에너지 계산: 삽입 시 포렌식마크 비트에 따라 부밴드 에너지를 미리 정해진 방법으로 변화를 주었으므로, 검출에서도 구해진 스펙트럼을 부밴드로 나누고 각 부밴드에서의 에너지 비를 계산한다.
이를 위해 본 논문에서는 포렌식마킹 사전 처리 과정과 사전 처리된 한 쌍의 MP3 파일을 이용하여 최종 MP3를 고속으로 재구성하는 새로운 방식을 제안하였다. 또한 스트리밍 서버에 포렌식마킹 모듈을 설치하고 포렌식마크 검출을 위한 모바일 앱을 구현하여 실제 서비스와 유사한 환경으로 구성하여 실험하였다. 실험 결과, 강인성과 비인지성은 기존 방식들과 유사한 성능을 보였으며, 특히 서비스 시점에 사용자 정보가 포렌식마크로 삽입된 파일을 고속으로 생성하고, 모바일 단말에서 재생과 동시에 삽입된 정보를 검출하는 속도 등에 대해서는 기존 방식에 비해 우수하다고 보여 진다.
본 논문에서는 실시간성을 최우선시하여, 스트리밍 음악의 서비스 시점에 사용자ID와 같은 식별 정보가 삽입된 음악 파일을 서버에서 고속으로 생성할 수 있는 시스템을 제안한다. 또한 스트리밍 음악을 모바일 단말에서 재생과 동시에 실시간으로 사용자 식별 정보를 검출하여 저작권 확인이 가능한 오디오 포렌식마킹 시스템을 구현하고, 서버/클라이언트 형태로 구현한 시스템 성능에 대해 실험을 통하여 고찰하였다.
포렌식마크 정보는 음악의 전 구간에 걸쳐 반복 삽입되어 있어 임의 구간을 잘라내어도 삽입된 정보를 검출할 수 있다. 또한 실제 환경에서 흔히 발생되는 비고의적 왜곡인 MP3 저비트율 압축, 포맷변환, 샘플링율 변환에 대한 강인성 확인을 위해 Adobe Audition을 이용하여 변형 파일을 생성하고 실험을 하였다. DA/AD 변환 실험은 포렌식마킹된 음악을 MP3 160kbps 압축 후 재생하면서 PC와 Line-In으로 연결하여 녹음된 파일을 대상으로 실험을 하였다.
또한 포렌식마킹으로 인한 서버쪽 부하를 실험하기 위하여 스트리밍 서버에서 포렌식마크 삽입 모듈 추가로 인해 발생되는 서비스 지연시간을 측정하였다. 실험 결과 (그림 7)과 같이 총 78회 실험에서 평균 43.
(그림 9)는 안드로이드와 iOS 기반의 모바일 단말에서의 포렌식마크 검출에 소요된 시간을 보여준다. 이 실험은 포렌식마크가 삽입된 MP3 파일을 단말에 저장한 상태에서 순수하게 검출을 위한 연산 시간만 측정한 것이며, 각 플랫폼과 기기별 성능을 가늠하기 위함이다.
1kHz MP3 파일을 대상으로 포렌식마크를 삽입하는 경우에는 한 프레임의 크기가 417 byte이고 MP3 4개 프레임(417 byte * 4) 단위로 1비트 삽입이 이루어진다. 이때 마지막 512 샘플(Segment 8)에는 포렌식마크를 삽입하지 않으며, 동기 비트는 삽입 대역을 2배로 하여 검출 강인성을 높이도록 하였다. 이때 비트 삽입을 위해 선택하는 단위 샘플 길이에 따라 전체 포렌식마크 정보가 원본 신호에 반복되는 횟수가 달라지며, 이에 따라 강인성이 달라지므로 응용 환경에 따라 적절히 조절하는 것이 가능하다.
최근 급증하고 있는 모바일 단말을 이용한 음악 스트리밍 서비스를 고려하여, 포렌식마킹된 스트리밍 음악을 모바일 단말에서 검출하는 실험을 하여 그 성능을 평가하였다. 이를 위해 다양한 단말기를 이용하여 포렌식마크가 삽입된 음원에서 포렌식마크 검출 시간을 OS와 기기별로 측정하였다. (그림 8)은 안드로이드와 iOS 환경으로 구현된 포렌식마크 검출 앱에서 서로 다른 사용자 ID로 서버에 접속 후 동일한 곡을 재생할 때 실시간으로 포렌식마크를 검출하는 모습이다.
본 논문에서는 스트리밍 시 사용자 정보인 포렌식마크가 삽입된 MP3 파일을 실시간 생성하여 서비스하기 위해 미리 생성해 둔 0과 1의 정보 비트가 삽입된 한 쌍의 MP3 파일을 조합하여 사용자 정보가 포렌식마크로 삽입된 형태의 오디오 파일을 재구성하는 방법을 제안하였다. 이와 같은 방법으로 포렌식마크를 삽입할 때 포렌식마크 검출기에서 검출이 용이한 형태의 단위 길이로 조합해야 하는데, 이 길이는 일반적으로 기본 패킷 길이 또는 기본 바이트 길이의 배수로 정할 수 있으며, 본 논문에서는 MP3 4개 프레임 길이로 하였다.
본 논문에서는 온라인 음악 콘텐츠의 소비가 다운로드에서 스트리밍으로, PC에서 모바일 단말로의 변화를 고려하여, 스트리밍 음악 서비스의 저작권 보호를 위한 새로운 오디오 포렌식마킹 시스템을 제안하였다. 제안한 방법에서는 기존 스트리밍 서비스의 추가적인 지연시간을 최소화하면서 사용자 정보인 포렌식마크가 삽입된 MP3 파일을 고속으로 생성 가능하다. 이를 위해 본 논문에서는 포렌식마킹 사전 처리 과정과 사전 처리된 한 쌍의 MP3 파일을 이용하여 최종 MP3를 고속으로 재구성하는 새로운 방식을 제안하였다.
제안한 오디오 포렌식마킹 시스템의 성능을 알아보기 위하여 비인지성, 강인성 뿐만 아니라 스트리밍 서버와 모바일 클라이언트를 구성하여 실험을 하였다. 성능 실험을 위해 사용된 스트리 밍 서버는 Intel Xeon CPU E5405 2.
최근 급증하고 있는 모바일 단말을 이용한 음악 스트리밍 서비스를 고려하여, 포렌식마킹된 스트리밍 음악을 모바일 단말에서 검출하는 실험을 하여 그 성능을 평가하였다. 이를 위해 다양한 단말기를 이용하여 포렌식마크가 삽입된 음원에서 포렌식마크 검출 시간을 OS와 기기별로 측정하였다.
포렌식마크 검출 과정은 오디오 스트림을 일정 길이의 세그먼트로 나누고 각 세그먼트에 대해 포렌식마크 검출을 수행한다. 각 오디오 세그먼트에 대한 세부 검출 과정은 (그림 6)과 같이 전처리, FFT, 부밴드별 에너지를 계산하여 동기 신호 검색 및 포렌식마크 검출의 5 단계로 구성된다.
대상 데이터
또한 실제 환경에서 흔히 발생되는 비고의적 왜곡인 MP3 저비트율 압축, 포맷변환, 샘플링율 변환에 대한 강인성 확인을 위해 Adobe Audition을 이용하여 변형 파일을 생성하고 실험을 하였다. DA/AD 변환 실험은 포렌식마킹된 음악을 MP3 160kbps 압축 후 재생하면서 PC와 Line-In으로 연결하여 녹음된 파일을 대상으로 실험을 하였다. 일반적으로 이와 같은 디지털-아날로그 변환 과정을 거치면 출력장치에 따른 비선형 왜곡과 잡음 등이 원 데이터에 첨가되어 삽입된 포렌식마크의 검출이 매우 어려워진다.
제안한 오디오 포렌식마킹 시스템의 성능을 알아보기 위하여 비인지성, 강인성 뿐만 아니라 스트리밍 서버와 모바일 클라이언트를 구성하여 실험을 하였다. 성능 실험을 위해 사용된 스트리 밍 서버는 Intel Xeon CPU E5405 2.0GHz, RAM 2GB, CentOS release 5.6의 환경으로 구성하였으며, 6 Byte 길이의 포렌식마크 신호를 삽입하였다.
성능/효과
5명의 피실험자(A∼E)를 대상으로 한 MOS 실험결과 평균 점수 4.64를 보였다.
또한 포렌식마킹으로 인한 서버쪽 부하를 실험하기 위하여 스트리밍 서버에서 포렌식마크 삽입 모듈 추가로 인해 발생되는 서비스 지연시간을 측정하였다. 실험 결과 (그림 7)과 같이 총 78회 실험에서 평균 43.36msec의 지연이 측정되었으며, 이는 사용자 정보를 포렌식마킹하는데 소요되는 시간으로 해석 가능하다.
또한 스트리밍 서버에 포렌식마킹 모듈을 설치하고 포렌식마크 검출을 위한 모바일 앱을 구현하여 실제 서비스와 유사한 환경으로 구성하여 실험하였다. 실험 결과, 강인성과 비인지성은 기존 방식들과 유사한 성능을 보였으며, 특히 서비스 시점에 사용자 정보가 포렌식마크로 삽입된 파일을 고속으로 생성하고, 모바일 단말에서 재생과 동시에 삽입된 정보를 검출하는 속도 등에 대해서는 기존 방식에 비해 우수하다고 보여 진다. 본 논문에서 스트리밍 음악의 실시간 포렌식마킹을 위해 제안한 사전준비와 재구성 방식은 MP3 음악뿐만 아니라 비디오 파일에도 유사하게 적용 가능하리라 기대되며, 향후 MP3 파일 뿐만 아니라 다양한 파일 형식에 대해서도 고속 처리가 가능하도록 관련 연구가 지속되어야 할 것이다.
동일한 곡이라도 서버에 로그인한 사용자에 따라 검출된 포렌식마크가 다르며, 이러한 곡들이 불법 유통될 경우 검출된 사용자 ID 등의 정보를 이용하여 유포자를 확인하는 것이 가능하다. 실험에서 스트리밍 음악 재생 시작 후 평균 20초 이내에서 음악에 삽입된 포렌식마크 검출이 가능함을 확인하였다.
안드로이드 플랫폼의 경우 각 앱마다 사용할 수 있는 메모리 크기 제한으로 FFT 연산 시간이 증가하는 구조적 문제가 있었다. 이를 개선하기 위해 FFT 연산을 ARM 리눅스 커널에서 실행되는 바이너리 파일로 만들어 실행한 결과, JNI를 사용했을 때보다 약 2배 이상 속도가 향상되는 것을 확인할 수 있었으며 전체적으로 기기의 연산 능력인 CPU 클럭과 코어의 수에 비례하는 검출 속도를 확인할 수 있었다. 하지만 ARM 리눅스 바이너리를 이용하는 방법은 구글에서 공식 지원하는 것이 아니기 때문에 안전한 방법이 아니다.
후속연구
실험 결과, 강인성과 비인지성은 기존 방식들과 유사한 성능을 보였으며, 특히 서비스 시점에 사용자 정보가 포렌식마크로 삽입된 파일을 고속으로 생성하고, 모바일 단말에서 재생과 동시에 삽입된 정보를 검출하는 속도 등에 대해서는 기존 방식에 비해 우수하다고 보여 진다. 본 논문에서 스트리밍 음악의 실시간 포렌식마킹을 위해 제안한 사전준비와 재구성 방식은 MP3 음악뿐만 아니라 비디오 파일에도 유사하게 적용 가능하리라 기대되며, 향후 MP3 파일 뿐만 아니라 다양한 파일 형식에 대해서도 고속 처리가 가능하도록 관련 연구가 지속되어야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
포렌식마킹에서 중요한 요소는 무엇인가?
포렌식마킹은 저작권 확인을 위한 워터마킹의 확장 기술로서 멀티미디어 콘텐츠의 불법유통을 추적할 수 있도록 콘텐츠에 구매자 또는 사용자를 식별할 수 있는 정보를 워터마크로 삽입하는 저작권 보호 기술이다. 워터마킹과 포렌식마킹 기술에서는 비인지성(imperceptibility), 강인성 (robustness) 및 용량성(data capacity)이 중요한 요소이며, 최근에는 상업적 응용을 위해 실시간성에 대한 요구가 증가하고 있다. 그러나 이러한 요구사항들은 어느 하나의 성능을 높이면 다른 요소들의 성능이 저하되는 상충관계(trade-off)에 있어 모두 만족시키는 일은 매우 어렵다.
포렌식마킹은 무엇인가?
포렌식마킹은 저작권 확인을 위한 워터마킹의 확장 기술로서 멀티미디어 콘텐츠의 불법유통을 추적할 수 있도록 콘텐츠에 구매자 또는 사용자를 식별할 수 있는 정보를 워터마크로 삽입하는 저작권 보호 기술이다. 워터마킹과 포렌식마킹 기술에서는 비인지성(imperceptibility), 강인성 (robustness) 및 용량성(data capacity)이 중요한 요소이며, 최근에는 상업적 응용을 위해 실시간성에 대한 요구가 증가하고 있다.
인터넷 기반 디지털 음악에 포렌식마크를 삽입할 때의 문제점은 무엇인가?
한편, 인터넷 기반 디지털 음악은 대부분 압축된 형태로 서비스가 이루어진다. 일반적인 방법으로 부호화된 콘텐츠에 포렌식마크를 삽입하기 위해서는 먼저 복호화를 수행한 후 포렌식마크 삽입과 재부호화 단계를 거쳐야 하므로 상당히 많은 시간이 소요된다. 최근에는 이러한 실시간성 문제를 해결하기 위하여 사용자의 서비스 요구 시점에 포렌식마킹을 실시간 처리하면서 다운로드 또는 스트리밍 음악 서비스의 QoS에 영향을 주지 않는 고속 처리 방법이 연구되고 있다.
참고문헌 (13)
N. Cvejic and T. Seppanen, "Digital Audio Watermar king Techniques and Technologies: Applications and Benchmarks," IGI Global Snippet, 2008.
I. Cox, M. Miller, and J. Bloom, "Digital watermarking," San Francisco: Morgan Kaufmann Publishers. 2002.
N. Cvejic, "Algorithms for audio watermarking and steganography," Acta Universitatis Ouluensis, Series C, 2004.
A. Ghobadi, et. al., "Blind Audio Watermarking for Tamper Detection based on LSB," Advanced Communication Technology (ICACT), 2013 15th International Conference on. IEEE, pp. 1077-1082, 2013.
X. He, A. I. Iliev, and Scordilis, "A high capacity watermarking technique for stereo audio," Acoustics, Speech, and Signal Processing, 2004. Proceedings. (ICASSP'04), pp. 393-396, 2004.
D. Gruhl, A. Lu, and W. Bender, "Echo hiding," Information Hiding. Springer Berlin Heidelberg. 295-315, 1996.
Oscal T.-C. Chen and Wen-Chin Wu, "Highly Robust, Secure, and Perceptual-Quality Echo Hiding Scheme," Audio, Speech, and Language Processing, IEEE Transactions on. vol. 16, pp. 629-638, 2008.
I. Natgunanathan, Y. Xiang, Y. Rong, W. Zhou, and S. Guo, "Robust patchwork-based embedding and decoding scheme for digital audio watermarking," Audio, Speech, and Language Processing, IEEE Transactions on. vol. 20, no. 8, pp. 2232-2239, Oct. 2012.
I. J. Cox, J. Kilian, F. T. Leighton, and T. Shamoon, "Secure Spread Spectrum Watermarking for Multimedia," Image Processing, IEEE Transaction on. vol. 6, no. 12, pp. 1673-1687, 1997.
H. J. Kim, et al. "Audio watermarking techniques," Intelligent Watermarking Techniques 7, pp.185-208, 2004.
D. Kirovski, and H. Attias, "Audio watermark robustness to de-synchronization via beat detection," Information Hiding. Springer Berlin Heidelberg, vol. 2578, pp. 160-175, 2002.
C. Neubauer, J. Herre, "Digital Watermarking and its Influence on Audio Quality," Audio Engineering Society Convention 105, Audio Engineering Society, 1998.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.