촬영된 카메라의 기초 정보를 담고 있는 EXIF 파일을 편집 프로그램들을 통해 삭제 또는 변형하게 되어 우리 주변에서 출처를 알 수 없는 이미지들이 상당수 존재하게 되었다. 이와 같은 문제점은 디지털 이미지의 출처를 왜곡하여 공공기관에서 사건의 분석 및 감정에 혼선을 줄 수 있다. 특히 증거의 출처를 명시하는 법정 기관에 출처가 삭제, 변형된 EXIF 파일을 가진 디지털 사진은 객관적 증거의 역할을 할 수 없다. 본 논문은 이와 같은 문제를 해결하기 위한 연구로써 촬영에 사용된 카메라의 신원을 추적하는 데 목적이 있다. 이를 위해 본 논문은 디지털카메라 이미지 프로세싱에서 사용하는 렌즈 왜곡 보정 알고리즘을 주목하였다. 렌즈 왜곡 보정은 맵핑 알고리즘을 이용하며 이 때 위신호 인공물(Aliasing artifact)와 복원 인공물(Reconstruction artifact)의 발생을 제거하기 위한 보간 알고리즘을 사용한다. 여기서 보간은 맵핑의 패턴과 유사한 형태로 나타나며 이 보간의 흔적을 찾는 것이 연구의 핵심이다. 본 논문에서는 맵핑에 사용된 보간 패턴을 검출하기 위해 미니멈 필터(Minimum Filter)를 이용한 검출 알고리즘을 제안하였다. 보간이 발생한 영역과 그렇지 않은 영역을 분류하여 두 영역에 동일한 미니멈 필터를 적용한다. 이를 DFT를 통해 각 영역간의 주파수 특성이 어떻게 나타나는지 확인하였다. 이 결과를 바탕으로 두 영역간의 차분값을 활용하여 최종 검출 맵으로 구현하였다.
촬영된 카메라의 기초 정보를 담고 있는 EXIF 파일을 편집 프로그램들을 통해 삭제 또는 변형하게 되어 우리 주변에서 출처를 알 수 없는 이미지들이 상당수 존재하게 되었다. 이와 같은 문제점은 디지털 이미지의 출처를 왜곡하여 공공기관에서 사건의 분석 및 감정에 혼선을 줄 수 있다. 특히 증거의 출처를 명시하는 법정 기관에 출처가 삭제, 변형된 EXIF 파일을 가진 디지털 사진은 객관적 증거의 역할을 할 수 없다. 본 논문은 이와 같은 문제를 해결하기 위한 연구로써 촬영에 사용된 카메라의 신원을 추적하는 데 목적이 있다. 이를 위해 본 논문은 디지털카메라 이미지 프로세싱에서 사용하는 렌즈 왜곡 보정 알고리즘을 주목하였다. 렌즈 왜곡 보정은 맵핑 알고리즘을 이용하며 이 때 위신호 인공물(Aliasing artifact)와 복원 인공물(Reconstruction artifact)의 발생을 제거하기 위한 보간 알고리즘을 사용한다. 여기서 보간은 맵핑의 패턴과 유사한 형태로 나타나며 이 보간의 흔적을 찾는 것이 연구의 핵심이다. 본 논문에서는 맵핑에 사용된 보간 패턴을 검출하기 위해 미니멈 필터(Minimum Filter)를 이용한 검출 알고리즘을 제안하였다. 보간이 발생한 영역과 그렇지 않은 영역을 분류하여 두 영역에 동일한 미니멈 필터를 적용한다. 이를 DFT를 통해 각 영역간의 주파수 특성이 어떻게 나타나는지 확인하였다. 이 결과를 바탕으로 두 영역간의 차분값을 활용하여 최종 검출 맵으로 구현하였다.
Throughout developing digital technology, reproduction of image is growing better day by day. And at the same time, diverse image editing softwares are developed to manage images easily. In the process of editing images, those programs could delete or modify EXIF files which have the original image ...
Throughout developing digital technology, reproduction of image is growing better day by day. And at the same time, diverse image editing softwares are developed to manage images easily. In the process of editing images, those programs could delete or modify EXIF files which have the original image information; therefore images without the origin source are widely spread on the web site after editing. This matter could affect analysis of images due to the distortion of originality. Especially in the court of law, the source of evidence should be expressed clearly; therefore digital image EXIF file without deletion or distortion could not be the objective evidence. In this research, we try to trace the identification of a digital camera in order to solve digital images originality, and also we focus on lens distortion correction algorism which is used in digital image processing. Lens distortion correction uses mapping algorism, and at this moment it also uses interpolation algorism to prevent aliasing artifact and reconstruction artifact. At this point interpolation shows the similar mapping pattern; therefore we want to find out the interpolation evidence. We propose a minimum filter algorism in order to detect interpolation pattern and adjust the same minimum filter coefficient in two areas; one has interpolation and the second has no interpolation. Throughout DFT, we confirm frequency character between each area. Based on this result, we make the final detection map by using differences between two areas. In other words, thereby the area which has the interpolation caused by mapping is adjusted using minimum filter for detection algorism; the second area which has no interpolation tends to different frequency character.
Throughout developing digital technology, reproduction of image is growing better day by day. And at the same time, diverse image editing softwares are developed to manage images easily. In the process of editing images, those programs could delete or modify EXIF files which have the original image information; therefore images without the origin source are widely spread on the web site after editing. This matter could affect analysis of images due to the distortion of originality. Especially in the court of law, the source of evidence should be expressed clearly; therefore digital image EXIF file without deletion or distortion could not be the objective evidence. In this research, we try to trace the identification of a digital camera in order to solve digital images originality, and also we focus on lens distortion correction algorism which is used in digital image processing. Lens distortion correction uses mapping algorism, and at this moment it also uses interpolation algorism to prevent aliasing artifact and reconstruction artifact. At this point interpolation shows the similar mapping pattern; therefore we want to find out the interpolation evidence. We propose a minimum filter algorism in order to detect interpolation pattern and adjust the same minimum filter coefficient in two areas; one has interpolation and the second has no interpolation. Throughout DFT, we confirm frequency character between each area. Based on this result, we make the final detection map by using differences between two areas. In other words, thereby the area which has the interpolation caused by mapping is adjusted using minimum filter for detection algorism; the second area which has no interpolation tends to different frequency character.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한, 보간이 적용된 결과와 보간이 제외된 역방향 맵핑 결과를 출력하여 A와 B라인에서의 히스토그램(Histogram) 분포를 확인하였다. 그 이유는 맵핑의 형태와 보간 패턴에 그래프에서 어떠한 차이가 있는지 확인하기 위해서이다.
이 과정은 맵핑 과정이 들어가며 이 때 발생하는 위신호 인공물과 복원 인공물의 문제 해결에 사용된 보간의 특징을 검출하는 연구였다. 맵핑에 사용된 보간 흔적을 검출하기 위해 본 논문에서는 미니멈 필터를 이용한 보간 검출 알고리즘을 제안하였다. 보간이 발생한 영역과 그렇지 않은 영역을 분리하여 동일한 값으로 미니멈 필터를 적용 하였을 때 나타나는 패턴의 유형을 DFT를 통해 확인하였고 이 패턴들의 차분값을 이용하여 최종 보간의 흔적을 찾을 수 있었다.
본 논문에서는 위에서 언급한 왜곡 보정을 위해 사용된 맵핑 과정의 이미지 프로세싱 중 사용되는 보간 패턴을 찾아내는 것을 주목표로 하고 있다. 이는 각 카메라 제조사 및 기종에 따라서 렌즈 왜곡을 보정하기 위한 다양한 맵핑 과정을 사용하기 때문에 보간의 특성만 정확하게 검출한다면 렌즈 왜곡에 의한 맵핑의 형태 또한 추출할 수 있다.
본 논문에서는 이러한 검출을 위해서 이미지에 미니멈 필터(Minimum Filter)를 적용하여 보간의 흔적을 찾아내는 방법을 고안하였다. 이 필터는 이미지의 픽셀값의 배열을 바꾸는 역할을 하기 때문에 보간이 적용된 영역과 그렇지 않은 영역에서의 픽셀 배열 패턴에 차이가 있을 것이라는 가정으로 사용되었다.
본 논문에서는 이러한 문제점을 해결하고자 디지털카메라에 내장된 이미지 프로세싱 과정을 분석하였다. 그 중 이미지 프로세싱 과정에서 렌즈의 왜곡을 보정하기 위해 사용된 이미지 맵핑 알고리즘이 포함되어 있으며, 이러한 보정 과정에서 보간을 사용하는 것을 확인하였다.
이와 같은 문제를 해결하기 위해서 미국에서는 디지털 이미지의 증거능력과 관련하여 연방, 주, 그리고 각 경찰국 차원에서 관련 법률 및 규정을 정비하고 취급절차와 관련된 표준응용절차를 마련, 기술적 보완을 완비하고 있다. 본 논문에서는 이와 같은 증거 사진에 대한 객관적 기술보완을 목적으로 하고 있으며, 그 방법으로 출처가 불분명한 디지털 사진에 대해 객관적 검증방법을 통해 디지털 사진의 출처를 명확하게 식별하고자 하는 것이 본 연구의 출발점이다.
본 논문에서는 이와 같이 출처가 불분명한 사진을 식별하기 위한 연구로써 디지털 카메라에 내장되어 있는 디지털 이미징 프로세스 중 렌즈 왜곡 보정 과정에 주목하였다. 이 과정은 맵핑 과정이 들어가며 이 때 발생하는 위신호 인공물과 복원 인공물의 문제 해결에 사용된 보간의 특징을 검출하는 연구였다.
본 논문은 출처가 불분명한 디지털 이미지 및 사건의 진위를 은폐하기 위해 사용된 디지털 변조까지 검증할 수 있는 연구로써 개인 및 공공기관에 유용하게 사용되기를 바란다.
가설 설정
본 논문에서는 이러한 검출을 위해서 이미지에 미니멈 필터(Minimum Filter)를 적용하여 보간의 흔적을 찾아내는 방법을 고안하였다. 이 필터는 이미지의 픽셀값의 배열을 바꾸는 역할을 하기 때문에 보간이 적용된 영역과 그렇지 않은 영역에서의 픽셀 배열 패턴에 차이가 있을 것이라는 가정으로 사용되었다. 이 가정의 타당성을 객관적으로 검증하기 위해 DFT(Discrete Fourier Transform)을 이용하였으며 본론에서 그 타당성을 검증하였다.
제안 방법
검출 패턴의 형태는 사용된 렌즈의 왜곡에 따라서 매핑의 방법이 다르기 때문에 알고리즘을 이용한 검출 결과가 모두 다르게 나타났다 동일한 제조사 안에서 서로 다른 모델에 따라 어떠한 결과가 나타나는지 확인하기 위해 Samsung 사의 ST550과 WB550의 검출결과를 비교해 보았다.
고주파 성분의 차이를 보다 분명히 확인하기 위해 3차원 레벨값의 그래프를 이용하여 두 영역간의 차이를 확인하였다. 두 영역에서 만들어진 DFT 결과를 서로간의 픽셀간의 차분값으로 계산하면 본 논문에서 검출하고자 하는 주파수 상에서의 보간 패턴을 (그림 9)와 같이 검출할 수 있다.
다음으로 미니멈 필터를 이용한 DFT 검출을 외에 실제 설정 장면에서 미니멈 필터를 적용하였을 때 3차원 레벨 패턴이 어떻게 형성되는지 확인하였다. 그 결과 DFT 검출 실험에서 증명한 두 영역간의 패턴 차이가 (그림 10)과 같이 실제 맵핑에 사용된 보간 패턴으로 검출 되었다.
이를 위해서 먼저 실제 보간 패턴이 정확하게 검출되는지 확인하기 위해 코닥사에서 제공하는 그레이카드를 이용하여 이분한 영상을 카메라마다 촬영하여 비교하였다. 다음으로 실제 장면에 미니멈 필터를 적용하여 그레이 카드에서 검출된 패턴과 동일한 패턴을 유지하고 있는지 확인하였다. 촬영에 사용된 카메라 기종은 (표 1)과 같고 촬영된 이미지에 대한 알고리즘 적용 결과 (그림 12)와 같다.
이 과정에서 렌즈 정보값은 Adobe에서 제공하는 렌즈 보정 값을 이용하였으며 그 값은 왜곡률을 극대화하기 위해서 광각 계열인 Canon EF 15mm로 설정하였다. 또한, 보간이 적용된 결과와 보간이 제외된 역방향 맵핑 결과를 출력하여 A와 B라인에서의 히스토그램(Histogram) 분포를 확인하였다. 그 이유는 맵핑의 형태와 보간 패턴에 그래프에서 어떠한 차이가 있는지 확인하기 위해서이다.
즉, 임의의 1픽셀 단위에 0과 255의 값을 가진 밝기값을 채워 보간이 적용되지 않은 영역(A)과 보간이 적용된 영역(A')에 미니멈 필터를 적용하였다(B, B'). 마지막으로 두 이미지의 차분값을 통해 미니멈 필터에 따른 보간 추출 가능성을 테스트 하였다. 그 결과 보간이 적용되지 않은 원본 이미지에서는 미니멈 알고리즘이 적용되기 전의 레벨 값을 그대로 유지 하고 있었지만 보간이 적용된 이미지에서는 보간의 흔적이 보다 명확히 나타나는 결과를 얻을 수 있었다.
본 장에서는 렌즈 왜곡 보정에 사용된 이미지 프로세싱과정에서 위와 같은 보간이 적용된 맵핑 과정을 사용하였을 때 보간 패턴이 어떻게 형성되는지 확인하였다. 이를 위해서 (그림 4)와 같이 레벨값 0과 255를 갖는 격자 패턴을 만들어 임의의 렌즈 정보값으로 맵핑 하였다.
이 방법이 실제 촬영 장면에서 유효하게 적용되어 각 제조사와 기종에 따른 맵핑에 의한 보간 패턴 검출이 가능한지 실험하였다.
이 테스트를 위해서 (그림 17)과 같은 기준이 되는 네 가지 장면을 설정하고 각 카메라로 촬영하였으며 최종 검출 맵을 구현하였다. 다음으로 (그림 15)와 같은 과정을 거쳐 원본 사진과의 최종 PSNR 결과를 분석하였다.
하지만 이러한 과정에서 픽셀 정보들이 임의의 좌표로 그 위치를 변형하기 때문에 위신호 인공물(Aliasing Artifact)과 복원 인공물(Reconstruction Artifact)로 인한 화질 저하가 발생하게 된다. 이러한 문제를 보완하는 방법으로 역방향 맵핑된 이미지에 보간을 적용하여 화질을 개선한다. 보간은 이미지의 크기 변화 및 특정 픽셀이 이동할 때 자연스러운 이미지를 만들기 위해서 인접 픽셀을 복사하거나 새로운 픽셀을 생성하는 방법이다.
이를 바탕으로 미니멈 필터가 적용된 이미지와 그렇지 않은 원본 이미지의 차분 값을 통해 이미지 프로세싱 과정에 삽입된 렌즈 왜곡 보정에 의한 보간 영역을 찾아냈다.
이를 위해서 먼저 실제 보간 패턴이 정확하게 검출되는지 확인하기 위해 코닥사에서 제공하는 그레이카드를 이용하여 이분한 영상을 카메라마다 촬영하여 비교하였다. 다음으로 실제 장면에 미니멈 필터를 적용하여 그레이 카드에서 검출된 패턴과 동일한 패턴을 유지하고 있는지 확인하였다.
즉, 임의의 1픽셀 단위에 0과 255의 값을 가진 밝기값을 채워 보간이 적용되지 않은 영역(A)과 보간이 적용된 영역(A')에 미니멈 필터를 적용하였다(B, B').
렌즈의 왜곡을 분석하여 카메라를 식별하는 연구는 Kai San Choi 외는 [10], [11]에 의해 선행 연구되었지만 이 연구는 장면의 왜곡 현상을 유사도 비교를 통해 검출한 과정이다. 하지만 본 논문에서는 왜곡 보정에 사용되는 이미지 맵핑 과정을 역 추적하는 방식으로 제조사와 카메라 기종에 따라서 렌즈의 왜곡률 및 이를 처리하는 이미지 프로세싱에서 차이가 있다는 것을 검출 맵으로 구현하였다.
데이터처리
이 필터는 이미지의 픽셀값의 배열을 바꾸는 역할을 하기 때문에 보간이 적용된 영역과 그렇지 않은 영역에서의 픽셀 배열 패턴에 차이가 있을 것이라는 가정으로 사용되었다. 이 가정의 타당성을 객관적으로 검증하기 위해 DFT(Discrete Fourier Transform)을 이용하였으며 본론에서 그 타당성을 검증하였다. 이를 바탕으로 미니멈 필터가 적용된 이미지와 그렇지 않은 원본 이미지의 차분 값을 통해 이미지 프로세싱 과정에 삽입된 렌즈 왜곡 보정에 의한 보간 영역을 찾아냈다.
이론/모형
본 논문에서는 맵핑에의한 보간의 흔적을 찾기 위해 미니멈 필터(Minimum Filter)를 이용하였다. 이 필터는 입력이미지에 대해서 정해진 윈도우 사이즈 내의 픽셀 값들 중 가장 수치가 작은 값을 선택하여 이미지로 출력하는 필터이다.
하지만 이 패턴들의 특징을 보다 명확하게 하기 위해서 정량적으로 분석이 필요하다. 본장에서는 원본 이미지와 최종 검출 맵을 이용한 PSNR(Peak Signal to Noise Ratio) 분석 방법을 이용하였다. (그림 15)와 같이 원본 이미지와 검출 맵의 차분 영상을 구하면 보간 패턴에 따른 노이즈가 (그림 16)과 같이 발생한다.
보간이 발생한 영역과 그렇지 않은 영역을 분리하여 동일한 값으로 미니멈 필터를 적용 하였을 때 나타나는 패턴의 유형을 DFT를 통해 확인하였고 이 패턴들의 차분값을 이용하여 최종 보간의 흔적을 찾을 수 있었다. 실험에 사용된 가상 샘플에서 검출된 맵핑에 의한 보간 패턴이 실제 장면에서도 검출되는지 확인하기 위해 제조사 및 브랜드 별로 촬영된 이미지에 미니멈 알고리즘을 적용하였다. 그 결과 촬영 기종에 따라서 검출되는 패턴은 모두 차이가 있어 본 논문에서 제안하는 알고리즘을 통해 디지털 카메라들의 고유 특성을 식별할 수 있다는 결론을 얻었다.
미니멈 알고리즘을 통한 보간의 패턴을 구체적으로 테스트하기 위해서 (그림 7)과 같이 테스트 하였다. 이 흐름도는 미니멈 필터의 적용에 따른 보간 이미지의 변화를 주파수 개념으로 접근하기 위해 DFT(Discrete Fourier Transform)를 이용하였다.
성능/효과
그 결과 보간이 적용되지 않은 원본 이미지에서는 미니멈 알고리즘이 적용되기 전의 레벨 값을 그대로 유지 하고 있었지만 보간이 적용된 이미지에서는 보간의 흔적이 보다 명확히 나타나는 결과를 얻을 수 있었다. 결과적으로 미니멈 필터의 적용 유무에 따라서 이미지에 존재하는 보간의 흔적을 분명히 구분할 수 있다는 결론을 얻을 수 있었다.
이러한 결과는 역방향 맵핑 패턴에 따라서 보간이 발생하며 단순히 픽셀의 정보값만이 변화한다고 말할 수 있다. 결과적으로 본 연구의 목적인 맵핑에 의한 보간 흔적을 찾게 되면 제조사와 카메라 기종에 따른 왜곡 보정 패턴을 검출할 수 있다는 결론을 얻을 수 있다.
검출 패턴의 형태는 사용된 렌즈의 왜곡에 따라서 매핑의 방법이 다르기 때문에 알고리즘을 이용한 검출 결과가 모두 다르게 나타났다 동일한 제조사 안에서 서로 다른 모델에 따라 어떠한 결과가 나타나는지 확인하기 위해 Samsung 사의 ST550과 WB550의 검출결과를 비교해 보았다. 그 결과 (그림 13)과 같이 맵핑된 영역의 패턴이 그 형태에 있어서 서로 독특한 형태의 패턴으로 나타나 제조사와 상관없이 제품에 따라서 카메라가 가진 고유한 패턴이 있다는 것을 확인할 수 있었다. 실험에 사용된 이미지 외에 일반인들이 COOLPIX S640과 ST550으로 촬영하여 카메라 제조사 제품 정보란에 올려 놓은 인터넷 이미지를 본 논문의 알고리즘으로 분석한 결과 (그림 14)와 같은 패턴이 검출 되었다.
다음으로 미니멈 필터를 이용한 DFT 검출을 외에 실제 설정 장면에서 미니멈 필터를 적용하였을 때 3차원 레벨 패턴이 어떻게 형성되는지 확인하였다. 그 결과 DFT 검출 실험에서 증명한 두 영역간의 패턴 차이가 (그림 10)과 같이 실제 맵핑에 사용된 보간 패턴으로 검출 되었다.
마지막으로 두 이미지의 차분값을 통해 미니멈 필터에 따른 보간 추출 가능성을 테스트 하였다. 그 결과 보간이 적용되지 않은 원본 이미지에서는 미니멈 알고리즘이 적용되기 전의 레벨 값을 그대로 유지 하고 있었지만 보간이 적용된 이미지에서는 보간의 흔적이 보다 명확히 나타나는 결과를 얻을 수 있었다. 결과적으로 미니멈 필터의 적용 유무에 따라서 이미지에 존재하는 보간의 흔적을 분명히 구분할 수 있다는 결론을 얻을 수 있었다.
실험에 사용된 가상 샘플에서 검출된 맵핑에 의한 보간 패턴이 실제 장면에서도 검출되는지 확인하기 위해 제조사 및 브랜드 별로 촬영된 이미지에 미니멈 알고리즘을 적용하였다. 그 결과 촬영 기종에 따라서 검출되는 패턴은 모두 차이가 있어 본 논문에서 제안하는 알고리즘을 통해 디지털 카메라들의 고유 특성을 식별할 수 있다는 결론을 얻었다. 하지만 본 알고리즘은 이미지가 압축됨에 따라서 최종 검출 맵에 대한 효과가 떨어질 수 있다.
본 논문에서는 이러한 문제점을 해결하고자 디지털카메라에 내장된 이미지 프로세싱 과정을 분석하였다. 그 중 이미지 프로세싱 과정에서 렌즈의 왜곡을 보정하기 위해 사용된 이미지 맵핑 알고리즘이 포함되어 있으며, 이러한 보정 과정에서 보간을 사용하는 것을 확인하였다. 렌즈의 왜곡을 분석하여 카메라를 식별하는 연구는 Kai San Choi 외는 [10], [11]에 의해 선행 연구되었지만 이 연구는 장면의 왜곡 현상을 유사도 비교를 통해 검출한 과정이다.
실험결과 (그림 4)와 같이 원본의 격자형 패턴이 Canon EF 15m로 맵핑되면서 방사형의 형태로 변화한 것을 알 수 있었다. 또한, 맵핑 과정에서 보간의 적용 여부와 상관없이 출력된 패턴의 형태는 유사하다는 것을 알 수 있었고 단지 보간의 들어간 맵핑에서는 입력값이 0과 255였지만 출력결과가 보간에 의해서 중간 값들로 바뀌어 히스토그램에서 픽셀 간의 그라데이션(Gradient)이 생성되는 것을 알 수 있었다. 하지만 보간이 들어가지 않은 역방향 맵핑에서는 픽셀 간의 위치만 바뀌었을 뿐 입력값 0과 255는 동일하게 출력되고 있다.
맵핑에 사용된 보간 흔적을 검출하기 위해 본 논문에서는 미니멈 필터를 이용한 보간 검출 알고리즘을 제안하였다. 보간이 발생한 영역과 그렇지 않은 영역을 분리하여 동일한 값으로 미니멈 필터를 적용 하였을 때 나타나는 패턴의 유형을 DFT를 통해 확인하였고 이 패턴들의 차분값을 이용하여 최종 보간의 흔적을 찾을 수 있었다. 실험에 사용된 가상 샘플에서 검출된 맵핑에 의한 보간 패턴이 실제 장면에서도 검출되는지 확인하기 위해 제조사 및 브랜드 별로 촬영된 이미지에 미니멈 알고리즘을 적용하였다.
본 실험을 통해서 맵핑된 이미지에 미니멈 필터를 적용하게 되면 고주파성분이 사라지게 되어 두 영역간의 특정 패턴을 검출할 수 있다는 것을 확인할 수 있었다. 이를 정리하면 맵핑에 의해 만들어진 보간 패턴에 미니멈 필터를 적용하는 순간 보간의 주파수 패턴은 변화하게 되고 이를 최초 맵핑된 이미지와 차분값으로 계산하게 되면 본 연구에서 얻고자 하는 카메라 식별을 위한 고유 패턴을 가진 검출 맵으로 구현 될 수 있다.
실험 결과 (그림 12)와 같이 그레이 카드와 실제 장면에서 각 제조사 및 기종에 따라서 고유한 패턴이 검출되는 것을 확인할 수 있었다. 검출 패턴의 형태는 사용된 렌즈의 왜곡에 따라서 매핑의 방법이 다르기 때문에 알고리즘을 이용한 검출 결과가 모두 다르게 나타났다 동일한 제조사 안에서 서로 다른 모델에 따라 어떠한 결과가 나타나는지 확인하기 위해 Samsung 사의 ST550과 WB550의 검출결과를 비교해 보았다.
실험결과 (그림 4)와 같이 원본의 격자형 패턴이 Canon EF 15m로 맵핑되면서 방사형의 형태로 변화한 것을 알 수 있었다. 또한, 맵핑 과정에서 보간의 적용 여부와 상관없이 출력된 패턴의 형태는 유사하다는 것을 알 수 있었고 단지 보간의 들어간 맵핑에서는 입력값이 0과 255였지만 출력결과가 보간에 의해서 중간 값들로 바뀌어 히스토그램에서 픽셀 간의 그라데이션(Gradient)이 생성되는 것을 알 수 있었다.
위에서 살펴본 봐와 같이 본 논문에서 제안하는 미니멈필터를 적용하였을 때 최초 맵핑에 사용된 보간의 패턴을 유사하게 검출할 수 있었다. 이를 정리하면 (그림 11)과 같은 알고리즘으로 설명 될 수 있다.
실험에 사용된 이미지 외에 일반인들이 COOLPIX S640과 ST550으로 촬영하여 카메라 제조사 제품 정보란에 올려 놓은 인터넷 이미지를 본 논문의 알고리즘으로 분석한 결과 (그림 14)와 같은 패턴이 검출 되었다. 이 패턴은 (그림 12)를 확인하였을 때 Nikon사의 COOLPIX S640과 Samsung사의 ST550과 동일한 패턴을 갖고 있어 본 논문에서 제시한 알고리즘의 타당성을 검증할 수 있었다.
이러한 방법으로 맵핑에 이은 미니멈 필터가 적용된 영역과 맵핑만 적용된 영역을 DFT로 비교한 결과 (그림 8)과 같이 최종 검출 패턴에서 주파수 영역에 차이가 발생하는 것을 확인할 수 있었다. 즉, 미니멈 필터를 적용한 영역에서는 보간에 따른 픽셀 값의 배열이 변화하면서 고주파 성분이 상당 부분 사라지게 되어 미니멈 필터를 적용하지 않은 영역의 고주파 성분과의 차이가 패턴으로 검출 되었다.
이를 정리하면 (그림 11)과 같은 알고리즘으로 설명 될 수 있다. 임의의 디지털 이미지에 미니멈 필터를 적용하고 이를 최초 영상과 각 픽셀별로 차분값을 계산하면 최종 보간 검출 맵으로 구현할 수 있다는 결론을 얻을 수 있다.
이러한 방법으로 맵핑에 이은 미니멈 필터가 적용된 영역과 맵핑만 적용된 영역을 DFT로 비교한 결과 (그림 8)과 같이 최종 검출 패턴에서 주파수 영역에 차이가 발생하는 것을 확인할 수 있었다. 즉, 미니멈 필터를 적용한 영역에서는 보간에 따른 픽셀 값의 배열이 변화하면서 고주파 성분이 상당 부분 사라지게 되어 미니멈 필터를 적용하지 않은 영역의 고주파 성분과의 차이가 패턴으로 검출 되었다.
후속연구
압축은 이미지에 대한 고주파 성분을 제거하기 때문에 픽셀 전체에 대한 주파수 성분이 변화하게 되어 보간의 흔적 또한 사라질 수 있어 이를 보안할 수 있는 방안이 필요하다. 차후 연구를 통해 압축률에 영향을 받지 않은 카메라 식별 알고리즘을 제안하여 이와 같은 문제점을 보완하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
CFA란 무엇인가?
이러한 접근 방법의 하나로 카메라에 내장된 CFA(Color Filter Array)를 이용한 분석 방법이 있었다. CFA는 빛을 컬러로 기록하기 위한 단계로써 적, 녹, 청색의 필터를 이용하여 전기 신호로 변환하는 단계에 사용한다. Bayram[3]과 Long[4]은 이 방법을 이용하여 CFA 단계에서 발생하는 보간의 특징을 각 픽셀의 상관관계를 이용하여 카메라 종류를 분류하였다.
렌즈 왜곡 보정을 위해 사용되는 디지털 이미지 프로세싱 알고리즘은 무엇인가?
렌즈 왜곡 보정을 위해 사용되는 디지털 이미지 프로세싱 알고리즘은 (그림 2)와 같은 맵핑(Mapping)이다. 이미지 맵핑은 입력 영상의 모든 화소에 대하여 출력 영상의 새로운 화소 위치를 계산하고, 입력 화소의 밝기 값을 출력 영상의 새로운 위치에 복사하는 방법이다 [13].
EXIF의 특징은?
먼저 촬영에 사용된 카메라를 식별하기 위한 방법으로 EXIF(Exchangeable Image File Format)을 사용하는 방법이다. 이 파일은 촬영된 시간과 날짜, 카메라의 종류, 노출, 조리개 등의 기초정보를 담고 있어 촬영된 이미지에 대한 출처를 명확하게 확인할 수 있는 단서이다 [1]. 최근에는 이 EXIF와 JPEG 이미지의 특성을 이용하여 휴대폰으로 촬영된 디지털 사진을 식별하는 연구가 진행되었다[2].
참고문헌 (14)
P. Alvarez. "Using extended file information (EXIF) file headers in digital evidence analysis," International Journal of Digital Evidence, vol. 2, no. 4, 2004.
신원 "디지털 사진 특성을 이용한 휴대전화 증거 분석 방안," 한국멀티미디어학회, vol. 12, no. 10, 2009.
S. Bayram, H. T. Sencar, N. Memon, and I. Avcibas, "Source camera identification based on CFA interpolation," in IEEE International Conference on Image Processing, vol. 3, pp. 69-72 , 2005.
Y. Long and Y. Huang, "Image based source camera identification using demosaicking," in IEEE International Workshop on Multimedia Signal Processing, vol. 3, 2006
J. Lukas, J. Fridrich, and M. Goljan, "Determining digital image origin using sensor imperfections," Proc. SPIE Image and Video Communications and Processing, vol. 5685, pp. 16-20 , 2005.
J. Lukas, J. Fridrich, and M. Goljan, "Determining digital image origin using sensor imperfections," Proc. SPIE Electronic Imaging, Image and Video Communication and Processing,San Jose, California, pp. 249-260, 2005.
J. Lukas, J. Fridrich, and M. Goljan, "Digital camera identification from sensor pattern noise," IEEE Transactions on Information Forensics and Security, vol 1, pp. 205-214, 2005.
Z. Geradts, J. Bijhold, M. Kieft, K. Kurosawa, K. Kuroki, and N. Saitoh, "Methods for identification of images acquired with digital cameras," Proc. of SPIE, Enabling Technologies for Law Enforcement and Security, vol. 4232, pp. 505-512, 2001.
M. Kharrazi, H. Sencar., and N. Memon,"Blind source camera identification," 2004 International Conference on Image Processing (ICIP '04), vol 1, pp. 709-712, 2004.
K. S. Choi, E. Y. Lam, and K. K. Y. Wong, "Automatic source camera identification using the intrinsic lens radial distortion," Optics Express, vol. 14, pp. 11551-11565, 2006.
K. S. Choi, E. Y. Lam, and K. K. Y. Wong, "Source camera identification using footprints from lens aberration," in Digital Photography II Proceedings of the SPIE, vol. 6069, pp. 155-162, 2006
W. Rabadi, R. Talluri, K. Illgner, J. Liang, Y. Youngjun "Programmable DSP platform for digital still cameras," ICASSP '99 Proceedings of the Acoustics, Speech, and Signal Processing, vol. 4, pp. 2235-2238, 1999.
K. Daloukas, C.D. Antonopoulos, N. Bellas.; S.M, Chai "Fisheye lens distortion correction on multicore and hardware accelerator platforms," 2010 IEEE International Symposium on Parallel & Distributed Processing (IPDPS), pp. 1-10, 2010.
K.T. Gribbon, D. G. Bailey, "A novel approach to real-time bilinear interpolation," Second IEEE International Workshop on Electronic Design, Test and Applications (DELTA'04), pp. 126-131, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.