고속 푸리에 변환(fast Fourier transform, FFT)을 이용한 겹친지문 분리의 효과와 한계 Effects and Limitations of Separating Overlapped Fingerprints Using Fast Fourier Transform원문보기
사진은 가장 일반적으로 사용되는 현장 기록 방법으로, 증거물 관리의 연속성을 유지하고 현상을 있는 그대로 담아낼 수 있기 때문에 범죄수사 및 각종 사고조사에 널리 이용된다. 최근에는 디지털 카메라가 이용되기 때문에 이미지 조작에 따른 진정성(authenticity) 훼손위험이 있어 이미지 증강에 사용할 수 있는 방법이 제한적인데, 그 중 널리 활용되는 하나가 푸리에 변환 (Fourier transform)이다. 푸리에 변환은 이미지를 주파수 신호로 변환하는 것으로, 본 연구에서는 fast Fourier transform (FFT)을 사용하였다. 본 실험에서는 지문을 규칙적인 패턴을 가진 모눈종이나 또 다른 지문과 겹치게 한 뒤 FFT로 분리하였다. 그리고 원래의 지문과 분리한 지문의 품질을 각각 평가하고 비교하였으며, 두 지문이 같은 지문으로 판정될 수 있는지 검사하였다. 규칙적인 패턴을 가진 배경에 찍힌 지문이나 general pattern끼리 겹쳐진 지문을 분리한 경우 지문 융선이 증강되어 식별에 용이하였다. 하지만 core나 delta와 같이 복잡한 패턴끼리 겹쳐진 지문의 경우 원래의 지문보다 FFT로 분리하여 얻은 지문의 품질이 낮고 식별오류가 많았다. 지문 품질의 저하는 감정관의 신뢰성에 부정적 영향을 미칠 수 있다. 연구의 주요 논점은 지문감정 이외에도 디지털이미지 개선기술이 활용되는 여러 상황에서 참고할 수 있을 것이다.
사진은 가장 일반적으로 사용되는 현장 기록 방법으로, 증거물 관리의 연속성을 유지하고 현상을 있는 그대로 담아낼 수 있기 때문에 범죄수사 및 각종 사고조사에 널리 이용된다. 최근에는 디지털 카메라가 이용되기 때문에 이미지 조작에 따른 진정성(authenticity) 훼손위험이 있어 이미지 증강에 사용할 수 있는 방법이 제한적인데, 그 중 널리 활용되는 하나가 푸리에 변환 (Fourier transform)이다. 푸리에 변환은 이미지를 주파수 신호로 변환하는 것으로, 본 연구에서는 fast Fourier transform (FFT)을 사용하였다. 본 실험에서는 지문을 규칙적인 패턴을 가진 모눈종이나 또 다른 지문과 겹치게 한 뒤 FFT로 분리하였다. 그리고 원래의 지문과 분리한 지문의 품질을 각각 평가하고 비교하였으며, 두 지문이 같은 지문으로 판정될 수 있는지 검사하였다. 규칙적인 패턴을 가진 배경에 찍힌 지문이나 general pattern끼리 겹쳐진 지문을 분리한 경우 지문 융선이 증강되어 식별에 용이하였다. 하지만 core나 delta와 같이 복잡한 패턴끼리 겹쳐진 지문의 경우 원래의 지문보다 FFT로 분리하여 얻은 지문의 품질이 낮고 식별오류가 많았다. 지문 품질의 저하는 감정관의 신뢰성에 부정적 영향을 미칠 수 있다. 연구의 주요 논점은 지문감정 이외에도 디지털이미지 개선기술이 활용되는 여러 상황에서 참고할 수 있을 것이다.
Photography is the most commonly used method of documenting the crime and incident scene as it helps maintaining chain of custody (COC) and prove integrity of the physical evidence. It can also capture phenomena as they are. However, digital images can be manipulated and lose their authenticity as a...
Photography is the most commonly used method of documenting the crime and incident scene as it helps maintaining chain of custody (COC) and prove integrity of the physical evidence. It can also capture phenomena as they are. However, digital images can be manipulated and lose their authenticity as admissible evidence. Thus only limited techniques can be used to enhance images, and one of them is Fourier transform. Fourier transform refers to transformation of images into frequency signals. Fast Fourier transform (FFT) is used in this study. In this experiment, we overlapped fingerprints with graph paper or other fingerprints and separated the fingerprints. Then we evaluated and compared quality of the separated fingerprints to the original fingerprints, and examined whether the two fingerprints can be identified as same fingerprints. In the case of the fingerprints on graph paper and general pattern-overlapping fingerprints, fingerprint ridges are enhanced. On the other hand, in case of separating complicated fingerprints such as core-to-core overlapping and delta-to-delta overlapping fingerprints, quality of fingerprints can be deteriorated. Quality of fingerprints is known to possibly bring negative effects on the credibility of examiners. The result of this study may be applicable to other areas using digital imaging enhancement technology.
Photography is the most commonly used method of documenting the crime and incident scene as it helps maintaining chain of custody (COC) and prove integrity of the physical evidence. It can also capture phenomena as they are. However, digital images can be manipulated and lose their authenticity as admissible evidence. Thus only limited techniques can be used to enhance images, and one of them is Fourier transform. Fourier transform refers to transformation of images into frequency signals. Fast Fourier transform (FFT) is used in this study. In this experiment, we overlapped fingerprints with graph paper or other fingerprints and separated the fingerprints. Then we evaluated and compared quality of the separated fingerprints to the original fingerprints, and examined whether the two fingerprints can be identified as same fingerprints. In the case of the fingerprints on graph paper and general pattern-overlapping fingerprints, fingerprint ridges are enhanced. On the other hand, in case of separating complicated fingerprints such as core-to-core overlapping and delta-to-delta overlapping fingerprints, quality of fingerprints can be deteriorated. Quality of fingerprints is known to possibly bring negative effects on the credibility of examiners. The result of this study may be applicable to other areas using digital imaging enhancement technology.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
결론으로, 겹친지문 분리를 위한 FFT 사용에 대한 가이드라인을 제시하고자 한다. 일정하게 반복되는 패턴을 가진 배경 면에 지문이 유류되어 있을 경우 그 패턴이 주파수 영역에서 지문과는 확연히 구별되는 신호를 가지기 때문에 FFT로 반복되는 패턴을 지우는 것이 가능하다.
따라서 본 연구자들은 지문이 겹쳐질 수 있는 다양한 경우를 설정하고 FFT로 겹친지문(overlapped fingerprint)을 분리하였다. 또한 제대로 분리되지 않은 지문이 실제로 존재하는 지문과 동일한 것으로 오인될 가능성은 매우 적기 때문에 특정오류가 발생할 우려는 상대적으로 적지만 특정 지문과 1:1대조를 했을 때 배제 오류는 쉽게 발생할 가능성이 있다는 사실에 주목하였다. 이러한 FFT의 한계를 검증하고자 평가자들로 하여금 FFT로 분리된 지문과 원본 지문을 1:1 대조하도록 하였다.
먼저 FFT의 개념과 법과학 분야에서 FFT의 활용 역사, 법과학 이미징 전문가 집단의 FFT 사용에 대한 권고 사항에 대해 살펴보고 실험 결과를 검토해봄으로써 FFT를 통한 겹친지문 분리의 오류 가능성 및 한계를 알아보고 결론으로써 바람직한 FFT 사용에 대한 가이드라인을 제시하고자 한다.
1990년 미국에서 FFT를 사용하여 개선된 지문 이미지가 증거능력을 인정받은 이후 FFT는 기본적인 법과학 이미지 증강 방법의 하나로 자리 잡았다. 본 연구에서는 겹친지문 안에서 하나의 지문을 하나의 패턴으로 간주하고 FFT로 이를 분리할 수있는지 알아보고자 하였다.
본 연구에서는 복잡한 신호를 가진 지문이 두 개 이상 겹쳐있을 때, 푸리에 변환의 종류 중 하나인 FFT로 두 이미지를 잘 분리해낼 수 있을지 알아보고자 하였다. 따라서 본 연구자들은 지문이 겹쳐질 수 있는 다양한 경우를 설정하고 FFT로 겹친지문(overlapped fingerprint)을 분리하였다.
따라서 FFT는 겹친지문처럼 동일한 신호를 갖고 있거나 지문과 유사한 신호를 가진 배경면을 제거하는 목적으로는 사용할 수 없으며 매우 일정하고 반복되는 배경 패턴의 제거를 위해서만 제한적으로 사용되어야 한다. 이는 서론부에서 언급한 법사진 전문가들의 권고사항과도 일치한 것이며 본 논문은 이를 실험데이터 분석을 통해 보였다.
제안 방법
Adobe Photoshop CS6 (Adobe Systems, San Jose, CA, USA)의 Fast Fourier Transform 필터를 이용하여 겹친 두 지문 중 하나를 분리하였다.
<그림 16>, <그림 20>은 general pattern이 겹쳐진 융선 이미지를 FFT 필터를 사용하여 주파수 영역으로 변환한 것이다. General pattern의 가로, 세로 방향을 고려하여 한방향의 신호를 지운 후 역변환하였다. 이렇게 분리된 지문이 <그림 17>, <그림 21>이다.
<그림 8>은 core가 겹쳐진 융선 이미지를 FFT 필터를 사용하여 주파수 영역으로 변환시킨 것이다. 겹쳐진 core의 방향을 고려하여 하나의 core에 해당하는 것으로 추정되는 신호를 지운 후 역변환하였다. 이렇게 분리된 지문이 <그림 9>이다.
<그림 12>는 delta가 겹쳐진 융선 이미지를 FFT 필터를 사용하여 주파수 영역으로 변환시킨 것이다. 겹쳐진 두 delta의 방향을 고려하여 하나의 delta에 해당하는 신호를 지운 후 역변환 하였다. 이렇게 분리하여 <그림 13>과 같은 지문을 얻었다.
결국 현출된 지·장문 이미지는 법과학 이미지 증강 전문가인 Erik Berg에게 넘겨졌다. 그는 FFT로 침대 시트 패턴을 제거하고 색감을 조정하여 이미지를 개선하였다. 개선된 지문에서 관찰되는 융선 특징점의 개수가 12개로 늘어났으며 심지어 장문에 서는 총 40개의 특징점이 관찰되었다.
SWGFAST는 지문 감정관이 식별, 배제, 유보라는 세 개의 결론을 제시하도록 지침을 두고 있다. 동일한 평가자가 두 지문을 같은 지문이라고 볼 수 있는지 SWGFAST의 기준에 따라 일치 여부를 검사하였다. 자세한 내용은 <표 2>와 같다.
본 연구에서는 복잡한 신호를 가진 지문이 두 개 이상 겹쳐있을 때, 푸리에 변환의 종류 중 하나인 FFT로 두 이미지를 잘 분리해낼 수 있을지 알아보고자 하였다. 따라서 본 연구자들은 지문이 겹쳐질 수 있는 다양한 경우를 설정하고 FFT로 겹친지문(overlapped fingerprint)을 분리하였다. 또한 제대로 분리되지 않은 지문이 실제로 존재하는 지문과 동일한 것으로 오인될 가능성은 매우 적기 때문에 특정오류가 발생할 우려는 상대적으로 적지만 특정 지문과 1:1대조를 했을 때 배제 오류는 쉽게 발생할 가능성이 있다는 사실에 주목하였다.
먼저 규칙적인 패턴을 가진 배경에 잉크지문을 찍고 FFT로 배경 패턴을 지워보았다. 그 결과 융선 식별에 방해가 되는 배경 패턴은 지워지고 지문 융선이 개선되었다.
모든 법과학 증거가 비교·대조의 대상이라는 관점에서 FFT로 분리된 지문은 얼마든지 그 대상이 될 수 있다는 점을 고려하여본 연구자들은 평가자들로 하여금 분리된 지문 시료를 원본지문과 함께 평가하게 하였다.
1990년 3월 미국 버지니아에 거주하던 Dawn Bruce가 자택에서 강간살해 당했다. 법과학 실험실 요원들의 피묻은 베개를 감식하여 희미한 지문 융선 형태를 관찰하였고, 1,8-Diazafluoren-9-one (DFO)를 사용하여 지문을 현출하였다. 이를 촬영하여 지문 감정을 시도하였으나 지문 융선의 품질이 저하된 상태였고 베개에 수놓아진 패턴에 의해 지문의 식별능 (discriminating power)이 좋지 않았다.
수집한 25개의 겹친지문을 FFT로 분리하여 얻어낸 지문 이미지를 특정 오류 (다른 지문을 같은 지문이라고 판정하는 오류)용 지문 샘플 4쌍, 배제 오류 (같은 지문을 다른 지문이라고 판정하는 오류)용 지문 샘플 12쌍으로 분류하였다. 연구자가 제시한 지문 일치 여부 검사 기준에 따라 평가자들이 검사한 결과는 <그림 22>, <그림 23>과 같다.
연구진들은 FFT 기술이 소프트웨어 간의 호환성이 좋고 합리적인 비용을 갖는다는 점, 잡음이 많은 지문 이미지를 효과적으로 개선시키는 방법으로 평가하였다(Kaymz & Mitra, 1993).
또한 제대로 분리되지 않은 지문이 실제로 존재하는 지문과 동일한 것으로 오인될 가능성은 매우 적기 때문에 특정오류가 발생할 우려는 상대적으로 적지만 특정 지문과 1:1대조를 했을 때 배제 오류는 쉽게 발생할 가능성이 있다는 사실에 주목하였다. 이러한 FFT의 한계를 검증하고자 평가자들로 하여금 FFT로 분리된 지문과 원본 지문을 1:1 대조하도록 하였다.
지문 전문가 커뮤니티인 Scientific Working Group on Friction ridge Analysis, Study and Technology (SWGFAST)는 지문의 질적 · 양적인 면을 모두 고려하는 총체적 접근방법 (holistic approach)에 근거하여 지문 평가 기준을 제시하였는데, 그 내용을 반영하여 본 연구의 취지에 맞도록 연구자들이 개선한 평가 기준을 사용하였다.
지문은 세라믹 잉크패드 (SIRCHIE, USA) 또는 일회용 잉크먹지 (SIRCHIE, USA)를 이용하여 종이에 찍었다. 지문을 1회 유류한 뒤 촬영하고, 그 지문 위에 동일한 사람이 동일한 손가락을 이용하여 원래의 지문과 방향이 다른 지문을 찍어 겹친 지문을 만든 뒤 촬영하였다.
지문은 세라믹 잉크패드 (SIRCHIE, USA) 또는 일회용 잉크먹지 (SIRCHIE, USA)를 이용하여 종이에 찍었다. 지문을 1회 유류한 뒤 촬영하고, 그 지문 위에 동일한 사람이 동일한 손가락을 이용하여 원래의 지문과 방향이 다른 지문을 찍어 겹친 지문을 만든 뒤 촬영하였다. 카메라 본체는 Panasonic DMC-GM1 (Japan)을 사용하였고, 렌즈는 Olympus M.
평가자들은 원래의 지문과 FFT로 개선된 지문의 품질을 에 제시된 기준에 따라 평가하였다.
대상 데이터
실험에 사용된 지문은 20세 이상 40세 미만의 성인 남녀 18명을 대상으로 사전에 동의를 얻은 뒤 수집하였다. General pattern은 모든 지문 제공자에게서 수집하였고, core영역은 여성 3명과 남성 1명, delta영역은 여성 2명과 남성 1명에게서 수집하였다.
연구자들은 평가자들이 분리된 지문의 일치 여부를 검사할 때 오류를 얼마나 저지르는지 알아보기 위하여 특정 오류 검사용 지문샘플 4쌍, 배제오류 검사용 지문샘플 12쌍을 시험자들에게 제공하였다. <그림 22>, <그림 23>에 제시된 것처럼 결과 적으로 같은 지문을 다르다고 판정한 배제오류는 61% 발생하였고, 다른 지문을 같다고 판정한 특정오류도 5%나 발생하였다.
지문을 1회 유류한 뒤 촬영하고, 그 지문 위에 동일한 사람이 동일한 손가락을 이용하여 원래의 지문과 방향이 다른 지문을 찍어 겹친 지문을 만든 뒤 촬영하였다. 카메라 본체는 Panasonic DMC-GM1 (Japan)을 사용하였고, 렌즈는 Olympus M.Zuiko Digital ED 60mm 1:2.8 Macro (Japan)을 사용하였다.
평가를 위해 선정된 평가자는 법과학 교육을 받은 28명이며, 7명의 과학수사 실무자와 21명의 법과학 전공자로 구성하였다. 지문 전문가 커뮤니티인 Scientific Working Group on Friction ridge Analysis, Study and Technology (SWGFAST)는 지문의 질적 · 양적인 면을 모두 고려하는 총체적 접근방법 (holistic approach)에 근거하여 지문 평가 기준을 제시하였는데, 그 내용을 반영하여 본 연구의 취지에 맞도록 연구자들이 개선한 평가 기준을 사용하였다.
평가자들에게 제공된 지문은 앞서 수집한 25개의 지문 중 특정 오류 (다른 지문을 같은 지문이라고 판정하는 오류)용 지문 샘플 4쌍, 배제 오류 (같은 지문을 다른 지문 이라고 판정하는 오류)용 지문 샘플 12쌍이었다. 평가자들에게 지문 평가 및 일치 여부 검사 기준에 대한 가이드라인을 제외한 연구 관련 내용은 고지하지 않았다.
성능/효과
, 에 제시된 것처럼 결과 적으로 같은 지문을 다르다고 판정한 배제오류는 61% 발생하였고, 다른 지문을 같다고 판정한 특정오류도 5%나 발생하였다.
<표 1>의 기준에 따른 지문 평가 결과는 <표 3>과 같다. 각 지문의 평가 점수를 분석한 결과, 원본지문을 평가한 점수의 평균보다 FFT로 분리하여 얻은 지문을 평가한 점수의 평균이 현저히 낮았다. 평균값의 차이가 가장 큰 지문은 3번 지문으로 2.
그는 FFT로 침대 시트 패턴을 제거하고 색감을 조정하여 이미지를 개선하였다. 개선된 지문에서 관찰되는 융선 특징점의 개수가 12개로 늘어났으며 심지어 장문에 서는 총 40개의 특징점이 관찰되었다. 지·장문 감정 결과 침대 시트에 유류된 지·장문은 이미 유력한 용의자로 거론된 Eric Hayden의 것이었다.
Dalrymple 외(1994)의 연구에서는 실제 사례를 중심으로 다양한 이미지 증강 기법의 법과학적 사용에 대해 서술하였다. 결론적으로 증거 분석가가 아날로그 이미지보다 디지털 이미지를 분석하는 것이 이미지의 각 구성 요소를 제어하는데 효과적이라고 밝혔다. 또한 FFT를 사용하여 지문 이미지를 적절히 개선하면 방해되는 패턴을 줄이고 이미지를 개선할 수 있다고 하였다.
본 연구 결과는 FFT를 통한 겹친지문의 분리가 경우에 따라서 심각한 오류를 초래할 수 있다는 사실을 보여주고 있다. 앞에서 살펴본 바와 같이 지문의 품질이 저하 되는 것은 경우에 따라 매우 위험할 수 있다.
분리 전과 분리 후의 지문의 품질을 평가한 점수는 에 나타나 있는데 원본지문보다 FFT로 분리하여 얻은 지문의 점수가 더 낮은 것으로 보아 FFT로 분리하여 얻은 지문의 품질이 떨어졌음을 알 수 있다.
Kaymaz 외(1993)의 연구에서는 여러 이미지 증강 기술을 비교하였다. 실험 결과 FFT를 통한 지문 이미지 개선이 다른 이미지 증강 기법보다 대조비 개선의 측면에서 뛰어난 결과를 보였다. 연구진들은 FFT 기술이 소프트웨어 간의 호환성이 좋고 합리적인 비용을 갖는다는 점, 잡음이 많은 지문 이미지를 효과적으로 개선시키는 방법으로 평가하였다(Kaymz & Mitra, 1993).
이상의 권고 사항들에 의하면 FFT는 증강하고자 하는 패턴과는 확연히 다르고 일정하게 반복되는 신호를 가진 패턴의 배경을 지우는데 사용할 수 있는 기능이라는 사실을 알 수 있다.
후속연구
지문 외에도 이미지증강은 다양한 영역에서 활용되고 있으므로 본 연구의 시사점은 다른 영역에서의 이미지증강 기술이 법적 증거능력의 문제로 이어지는 경우의 논의에 유용하게 참조될 수 있을 것으로 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
사진이란 무엇인가?
사진은 가장 일반적으로 사용되는 현장 기록 방법으로, 증거물 관리의 연속성을 유지하고 현상을 있는 그대로 담아낼 수 있기 때문에 범죄수사 및 각종 사고조사에 널리 이용된다. 최근에는 디지털 카메라가 이용되기 때문에 이미지 조작에 따른 진정성(authenticity) 훼손위험이 있어 이미지 증강에 사용할 수 있는 방법이 제한적인데, 그 중 널리 활용되는 하나가 푸리에 변환 (Fourier transform)이다.
시간의 영역을 주파수 영역으로 변환시키는 작업을 무엇이라 하는가?
이 신호는 크게 시간에 따른 신호의 진폭과 주파수에 따른 신호의 분포라는 두 가지 관점에서 해석할 수 있다. 시간의 영역을 주파수 영역으로 변환시킬 수 있는데 이작업을 푸리에 변환 (Fourier transform)이라 한다. 즉 파동을 푸리에 변환한 결과가그 파동을 구성하는 주파수이다.
적절한 기록의 방법은 무엇이 있는가?
적절한 기록은 범죄 등 사고의 상황을 재구성하는데 가장 중요하게 사용되고 기억의 환기 및 진술을 지지하거나 반박하는데 사용될 수 있으며 나아가 재판에서는 유무죄 판결에 직접적인 영향을 미친다. 기록하는 방법에는 스케치, 노트 필기, 비디오 및 사진 촬영이 있으며, 이들은 상호 유기적인 관계를 가지고 있다(Fish, Miller, Braswell & Wallace, 2014). 그중에서도 사진은 가장 일반적으로 사용되는 현장 기록 방법으로서 증거물 관리의 연속성(chain of custody)을 유지하고 무결성을 입증하는데 도움을 준다.
조형우 (2016). 법사진의 증거가치 향상을 위한 디지털 처리과정에서의 진정성 및 무결성 확보에 관한 연구. 순천향대학교 법과학대학원 석사학위논문.
Blitzer, H. L., Stein-Ferguson, K., & Huang, J. (2010). Understanding forensic digital imaging. Academic Press.
Dalrymple, B. (2018). Fast fourier transform: A Niche, but critical strategy in optimizing impression evidence. Journal of Forensic Science and Medicine, 4(4), 192.
Dalrymple, B., & Menzies, T. (1994). Computer enhancement of evidence through background noise suppression. Journal of Forensic Science, 39(2), 537-546.
Dalrymple, B., & Smith, J. (2018). Forensics Digital Image Processing, 1st Ed. CRC Press.
Fish, J., Miller, L., Braswell, M., & Wallace, E. (2014). Crime Scene Investigation, 3rd Ed. Elsevier.
Haber, L., & Haber, R.. (2009). Challenges to fingerprints. Lawyers & Judges Publishing Company, Inc.
Kaymaz, E., & Mitra, S. (1993). A novel approach to Fourier spectral enhancement of laser-luminescent fingerprint images. Journal of Forensic Science, 38(3), 530-541.
Marsh, N. (2014). Forensic Photography: A Practitioner's Guide. John Wiley & Sons.
Olsen, R. D. (1978). Scott's Fingerprint Mechanics. Charles C Thomas Pub.
Ramotowski, R. (2013). Lee and Gaensslen's Advances in Fingerprint Technology, 3rd Ed. CRC Press.
Robinson, E. M. (2016). Crime scene photography. Academic Press.
Shraddha, K. M., & Priyanka, S. J. (2015). Separation of Overlapped Fingerprints for Forensic Applications. International Journal of Engineering and Technology, 2(9), 1741-1743.
Scientific Working Group on Friction Ridge Analysis Study and Technology, Standards for Examining Friction Ridge Impressions and Resulting Conclusions (Latent/Tenprint), available at www.swgfast.org, 검색일 2019.08.20.
Scientific Working Group on Imaging Technology, Overview of SWGIT and the Use of Imaging Technology in the Criminal Justice System, available at www.swgit.org, 검색일 2019.04.20.
State v. Hayden, http://caselaw.findlaw.com/wa-court-of-appeals/1189825.html, 검색일 2019.06.11.
The Forensics Library, http://aboutforensics.co.uk/robert-knight/, 검색일 2019.06.11.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.