선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 즉, 하나의 숫자와 자연배경, 잡음으로 구성된 이미지에서 숫자를 제외한 자연배경과 잡음을 제거하는 시스템의 구조를 살펴보고, 이때 사용하는 오토인코더와 적층 오토인코더에 대해 알아본다. 또한 적층 오토인코더를 효과적으로 학습시키는 Greedy layer-wise unsupervised training 기법에 대하여 살펴보고, 오토인코더에 잡음을 주는 방법과 이의 특성을 살펴본다. 4장에서는 실험의 세부과정을 설명하고 실험결과를 분석한다.
- 본 논문은 오토인코더를 이용하여 숫자와 자연배경으로 구성되어 있는 이미지에서 자연배경을 제거함으로서 숫자를 인식하는 정확도를 높이는 방법을 연구하였다.
- 2장에서는 관련연구로서 캡챠 공격에 사용된 대표적인 방법들에 대해 설명하였으며, 3장에서는 본 논문에서 제안하는 시스템의 전체적인 구조와 사용되는 딥러닝 모델에 대하여 설명하였다. 즉, 하나의 숫자와 자연배경, 잡음으로 구성된 이미지에서 숫자를 제외한 자연배경과 잡음을 제거하는 시스템의 구조를 살펴보고, 이때 사용하는 오토인코더와 적층 오토인코더에 대해 알아본다. 또한 적층 오토인코더를 효과적으로 학습시키는 Greedy layer-wise unsupervised training 기법에 대하여 살펴보고, 오토인코더에 잡음을 주는 방법과 이의 특성을 살펴본다.
제안 방법
- 그 다음으로, Canny Edge Detection[19]을 사용하여 숫자 이미지의 테두리를 찾아서, 이중 1 ∼ 10%의 테두리 픽셀과 테두리 인접 픽셀의 채도와 밝기 값을 해당 숫자 이미지의 최대 값과 최소 값 사이의 임의의 값을 가지게 하여 앞서 추출했던 숫자 이미지에 다양한 형태의 잡음을 추가하였다.
- 그리고 숫자 이미지에 대해 기울기는 –20° ∼ 20°를 적용하여서, 원래의 숫자 이미지를 변형하였다.
- 그리고 학습은 손실 함수를 최소화시키는 가중치 θ를 구하는 방식으로 이루어지며, 손실함수로는 Cross Entropy를 사용한다.
- 이러한 오토인코더 구조를 응용하여, Junyuan Xie[9] 등은 잡음제거 오토인코더와 희소 표현(Sparse coding)을 합친 Stacked Sparse Denoising Auto-encoders(SSDA)를 사용하여 배경이미지와 혼재된 문자 이미지를 제거하고 훼손된 이미지 영역을 복원(Inpainting)하였다. 배경이미지 복원을 위해 잡음제거 오토인코더(Denoising autoencoder)를사용하였으며, 입력 데이터인 글자가 포함된 배경이미지로부터 목표 값인 원본 배경이미지를 학습하도록 하였다. 그 결과 학습 데이터와 유사한 패턴의 문자 이미지에 한해 문자 이미지를 제거하고 원본 배경 이미지에 가깝게 복원할 수 있었다.
- 그리고 숫자 이미지에 대해 기울기는 –20° ∼ 20°를 적용하여서, 원래의 숫자 이미지를 변형하였다. 생성된 HSV 형태의 이미지는 그레이 스케일링을 적용한 후 신경망에서 학습 가능한 형태인 0에서 1사이의 값으로 일반화하였다. 출력 데이터는 입력 데이터 생성 시 선정된 숫자 이미지를 사용하였으며, 해당 숫자를 의미하는 교사 값은 임의로 선택된 숫자와 일치하도록 생성하였다.
- 생성방법은 선택된 자연배경 이미지에서 각 픽셀의 HSV 값을 각각 (H, S, V), 선택된 숫자 이미지에서 각 픽셀의 HSV 값을 각각 (H’, S’, V’)라고 했을 때, 조합된 캡챠 이미지는 해당 픽셀이 배경일 경우 (H, S, V), 해당 픽셀이 숫자의 일부분일 경우 (H, S’, V’)가 되도록 하였다.
- 콘볼루션 필터링은 입력 이미지의 각 픽셀과 해당 픽셀에 이웃한 영역의 값에 대해 특정 값을 가진 커널과의 행렬 곱셈 연산으로 이루어지며, 커널 값에 따라 이미지의 초점을 흐리게 만드는 블러링(Blurring)과 이미지의 윤곽을 또렷하게 만드는 샤프닝(Sharpening) 등을 원본 이미지에 적용할 수 있다. 여기서는 캡챠 이미지에 블러링-샤프닝을 두 번 반복 적용하여 자연배경을 제거하였고, 이후 세그멘트 단계에서는 숫자들이 모두 떨어져 위치하기 때문에 히스토그램을 이용하여 글자를 분리하였다.
- 이중 오토인코더 단계는 잡음인 자연배경을 제거하고 숫자 이미지를 복원하는 단계이다. 오토인코더 모델들을 학습 시 입력은 숫자와 자연배경, 잡음이 혼재된 이미지를, 목표 값은 숫자만 존재하는 이미지를 사용하였으며, 학습 과정을 통해 숫자 이미지를 제외한 자연배경을 제거하였다.
- 즉, 오토인코더 모델들의 입력 데이터에 대한 복원 기능을 이용하여 자연배경을 제거하는 방법을 제시한다. 오토인코더의 모델은 하나의 은닉 계층으로 구성된 전통적인 오토인코더와 여러 개의 은닉 계층으로 구성된 적층 오토인코더(Stacked autoencoder)를 사용하고 각 구조의 복원 결과를 비교 분석하여 가장 효과적인 알고리즘을 제시한다.
- 위 실험에서는 오토인코더 모델을 사용하여 하나의 숫자와 자연배경으로 이루어진 캡챠 이미지에서 자연배경을 제거하고 이를 입력으로 하여 정확도를 측정하였다.
- 또한, 김재환[8] 등은 자연배경이 포함된 캡챠 이미지를 공격하기 위해 특징 추출 단계에서 글자에 해당하는 포그라운드 정보와 자연배경에 해당하는 백그라운드 정보를 확보한 후 SVM을 사용하여 두 부류를 분리하였다. 이때 포그라운드 정보의 경우 백그라운드인 자연배경의 종류에 따라서 각기 상이한 밝기값을 가지기 때문에 캡챠 이미지별로 적절한 문턱치를 정하여 추출하였고, 백그라운드 정보는 글자가 중앙에 위치하는 특성을 이용해 캡챠 이미지의 가장자리에서 추출하였다. SVM를 이용한 특징 분리시 파라미터로는 앞서 [5]에서 언급한 HSV 색 공간 중 S(채도)와 V(명도), 그리고 영상의 Texture를 나타내는 Local Binary Pattern(LBP) 정보를 사용하였다.
- 제안하는 방법은 다양한 오토인코더의 모델을 이용하여 자연배경이 제거된 숫자 이미지를 복구하고, 이를 입력으로 받는 Softmax Classifier를 사용하여 숫자별로 분류하는 형태이다. 실험 결과 오토인코더 모델에 층의 개수가 많고, 손실 함수로는 Cross Entropy를 사용하는 경우 자연배경을 효과적으로 제거하고, 이러한 결과가 숫자를 인식하는 정확도에 영향을 끼침을 확인하였다.
- 제안하는 전체적인 시스템은 오토인코더 모델의 입력을 복원하는 단계와 오토인코더 출력을 입력으로 사용하여 1에서 9까지의 숫자를 예측하는 단계로 구성되어있으며, 각 단계는 구분하여 독립적으로 학습하였다.
- 본 논문에서는 캡챠에 들어있는 자연배경을 제거하고 숫자 데이터를 자동으로 판독하기 위해 오토인코더(Autoencoder, AE) 모델들을 사용한다. 즉, 오토인코더 모델들의 입력 데이터에 대한 복원 기능을 이용하여 자연배경을 제거하는 방법을 제시한다. 오토인코더의 모델은 하나의 은닉 계층으로 구성된 전통적인 오토인코더와 여러 개의 은닉 계층으로 구성된 적층 오토인코더(Stacked autoencoder)를 사용하고 각 구조의 복원 결과를 비교 분석하여 가장 효과적인 알고리즘을 제시한다.
- 생성된 HSV 형태의 이미지는 그레이 스케일링을 적용한 후 신경망에서 학습 가능한 형태인 0에서 1사이의 값으로 일반화하였다. 출력 데이터는 입력 데이터 생성 시 선정된 숫자 이미지를 사용하였으며, 해당 숫자를 의미하는 교사 값은 임의로 선택된 숫자와 일치하도록 생성하였다.
- 학습 데이터는 입력 데이터인 숫자와 자연배경이 혼재되어 있는 이미지, 출력 데이터인 숫자만 존재하는 이미지, 교사 값인 해당 숫자의 라벨로 구성되어있다. 학습 이미지를 제작하기 위해 자연배경 이미지는 네이버 캡챠에서 500개 추출하였으며, 숫자 이미지는 네이버 캡챠에서 HSV 색 공간의 채도(Saturation)와 밝기(Value)값으로 자연배경과 글자 분리가 가능한 특성[8]을 이용하여 숫자와 자연배경이 혼재되어 있는 원본 이미지에 문턱치 기법을 적용하여숫자의 형태를 구성하고 있는 픽셀의 위치를 찾아내고, 해당 픽셀의 채도 값과 밝기 값을 1300개 추출하였다.
대상 데이터
- 이때 포그라운드 정보의 경우 백그라운드인 자연배경의 종류에 따라서 각기 상이한 밝기값을 가지기 때문에 캡챠 이미지별로 적절한 문턱치를 정하여 추출하였고, 백그라운드 정보는 글자가 중앙에 위치하는 특성을 이용해 캡챠 이미지의 가장자리에서 추출하였다. SVM를 이용한 특징 분리시 파라미터로는 앞서 [5]에서 언급한 HSV 색 공간 중 S(채도)와 V(명도), 그리고 영상의 Texture를 나타내는 Local Binary Pattern(LBP) 정보를 사용하였다.
- 실험 데이터는 네이버에서 사용하고 있는 캡챠 이미지 중에서 그림 4와 같이 하나의 숫자와 자연배경이 혼재되어 있는 특정 영역을 대상으로 하였으며, 테두리(Edge)만을 이용하여 숫자를 표현한 글씨체는 제외하였다. 실험을 위해 해당 사이트의 캡챠 이미지[18]를 다운받아 숫자와 자연배경이 혼재된 영역을 추출하였다.
- 실험에 사용된 오토인코더의 모델은 입·출력보다 적은 개수의 은닉노드 한층을 가진 오토인코더(Undercomplete autoencoder, UAE), 입·출력보다 많은 개수의 은닉노드 한층을 가진 오토인코더(Overcomplete autoencoder, OAE), 은닉 계층의 개수가 많은 적층 오토인코더(SAE)이다.
- 실험 데이터는 네이버에서 사용하고 있는 캡챠 이미지 중에서 그림 4와 같이 하나의 숫자와 자연배경이 혼재되어 있는 특정 영역을 대상으로 하였으며, 테두리(Edge)만을 이용하여 숫자를 표현한 글씨체는 제외하였다. 실험을 위해 해당 사이트의 캡챠 이미지[18]를 다운받아 숫자와 자연배경이 혼재된 영역을 추출하였다. 다운받은 캡챠 이미지 중 실험에 사용한 숫자 이미지는 1에서 9까지의 숫자로 구성되어있고, 다수의 폰트가 존재하며, 숫자의 기울기와 크기가 각각 다른 특성을 가진다.
- 테스트 데이터는 다운받은 캡챠 이미지에서 숫자와 자연배경이 혼재된 영역을 변형 없이 그대로 사용하였으며, 캡챠 이미지에 존재하는 1에서 9까지의 숫자를 각각 100개씩 임의로 추출하여 총 900개의 이미지를 테스트에 사용하였다.
데이터처리
- 실험은 Python 기반의 Tensorflow를 사용하여 진행하였으며, 1.0 버전을 이용하였다. 학습 데이터 생성 시 HSV 색 공간 변환 및 Canny edge detection을 적용하기 위해 OpenCV를 사용하였으며, 오토인코더의 구현을 위해서 [20]을 참고하였다.
이론/모형
- 본 논문에서는 캡챠에 들어있는 자연배경을 제거하고 숫자 데이터를 자동으로 판독하기 위해 오토인코더(Autoencoder, AE) 모델들을 사용한다. 즉, 오토인코더 모델들의 입력 데이터에 대한 복원 기능을 이용하여 자연배경을 제거하는 방법을 제시한다.
- 마지막으로 잡음을 이용하는방법은 캡챠 이미지의 임의 영역에 잡음을 삽입하여 글자의 분리를 어렵게 하는 기법이다. 여기서는 Gibbs 알고리즘[5]을 사용하여 각 픽셀의 에너지를 주변 픽셀로부터 구하고, 특정 문턱치(Threshold) 이하의 에너지를 가지는 픽셀을 제거하는 방식으로 잡음을 제거할 수 있음을 설명하였다.
- 실험에 사용된 오토인코더의 모델은 입·출력보다 적은 개수의 은닉노드 한층을 가진 오토인코더(Undercomplete autoencoder, UAE), 입·출력보다 많은 개수의 은닉노드 한층을 가진 오토인코더(Overcomplete autoencoder, OAE), 은닉 계층의 개수가 많은 적층 오토인코더(SAE)이다. 오토인코더의 손실 함수로는 [21]을 참고하여 Mean Square Error(MSE)와 Cross Entropy(CE)를 사용하였으며, 이를 통해 오토인코더 모델과 사용된 손실 함수에 따른 복원된 이미지의 형태와 정확도를 확인하였다. 모든 모델은 학습 횟수가 동일하며, 이때 적층 오토인코더의 학습 횟수는 초기 가중치를 결정하는 Pre-training 단계를 제외한 Fine-tuning 단계의 학습 횟수를 말한다.
- 예측(Prediction) 단계는 오토인코더 모델의 출력인 자연배경이 제거된 숫자 이미지를 입력으로 사용하여 숫자 이미지를 분류하고 정확도를 측정하는 단계이다. 이때 파라미터를 학습하기 위한 교사 값은 One-hot encoding이 적용된 라벨을 사용하였고, 숫자 예측을 위한 활성화 함수는 Softmax classifier(SMC)를 사용하였다.
- 0 버전을 이용하였다. 학습 데이터 생성 시 HSV 색 공간 변환 및 Canny edge detection을 적용하기 위해 OpenCV를 사용하였으며, 오토인코더의 구현을 위해서 [20]을 참고하였다.
- 오토인코더는 입력 계층(Input layer), 출력 계층(Output layer), 하나의 은닉 계층으로 구성되며, 입력 계층과 출력 계층은 일반적으로 동일하다. 학습방법은 일반적인 다중 계층 신경망(Multi-layer neural network)과 같이 역전파(Backpropagation) 알고리즘을 이용하여 학습한다. 이러한 오토인코더는 인코딩 과정에서 입력 벡터 x∊[0,1]d를 식 y=fΘ(x)=s(Wx+b) 를 이용하여 은닉 계층의 표현인 y∊[0,1]d 로 변환한다.
성능/효과
- 배경이미지 복원을 위해 잡음제거 오토인코더(Denoising autoencoder)를사용하였으며, 입력 데이터인 글자가 포함된 배경이미지로부터 목표 값인 원본 배경이미지를 학습하도록 하였다. 그 결과 학습 데이터와 유사한 패턴의 문자 이미지에 한해 문자 이미지를 제거하고 원본 배경 이미지에 가깝게 복원할 수 있었다. 여기서는 오토인코더 모델을 사용하여 제한적이지만 문자 이미지를 제거하고 파손된 부분을 복원할 수 있음을 보여주었으며, 이러한 이미지 복원능력은 배경이미지를 제거하고 문자로만 이루어진 이미지 정보 추출로 응용 가능하다.
- 따라서, 객관적인 성능 비교는 어렵지만 본 실험의 의의는 네이버 캡챠에서 자연배경을 삽입하는 방식으로 적용하고 있는 문자와 배경 간 분리방지기술에 대해 오토인코더 모델을 이용하여 캡챠 이미지내 다양한 자연배경을 효과적으로 제거하였으며, 이를 입력으로 받는 단일 계층 신경망(Single-layer neural network)과 소프트맥스 함수를 사용하여 96.2%의 높은 확률로 개별 숫자 인식을 성공했다는 점이다.
- 그 이유는 오토인코더 모델과 손실 함수에 따른 이미지 복원 결과를 나타내는 그림 15, 16과 같이 Cross Entropy를 사용한 경우 분류단계의 입력으로 사용되는 숫자 이미지가 보다 선명하게 복원되어 실제 분류 단계의 학습 시 영향을 끼쳤기 때문이다. 또한 희소 조건을 적용하지 않은 OAE는 UAE나 SAE에 비해 은닉 노드 개수는 많지만, 테스트 데이터에 대한 정확도가 떨어지는 것을 확인할 수 있었다.
- 먼저, 오토인코더 모델별 정확도를 나타내는 표 2와 학습 시간에 따른 정확도를 나타내는 그림 14에서 알 수 있듯이 1개의 은닉 계층보다는 3개의 은닉 계층에서, 3개의 은닉 계층보다는 5개의 은닉 계층을 가진 오토인코더에서 테스트 데이터에 대한 정확도가 높아졌다. 또한, 오토인코더의 손실 함수로는 Cross Entropy를 사용한 결과가 Mean Square Error를 사용한 결과보다 정확도가 더 높았다.
- 앞에서 실시한 실험 결과를 바탕으로 다음과 같은 결과를 얻을 수 있었다. 먼저, 오토인코더 모델별 정확도를 나타내는 표 2와 학습 시간에 따른 정확도를 나타내는 그림 14에서 알 수 있듯이 1개의 은닉 계층보다는 3개의 은닉 계층에서, 3개의 은닉 계층보다는 5개의 은닉 계층을 가진 오토인코더에서 테스트 데이터에 대한 정확도가 높아졌다. 또한, 오토인코더의 손실 함수로는 Cross Entropy를 사용한 결과가 Mean Square Error를 사용한 결과보다 정확도가 더 높았다.
- 제안하는 방법은 다양한 오토인코더의 모델을 이용하여 자연배경이 제거된 숫자 이미지를 복구하고, 이를 입력으로 받는 Softmax Classifier를 사용하여 숫자별로 분류하는 형태이다. 실험 결과 오토인코더 모델에 층의 개수가 많고, 손실 함수로는 Cross Entropy를 사용하는 경우 자연배경을 효과적으로 제거하고, 이러한 결과가 숫자를 인식하는 정확도에 영향을 끼침을 확인하였다.
- 이러한 구조의 SAE로 복원된 이미지는 각각 그림 12, 13이며, 이중 그림 12는 숫자가 정상적으로 복원·분류된 이미지이고, 그림 13은 숫자가 비정상적으로 복원되거나 오분류된 이미지이다. 실험 결과 테스트 데이터에 대하여 3개의 은닉 계층을 가진 적층 오토인코더는 각각 92.8%(MSE), 94.1%(CE)의 정확도를 보였으며, 5개의 은닉 계층을 가진 적층 오토인코더는 각각 95%(MSE), 96.2%(CE)의 정확도를 보였다. 그림 11과 같이 SAE는 공통적으로 숫자 ‘7’과 숫자 ‘8’에 대한 오분류 비율이 가장 컸다.
- 실험 결과 테스트 데이터에 대하여 각각 88.3%(MSE), 92.6%(CE)의 정확도를 보였으며, 그림 8과 같이 OAE는 손실 함수가 MSE인 경우 숫자 ‘7’과 숫자 ‘1’, 손실함수가 CE인 경우 숫자 ‘8’과 숫자 ‘4’에 대한 오분류 비율이 가장 컸다.
- 실험 결과 테스트 데이터에 대하여 각각 91.2%(MSE), 93.1%(CE)의 정확도를 보였으며, 그림 5와 같이 UAE는 손실 함수와 상관없이 숫자 ‘7’과 숫자 ‘8’에 대한 오분류 비율이 가장 컸다.
- 이중 복잡한 배경을 이용한 방법은 선이나 다른 형태의 모양을 삽입하여 캡챠 이미지로부터 글자의 분리를 어렵게 하는 방법이다. 여기서는 게임 스크린샷들을 랜덤 배경으로 사용하고, 특정 색상을 글자에 적용한 Blizzard 캡챠를 예시로 들고 있으며, 이러한 경우에는 글자에 해당하는 색상을 제외한 모든 색상을 없앰으로서 글자를 추출할 수 있음을 보였다. 다음으로 색상의 유사성을 이용한 방법은 사람의 눈에는 구분되지만, RGB 색 공간에서는 유사한 색상을 백그라운드에 사용하여 배경과 글자의 분리를 어렵게 만든 기법이다.
후속연구
- 선행 연구와의 성능 비교가 필요하지만, [7, 8] 모두 숫자열에 대한 정확도를 측정하고 있고, 특히 [7]의 경우 자연배경은 다르지만 같은 숫자열을 가진 이미지 30개를 한 세트로 분석하고 판독하여 정확도를 측정하고 있다. 또한, 현재의 네이버 캡챠는 문자의 종류와 폰트가 다양해지고, 문자의 위치가 랜덤으로 위치하며, 문자와 문자간 분리방지기법이 적용되고 있는 등 데이터의 특성이 과거와 많이 달라졌기 때문에 앞서 소개했던 네이버 캡챠를 공격한 사례와 단순 비교를 하기에는 무리가 따른다.
- 그 결과 학습 데이터와 유사한 패턴의 문자 이미지에 한해 문자 이미지를 제거하고 원본 배경 이미지에 가깝게 복원할 수 있었다. 여기서는 오토인코더 모델을 사용하여 제한적이지만 문자 이미지를 제거하고 파손된 부분을 복원할 수 있음을 보여주었으며, 이러한 이미지 복원능력은 배경이미지를 제거하고 문자로만 이루어진 이미지 정보 추출로 응용 가능하다.
- 향후 연구로는 오토인코더와 같은 인공신경망을 사용하여 숫자가 아닌 다른 문자에 대해서도 자연배경과 같은 잡음이 제거된 형태의 이미지를 생성 및 분류하는 것과 이를 사용하여 실제로 사용되고 있는 다양한 캡챠 이미지 인식에 사용하는 연구가 가능하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.