[논문]PCA 기반 특징 되먹임을 이용한 중요 영역 추출

이승현; 김도연; 최상일; 정구민

doi:10.17661/jkiiect.2020.13.6.461

PCA 기반 특징 되먹임을 이용한 중요 영역 추출
Extraction of Important Areas Using Feature Feedback Based on PCA 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.13 no.6, 2020년, pp.461 - 469

이승현 (Electronic Engineering, Kookmin University) , 김도연 (Electronic Engineering, Kookmin University) , 최상일 (Computer engineering, Dankook University) , 정구민 (Electronic Engineering, Kookmin University)

초록
AI-Helper

본 논문에서는 손글씨 숫자 데이터셋, 얼굴 데이터셋의 중요영역 추출을 위한 PCA 기반의 특징되먹임방법을 제안한다. 이전의 LDA 기반의 특징되먹임 방법을 확장하여 PCA 기반 특징되먹임 방법이 제안된다. 제안된 방법에서 데이터에 차원 축소 머신러닝 알고리듬 중 하나인 PCA 기법을 적용하여 데이터를 중요한 특징 차원들로 축소한다. 차원 축소과정에서 도출되는 weight를 통해 축소된 각 차원 축에서의 데이터 중요 지점을 확인한다. 각 차원 축은 축의 고유값의 크기에 따라 전체 데이터에서의 가중치가 다르다. 이에 각 차원 축의 고유값의 크기에 비례하는 가중치를 부여하여 각 차원 축에서의 데이터 중요 지점을 합하는 연산 과정을 거친다. 연산 과정을 통해 얻어진 데이터에 Threshold를 적용하여 데이터의 중요 영역을 구한다. 그 후 도출된 데이터의 중요 영역에 원본데이터로 역매핑을 유도하여 원본 데이터 공간에서 중요영역을 선택한다. MNIST 데이터셋에 대한 실험 결과를 확인하고 기존의 LDA 기반의 특징되먹임 방법을 통한 결과와 비교를 하여 PCA기반 특징되먹임을 기반한 패턴 인식 방법의 유효성과 가능성을 확인한다.

Abstract ▼ AI-Helper

In this paper, we propose a PCA-based feature feedback method for extracting important areas of handwritten numeric data sets and face data sets. A PCA-based feature feedback method is proposed by extending the previous LDA-based feature feedback method. In the proposed method, the data is reduced to important feature dimensions by applying the PCA technique, one of the dimension reduction machine learning algorithms. Through the weights derived during the dimensional reduction process, the important points of data in each reduced dimensional axis are identified. Each dimension axis has a different weight in the total data according to the size of the eigenvalue of the axis. Accordingly, a weight proportional to the size of the eigenvalues of each dimension axis is given, and an operation process is performed to add important points of data in each dimension axis. The critical area of the data is calculated by applying a threshold to the data obtained through the calculation process. After that, induces reverse mapping to the original data in the important area of the derived data, and selects the important area in the original data space. The results of the experiment on the MNIST dataset are checked, and the effectiveness and possibility of the pattern recognition method based on PCA-based feature feedback are verified by comparing the results with the existing LDA-based feature feedback method.

주제어

표/그림 (13)

그림 그림 1. PCA+LDA 특징마스크 추출 Fig. 1. Extract Feature mask
그림 그림 3. PCA 특징되먹임 순서도 Fig. 3. PCA Flow chart of Feature Feedback
그림 그림 2. 특징 되먹임 기반 얼굴 인식 Fig. 2. Face recognition based on Feature feedback
그림 그림 4. MNIST Eigenface 이미지 Fig. 4. MNIST Eigenface Image
그림 그림 5. MNIST Eigenmask 이미지 Fig. 5. MNIST Eigenmask Image
그림 그림 7. MNIST PCA 특징마스크 추출 Fig. 7. Extract MNIST PCA　Featuremask
그림 그림 8. MNIST 원본이미지 중요영역 필터링 Fig. 8. MNIST Original data Filtering
그림 그림 6. Eigenmask 상위 30%픽셀 중요부분 Fig. 6. Eigenmask TOP 30% important pixel
그림 그림 9. PCA 특징되먹임 기반 정확도 분류 Fig. 9. PCA　Featurefeedback Classification
그림 그림 10. EI, FI PCA 특징마스크 이미지 Fig. 10. EI, FI PCA Featuremask image
표 표 2. 특징마스크와 분산량에 따른 인식률 변화 Table 2. Recognition rate of Feature mask and the Dispersion rate
표 표 1. PCA와 LDA기반 MNIST 정확도 분류 Table 1. PCA & LDA base MNIST Classification
표 표 3. 특징마스크와 이진화 비율에 따른 인식률 변화 Table 3. Recognition rate of Feature mask and Binarization rate

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 MNIST는 LDA 를 통한 정확도 분류 진행할 때 차원을 미리 축소를 할 필요가 없게 되어 PCALDA를 통해 정확도 분류나 fisherface를 추출하지않고 LDA만 이용하여 과정을 수행한다. 본 실험에서는 PCA를 이용한 특징마스크 특징점 확인, LDA를 이용한 특징 마스크 특징점 확인 결과를 비교하여 PCA 특징 마스크의 성능을 확인한다.
이 논문에서는 PCA를 이용한 Eigenface를 기반으로 데이터의 중요 특징지점을 추출하는 방법을 제안한다.
이 논문에서는 기존의 특징 되먹임 기반 패턴인식 방법을 확장하여 PCA를 이용한 중요 영역추출 방법을 제안한다. 일반적으로 LDA 기반 방법이 PCA에 비해서 분류율이 높지만, 일부 데이터에 대해서는 PCA가 더 효율이 좋은 경우가 있다.
성능 비교를 진행했다. 이 논문의 연구는 MNIST데이터에서 데이터 차원 축소시의 동일한 데이터 보존량을 기준으로 PCA가 LDA보다 성능이 높다는 것을 기반하여 MNIST데이터에서 PCA기반 특징되먹임의 높은 인식률을 예상하고 진행했다. 해당 실험은 PCA, LDA모두 93% 가량 이상의 분산량을 가질 때 기반으로 Eigenface, Fisherface를 추출하여 각 차원 축소 알고리듬의 특징 마스크를 추출했다.

제안 방법

MNIST의 특징되먹임을 하기 위해 우선 PCA, LDA를 이용한 MNIST데이터 정확도 분류를 진행한다. 해당 과정을 통해 MNIST데이터 정확도 분류 성능이 좋은 차원 축소 알고리듬을 확인한다.
PCA를 이용해 차원을 축소하고 축소된 각 차원을 이루는 벡터 공간인 Eigenface를 추출한다. Eigenface는 원본 데이터의 공분산 데이터의 고유값의 크기에 Eigenface의 얼굴 특성이 비례한다.
본 논문에서는 기준점값 T를 데이터의 픽셀 개수를 일정량으로 기준점을 잡아서 기준을 지정한다. 예로 MNIST데이터에서 기준점 T를 데이터 크기에서 값이 큰 상위 30%를 잡도록 설정 시 EI(Eigenmask Important)를 도출하면 그림6과 같은 이미지로 표현할 수 있다.
제안 방법에서는 PCA로 얻어진 특징을 되먹임하여 중요영역을 추출하고 데이터량과 계산량을 절감할 수 있도록 한다. 실험에서는 손글씨 데이터 베이스인 MNIST 데이터셋[10]을 통하여 제안 방법의 효용성을 검증한다.
이 논문에서는 PCA를 이용한 특징되먹임 방법을 제시하고 MNIST데이터셋으로 PCA 특징 되먹임의 성능과 기존의 LDA를 이용한 특징 되먹임의 성능 비교를 진행했다. 이 논문의 연구는 MNIST데이터에서 데이터 차원 축소시의 동일한 데이터 보존량을 기준으로 PCA가 LDA보다 성능이 높다는 것을 기반하여 MNIST데이터에서 PCA기반 특징되먹임의 높은 인식률을 예상하고 진행했다.
이때 실험조건은 PCA, LDA에서 각 마스크를 추출하고 마스크값에서 상위 30%(EI, FI), 하위 30%(EU, FU)를 추출한 뒤 이를 원본 데이터에 적용시켰을 때의 정확도 분류를 구하여 표2, 그림6으로 구성을 하였다.
이후 원본데이터 개수 이하의 차원을 가진 데이터에 LDA를 적용시켜 Fisherface 를 추출하고 Fisherface의 평균값을 기준으로 Fisherface의 중요지점을 분류하여 이진화시킨다. 이렇게 얻은 Featuremask를 원본 데이터에 적용하여 정확도 분류를 진행하고 이를 통해 특징 되먹임의 성능을 확인한다.
해당 데이터는 28x28의 이미지로 구성이 되어있어서 데이터의 개수보다 작은 형태로 구성되어있다. 이에 MNIST는 LDA 를 통한 정확도 분류 진행할 때 차원을 미리 축소를 할 필요가 없게 되어 PCALDA를 통해 정확도 분류나 fisherface를 추출하지않고 LDA만 이용하여 과정을 수행한다. 본 실험에서는 PCA를 이용한 특징마스크 특징점 확인, LDA를 이용한 특징 마스크 특징점 확인 결과를 비교하여 PCA 특징 마스크의 성능을 확인한다.
회피한다. 이후 원본데이터 개수 이하의 차원을 가진 데이터에 LDA를 적용시켜 Fisherface 를 추출하고 Fisherface의 평균값을 기준으로 Fisherface의 중요지점을 분류하여 이진화시킨다. 이렇게 얻은 Featuremask를 원본 데이터에 적용하여 정확도 분류를 진행하고 이를 통해 특징 되먹임의 성능을 확인한다.
일반적으로 LDA 기반 방법이 PCA에 비해서 분류율이 높지만, 일부 데이터에 대해서는 PCA가 더 효율이 좋은 경우가 있다. 제안 방법에서는 PCA로 얻어진 특징을 되먹임하여 중요영역을 추출하고 데이터량과 계산량을 절감할 수 있도록 한다. 실험에서는 손글씨 데이터 베이스인 MNIST 데이터셋[10]을 통하여 제안 방법의 효용성을 검증한다.
특징 되먹임 기반 패턴 인식 방법 [4]은 주어진 데이터 중에서 중요한 영역을 추출하기 위해서 제안되었다. 패턴인식으로 추출된 특징을 데이터 영역으로 역사상하여 중요한 영역을 추출할 수 있도록 하였다. [5]에서는 PCA+LDA 기반으로 얼굴 영상에 대해서 중요영역을 추출하였으며, [6]에서는 전자코 데이터에 대해서 클래스 내 데이터를 정규화한 LDA방식인 RLDA(Regularized Linear Discriminant Analysis)[3]를 기반으로 중요영역을 추출하였다.
해당 PCA 특징되먹임 과정들을 다 진행하고 획득한 특징데이터를 PCA를 통해 분류를 진행하여 특징되먹임 정확도 비교를 진행한다.
이 논문의 연구는 MNIST데이터에서 데이터 차원 축소시의 동일한 데이터 보존량을 기준으로 PCA가 LDA보다 성능이 높다는 것을 기반하여 MNIST데이터에서 PCA기반 특징되먹임의 높은 인식률을 예상하고 진행했다. 해당 실험은 PCA, LDA모두 93% 가량 이상의 분산량을 가질 때 기반으로 Eigenface, Fisherface를 추출하여 각 차원 축소 알고리듬의 특징 마스크를 추출했다. 두 가지 실험 결과 MNIST데이터의 경우 PCA를 이용한 특징 마스크 적용 시 LDA를 이용한 특징 마스크보다 확실한 성능 우위를 보인다.
분류를 진행한 실험 결과이다. 해당 실험을 통해 각 이진화 비율에서의 EI, FI 및 추가적으로 단순히 데이터의 평균값에서 데이터의 중요치를 뽑아내는 픽셀 카운팅을 비교하여 정확도 분류를 진행한다. 픽셀 카운팅은 단순히 각 픽셀의 값을 더하여 가장 많은 순서로 데이터를 뽑아낸 방법이다.

대상 데이터

MNIST데이터셋은 사람 손글씨 데이터로 손글씨로 쓰여진 0 ~ 9숫자에 대한 70000개의 데이터로 구성된다. 해당 데이터는 28x28의 이미지로 구성이 되어있어서 데이터의 개수보다 작은 형태로 구성되어있다.

데이터처리

제안된 PCA를 이용한 데이터의 중요지점 판단알고리즘을 MNIST데이터셋에 적용하여 성능을 평가한다. MNIST데이터셋은 사람 손글씨 데이터로 손글씨로 쓰여진 0 ~ 9숫자에 대한 70000개의 데이터로 구성된다.

성능/효과

해당 실험은 PCA, LDA모두 93% 가량 이상의 분산량을 가질 때 기반으로 Eigenface, Fisherface를 추출하여 각 차원 축소 알고리듬의 특징 마스크를 추출했다. 두 가지 실험 결과 MNIST데이터의 경우 PCA를 이용한 특징 마스크 적용 시 LDA를 이용한 특징 마스크보다 확실한 성능 우위를 보인다. 이러한 결과를 보았을 때 MNIST데이터의 특징되먹임을 진행 시 PCA가 LDA보다 좋은 성능을 보임을 확인하였다.
실험을 통해 PCA를 이용한 특징되먹임 EI가 전체 데이터의 30%만 사용했음에도 원본 데이터와 유사한 정확도를 보임을 확인하며 기존의 머신러닝을 통한 특징되먹임 방식인 LDA 적용 방식보다 2.23%의 성능 우위가 있음을 확인한다.
이때 PCA를 통한 정확도 분류 시 93%의 분산을 기준으로 분류를 진행하였다. 이 결과로 MNIST데이터에서 EI, FI, 픽셀 카운팅 간의 정확도 분류 시 제안된 PCA를 적용한 특징 되먹임 방식의 평균 정확도는 96.99%, 기존의 LDA를 적용한 특징되먹임 방식의 평균정확도는 95.09%, 픽셀 카운팅의 평균 정확도는 68.62% 가 나오는 것을 확인할 수 있다. 이를 통해 MNIST데이터의 특징되먹임은 PCA > LDA > 픽셀 카운팅 순으로 높은 성능을 보임을 확인한다.
이때 분산량은 축소한 차원이 보유한 고유값의 비율로 정확도 분류 시 분산량은 PCA, LDA 방식 모두 93%로 설정을 하였다. 이때 PCA를 통한 정확도 분류는 97.26%, LDA 를 이용한 분류는 89.74%가 나오는 것을 확인할 수가 있다. 따라서, MNIST와 같은 데이터셋은 PCA 기반의 특징되먹임이 LDA 기반 특징 되먹임[4] [5]에 비해서 성능이 좋을 수 있다.
두 가지 실험 결과 MNIST데이터의 경우 PCA를 이용한 특징 마스크 적용 시 LDA를 이용한 특징 마스크보다 확실한 성능 우위를 보인다. 이러한 결과를 보았을 때 MNIST데이터의 특징되먹임을 진행 시 PCA가 LDA보다 좋은 성능을 보임을 확인하였다.
62% 가 나오는 것을 확인할 수 있다. 이를 통해 MNIST데이터의 특징되먹임은 PCA > LDA > 픽셀 카운팅 순으로 높은 성능을 보임을 확인한다.
이를 통해 데이터셋의 종류에 따라 기존의 LDA 특징되먹임 뿐이 아닌 제안된 PCA 특징 되먹임도 적용을하여 보다 확실한 데이터 중요 지점을 판단할 수 있음을 확인할 수 있다.
영역이 존재한다. 이에 데이터에서 중요한 영역만을 추출하여 보다 적은 데이터 특징만으로 원본 데이터와 비슷한 성능을 얻는 특징 되먹임을 이용하여 원본데이터에서 노이즈가 제거된 데이터를 추출할 수 있다. [4][5]에서는 데이터의 중요영역을 추출하기 위한 PCA+LDA기반 특징 되먹임 알고리듬을 제안하였다.

후속연구

향후에는 MNIST뿐만 아닌 추가적인 데이터셋들을 통한 연구를 진행하여 PCA, LDA 특징 되먹임 성능 차이에 대한 추가적인 연구와 더불어 특징 되먹임 뿐만 아닌 데이터 복원 등 다른 요소에서의 PCA, LDA의 성능 비교 연구가 필요할 것으로 생각된다.

참고문헌 (10)

M. Turk and A. Pentland, "Eigenfaces for recognition," J. Cognitive Neurosci. vol. 3, no. 1, pp. 71-86, 1991
W. Lu, KN. Plataniotis, and N. Venetsanopoulos, "Face recognition using LDA -based algorithm," IEEE Trans. Neural Network, vol. 14, no. 1, pp. 195-200, 2003.
T. V. Bandos, L. Bruzzone and G. Camps-Valls, "Classification of hyperspectral images with regularized linear discriminant analysis", IEEE Trans. Geosci. Remote Sensing, vol. 47, no. 3, pp. 862-873, 2009.
G.-M. Jeong, H.-S. Ahn, S.-I. Choi, N. Kwak, C. Moon Pattern recognition using feature feedback: application to face recognition International Journal of Control, Automation and Systems, 8, pp. 141-148, 2010

상세보기
Su-Hyun Kim, Sang-Il Choi, Sung-Han Bae, Young-Dae Lee, Gu-Min Jeong, "Pattern Recognition using Feature Feedback : Performance Evaluation for Feature Mask" The Institute of Internet, Broadcasting and Communication Vol 10.5, pp 179-185, October 2010
Sang-Il Choi, Su-Hyun Kim, Yoonseok Yang, Gu-Min Jeong, "Data Refinement and Channel Selection for a Portable E-Nose System by the Use of Feature Feedback" Sensors 10387-10400 October 2010
Alok Sharma, Kuldip K. Paliwal "Linear discriminant analysis for the small sample size problem: an overview", International Journal of Machine Learning and Cybernetics, 6, pp 443-454, 2015

상세보기
Sebastian Bach, Alexander Binder, Gregoire Montavon,Frederick Klauschen,Klaus-Robert Muller, Wojciech Samek "On pixel-wise explanations for non-linear classfier decisions by layerwise relevance propagation" PloS One e0130140 July 2015
Selvaraju R.R, CogsWell M, Das A, Vedantam R, Parikh D, Batra D "Grad-CAM : Visual Explanations from Deep Networks via Gradient-based Localization" Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp 618-626 2017
Y. LeCun, "The MNIST database of handwrittendigits," http://yann.lecun.com/exdb/mnist

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증