선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 숫자 인식을 위한 PCA 기반 pRBFNNs 패턴 분류기를 설계하였다. 제안된 패턴 분류기는 PCA 알고리즘을 이용하여 높은 차원의 입력을 차원 축소하여 연산량을 줄이고, 조건부 활성함수에 가우시안 함수 대신 Fuzzy C-Means 알고리즘을 사용하여 입력 데이터간의 특성을 반영한 패턴 분류기를 구성하였다.
제안 방법
- 그리고 조건부에서 사용된 Fuzzy C-Means 클러스터링 알고리즘의 퍼지화 계수는 일반적으로 사용되는 2.0으로 정의하였고, 결론부의 다항식 형태는 1차 선형식(Linear)으로 구성하였다. 표 1은 제안된 패턴 분류기의 파라미터를 정리한 표이다.
- 제안된 패턴 분류기의 조건부에서는 가우시안 함수를 사용하지 않고 Fuzzy C-Means 클러스터링 알고리즘을 사용하여 입력 데이터 특성을 반영할 수 있도록 한다[3]. 그리고 조건부의 각 노드에서 나온 출력과 결론부에서 구한 연결가중치를 이용하여 최종 출력을 구한다. 연결가중치는 아래 식과 같이 기존의 상수항을 확장시킨 다항식 형태로 구성되고 계수는 최소자승법을 사용하여 추정한다.
- 제안된 패턴 분류기의 성능을 평가하기 위한 평가 지수는 식 (21), (22)와 같이 오분류율(Misclassification Rate)을 이용한다. 또한, 객관적인 평가를 위해 기존에 제안되었던 Neural Networks, Linear Classifier, Quadratic Classifier, Convolutional net 등 다른 패턴 분류기들과 성능을 비교 분석한다.
- 먼저 제안된 패턴 분류기의 전처리 과정으로 PCA 알고리즘을 이용하여 784개의 입력을 68개로 차원 축소하여 사용하였다. 차원을 지나치게 축소할 경우, 그림 7과 같이 원본 데이터의 정보가 손실될 수 있다.
- 본 논문에서는 숫자 인식을 위한 PCA 기반 pRBFNNs 패턴 분류기를 설계하였다. 제안된 패턴 분류기는 PCA 알고리즘을 이용하여 높은 차원의 입력을 차원 축소하여 연산량을 줄이고, 조건부 활성함수에 가우시안 함수 대신 Fuzzy C-Means 알고리즘을 사용하여 입력 데이터간의 특성을 반영한 패턴 분류기를 구성하였다. 제안된 패턴 분류기와 기존의 제안되었던 분류기들과 비교하였을 때, 다른 분류기들에 비해 비교적 간단한 구조이고, PCA 알고리즘을 통해 입력 차원을 축소하였음에도 불구하고 우수한 성능을 확인 할 수 있었다.
- 차원을 지나치게 축소할 경우, 그림 7과 같이 원본 데이터의 정보가 손실될 수 있다. 축소되는 차원의 경우 최적화 알고리즘을 이용하여 선택할 수도 있지만 본 실험에서는 고유값이 0.1 이상인 값들만을 선택하여 68개의 차원으로 축소하였다.
대상 데이터
- 본 논문에서 제안한 다항식 방사형 기저함수 신경회로망의 성능을 평가하기 위해 사용된 필기체 숫자 데이터 MNIST 데이터는 그림 6과 같이 0부터 9까지의 숫자들을 모아 놓은 데이터 집합으로 하나의 이미지는 가로 28, 세로 28 픽셀로 구성되어 있다. 데이터 수는 총 70000개이며, 학습 데이터 60000개와 테스트 데이터 10000개로 구성되어 있다.
- 본 논문에서 제안한 다항식 방사형 기저함수 신경회로망의 성능을 평가하기 위해 사용된 필기체 숫자 데이터 MNIST 데이터는 그림 6과 같이 0부터 9까지의 숫자들을 모아 놓은 데이터 집합으로 하나의 이미지는 가로 28, 세로 28 픽셀로 구성되어 있다. 데이터 수는 총 70000개이며, 학습 데이터 60000개와 테스트 데이터 10000개로 구성되어 있다.
데이터처리
- 숫자 인식 시스템으로 사용된 방사형 기저함수 신경회로망은 기존의 신경회로망과는 다르게 다차원 문제를 잘 다룰 수 있고, 강인한 네트워크 특성과 예측능력이 우수하다는 장점이 있다. 마지막으로 제안된 패턴 분류기의 성능평가를 위해 필기체 숫자 데이터인 MNIST 데이터를 사용하였고, 기존의 제안된 Neural Networks, Linear Classifier, Quadratic Classifier, Convolutional net 등의 분류기와 비교한다[10].
이론/모형
- 본 연구에서는 이러한 단점을 보완하면서 인식률 저하를 방지하기 위해 차원축소 알고리즘인 주성분 분석법(Principal Component Analysis: PCA)을 이용하여 고차원의 숫자 이미지를 저차원으로 차원 축소하고, 이를 제안된 방사형 기저함수 신경회로망(Radial Basis Function Neural Networks: RBFNN) 패턴 분류기의 입력으로 이용한다[1][6]. 또한 패턴 분류기의 은닉층은 가우시안 함수 대신에 Fuzzy C-Means(FCM) 알고리즘을 이용하여 구성한다[3][4]. 숫자 인식 시스템으로 사용된 방사형 기저함수 신경회로망은 기존의 신경회로망과는 다르게 다차원 문제를 잘 다룰 수 있고, 강인한 네트워크 특성과 예측능력이 우수하다는 장점이 있다.
- 본 연구에서는 이러한 단점을 보완하면서 인식률 저하를 방지하기 위해 차원축소 알고리즘인 주성분 분석법(Principal Component Analysis: PCA)을 이용하여 고차원의 숫자 이미지를 저차원으로 차원 축소하고, 이를 제안된 방사형 기저함수 신경회로망(Radial Basis Function Neural Networks: RBFNN) 패턴 분류기의 입력으로 이용한다[1][6]. 또한 패턴 분류기의 은닉층은 가우시안 함수 대신에 Fuzzy C-Means(FCM) 알고리즘을 이용하여 구성한다[3][4].
- 그리고 조건부의 각 노드에서 나온 출력과 결론부에서 구한 연결가중치를 이용하여 최종 출력을 구한다. 연결가중치는 아래 식과 같이 기존의 상수항을 확장시킨 다항식 형태로 구성되고 계수는 최소자승법을 사용하여 추정한다.
- PCA 알고리즘을 통해 차원 축소된 숫자 데이터가 조건부의 각 노드에 연결된다. 제안된 패턴 분류기의 조건부에서는 가우시안 함수를 사용하지 않고 Fuzzy C-Means 클러스터링 알고리즘을 사용하여 입력 데이터 특성을 반영할 수 있도록 한다[3]. 그리고 조건부의 각 노드에서 나온 출력과 결론부에서 구한 연결가중치를 이용하여 최종 출력을 구한다.
- 패턴 분류기의 다항식 계수는 최소자승법을 사용하여 추정한다. 최소자승법은 오차제곱의 합이 최소가 되도록 계수를 추정한다.
성능/효과
- 제안된 패턴 분류기는 PCA 알고리즘을 이용하여 높은 차원의 입력을 차원 축소하여 연산량을 줄이고, 조건부 활성함수에 가우시안 함수 대신 Fuzzy C-Means 알고리즘을 사용하여 입력 데이터간의 특성을 반영한 패턴 분류기를 구성하였다. 제안된 패턴 분류기와 기존의 제안되었던 분류기들과 비교하였을 때, 다른 분류기들에 비해 비교적 간단한 구조이고, PCA 알고리즘을 통해 입력 차원을 축소하였음에도 불구하고 우수한 성능을 확인 할 수 있었다.
- 표에서 보이는 것과 같이 제안된 분류기의 성능이 대부분의 다른 분류기 보다 우수함을 알 수 있다 . 특히 본 논문에서 제안하는 PCA 기반 pRBFNNs 패턴 분류기처럼 PCA를 이용한 PCA기반 Quadratic Classifier 보다 더 우수한 성능을 확인 할 수 있다. Convolutional net의 경우, 제안된 분류기의 성능보다 우수하지만 구조가 복잡하여 계산량이 많다는 단점이 있다.
후속연구
- 향후 연구에서는 제안된 패턴 분류기의 전처리 과정으로 PCA 알고리즘 이외의 다른 알고리즘을 이용하여 숫자 데이터의 정보를 더 많이 보존할 수 있는 방법을 연구할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.