[논문]ART-1 기반 퍼지 지도 학습 알고리즘

김광백; 조재현

ART-1 기반 퍼지 지도 학습 알고리즘
ART1-based Fuzzy Supervised Learning Algorithm 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.9 no.4, 2005년, pp.883 - 889

김광백 (신라대학교 컴퓨터공학과) , 조재현 (부산가톨릭대학교 컴퓨터정보공학부)

초록
AI-Helper

다층 구조 신경망에서 널리 사용되는 오류 역전파 알고리즘은 초기 가중치와 불충분한 은닉층의 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ART-1에서 경계 변수의 설정에 따라 인식률이 저하되는 문제점을 개선하기 위하여 ART-1과 퍼지 단층 지도 학습 알고리즘을 결합한 ATR-1 기반 퍼지 다층 지도 학습 알고리즘을 제안 한다. 자가 생성을 이용한 제안된 퍼지 지도 학습 알고리즘은 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART-1을 적용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 주민등록증 영상을 대상으로 실험한 결과, 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상도 개선되었다.

Abstract ▼ AI-Helper

Error backpropagation algorithm of multilayer perceptron may result in local-minima because of the insufficient nodes in the hidden layer, inadequate momentum set-up, and initial weights. In this paper, we proposed the ART-1 based fuzzy supervised learning algorithm which is composed of ART-1 and fuzzy single layer supervised learning algorithm. The Proposed fuzzy supervised learning algorithm using self-generation method applied not only ART-1 to creation of nodes from the input layer to the hidden layer, but also the winer-take-all method, modifying stored patterns according to specific patterns. to adjustment of weights. We have applied the proposed learning method to the problem of recognizing a resident registration number in resident cards. Our experimental result showed that the possibility of local-minima was decreased and the teaming speed and the paralysis were improved more than the conventional error backpropagation algorithm.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ART-1의 경계 변수의 설정에 따른 인식률이 저하되는 문제점을 개선하기 위해 ART-1 알고리즘과 퍼지 단층 지도 학습 알고리즘을 결합한 ART-1 기반 퍼지 지도 학습 알고리즘을 제안하였다. 제안된 알고리즘은 가중치 조정에 승자 뉴런 방식을 도입하여 은닉층에 해당하는 클래스에 영향을 끼친 패턴들의 정보만 저장하게 하여 은닉층 노드로의 책임 분담에 의한 정체 현상이 일어날 가능성을 줄였고, 학습 시간과 학습의 수렴성을 개선하였다.
본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ART-1의 경계 변수의 설정에 따른 인식률이 저하되는 문제점을 개선하기 위해 ART4 알고리즘과 퍼지 단층 지도 학습 알고리즘을 결합한 ART-1 기반 퍼지 지도 학습 알고리즘을 제안한다.

제안 방법

5개의 주민등록증 영상에서 추출된 65개의 개별 주민등록번호 중에서 그림 3과 같은 10개의 개별 문자를 제안된 방법에 적용하여 모멘템에 따른 epoch 수와 TSS를 표 1로 나타내었다.
수에 기반 한다. 따라서 본 논문에서는 ART-1 을 기반으로 한 방법에 은닉층의 초기 최대 노드 수를 클래스 수로 생성되도록 한다. 하나의 노드로 시작하여 그 노드를 입력층에서 처음 제시된 패턴에 해당하는 클래스로 할당한다.
따라서 대표 클래스의 저장 패턴에 제시된 패턴을 반영하기 위해서는 은닉층에서 입력층으로의 승자 노드와 연결된 가중치를 조정한다. 또한 제시된 패턴에 대한 목표 벡터를 대표 클래스에 의한 실제 출력 벡터에 반영하기 위해 출력층 노드와 그 대표 클래스와 관련된 가중치만을 조정한다.
본 논문에서 제안된 알고리즘의 학습 성능을 분석하기 위하여 Intel Pentium-lGHz CPU와 512 MB RAM 이 장착된 IBM 호환 PC상에서 비주얼 C로 구현하였다. 실험에 사용된 데이터는 HP Scanjet 4200C 스캐너를 이용하여 500 X 300 크기를 가진 5개의 주민등록증 영상에 추출한 10개의 개별 주민등록번호(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)이다.
이진화된 영상에서 주민등록번호의 위치가 고정되어 있다는 사전의 정보를 이용하여 주민등록번호 영역이 포함된 일부 영역에 대해서만 수평 방향으로 히스토그램을 수행하여 주민등록 번호 영역을 추출하였다. 수평 방향으로 히스토그램을 적용한 후의 특징 영역은 그림 2의 b와 같이 3개영역으로 구분되고 주민등록증 영역은 3번째 부분에 위치해 있으므로 3번째 영역을 주민등록번호 영역으로 추출하였다.
제안된 학습 알고리즘에서 입력층과 은닉층간의 연결 구조는 ART1의 구조와 같고, ART1의 출력층이 제안된 구조의 은닉층이다. 은닉층의 노드는 각 클래스를 나타낸다.
주민등록증 영상에서 주민등록 번호를 추출하기 위해 주민등록증 영상을 평균 밝기 값을 적용하여 이진화하였다. 이진화된 영상에서 주민등록번호의 위치가 고정되어 있다는 사전의 정보를 이용하여 주민등록번호 영역이 포함된 일부 영역에 대해서만 수평 방향으로 히스토그램을 수행하여 주민등록 번호 영역을 추출하였다.
추출된 개별 문자를 10x15 크기의 패턴으로 정규화 하였다.
추출된 주민등록번호 영역 대해서 수직 방향 히스토그램을 이용하여 개별 문자를 추출하였다. 추출된 개별 문자를 10x15 크기의 패턴으로 정규화 하였다.

대상 데이터

실험에 사용된 데이터는 HP Scanjet 4200C 스캐너를 이용하여 500 X 300 크기를 가진 5개의 주민등록증 영상에 추출한 10개의 개별 주민등록번호(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)이다.

이론/모형

은닉층의 노드는 각 클래스를 나타낸다. 따라서 전체적으로는 완전 연결 구조이나 출력층에서 목표 벡터와 실제 출력 벡터을 비교하여 역전파시킬때는 대표 클래스와 연결된 가중치만을역전파하는 승자 뉴런 방식(winner-take all method)을채택한다. 출력층에서 은닉층으로의 연결 가중치 조정방식은 퍼지 단층 학습 방법을 적용한다.
3.2 가중치 조정 문제

제안된 구조는 가중지 조정을 위해 기존의 퍼지 단층 지도 학습에 승자 뉴런 방식을 채택한다. 입력층과 은닉 층간의 연결과 은닉층과 출력층간의 연결로 구분해서 살펴보면 은닉층에서 채택된 승자 노드는 제시된 패턴의 대표 클래스가 된다.
따라서 전체적으로는 완전 연결 구조이나 출력층에서 목표 벡터와 실제 출력 벡터을 비교하여 역전파시킬때는 대표 클래스와 연결된 가중치만을역전파하는 승자 뉴런 방식(winner-take all method)을채택한다. 출력층에서 은닉층으로의 연결 가중치 조정방식은 퍼지 단층 학습 방법을 적용한다.

성능/효과

05로 설정하여 학습한 결과이다. 제안된 방법에서 학습률은 동적으로 조정되므로 모멘텀을 0.5로 설정했을 때 최종 학습률은 0.000008로 조정되었고 모멘텀이 0.7일 때 최종 학습률은 0.000193, 모멘텀이 0.8일 때 최종 학습률은 0.003839로 조정되었다. 그리고 은닉층에서 생성된 노드 수는 각각 10개가 생성되었다.
제안된 알고리즘은 가중치 조정에 승자 뉴런 방식을 도입하여 은닉층에 해당하는 클래스에 영향을 끼친 패턴들의 정보만 저장하게 하여 은닉층 노드로의 책임 분담에 의한 정체 현상이 일어날 가능성을 줄였고, 학습 시간과 학습의 수렴성을 개선하였다. 제안된 알고리즘의 학습 성능을 분석하기 위하여 주민등록증 영상의 주민등록 번호를 분류하는데 적용한 결과, 제안된 방법은 경계 변수나 모멘텀에 민감하게 반응하지 않으며 학습 시간도 적게 소요되고 수렴성도 개선된 것을 확인하였다.
제안된 알고리즘은 가중치 조정에 승자 뉴런 방식을 도입하여 은닉층에 해당하는 클래스에 영향을 끼친 패턴들의 정보만 저장하게 하여 은닉층 노드로의 책임 분담에 의한 정체 현상이 일어날 가능성을 줄였고, 학습 시간과 학습의 수렴성을 개선하였다. 제안된 알고리즘의 학습 성능을 분석하기 위하여 주민등록증 영상의 주민등록 번호를 분류하는데 적용한 결과, 제안된 방법은 경계 변수나 모멘텀에 민감하게 반응하지 않으며 학습 시간도 적게 소요되고 수렴성도 개선된 것을 확인하였다. 그러나 제안된 알고리즘은 입력 패턴의 크기에는 민감하지 않으나 패턴.

후속연구

향후 연구과제는 패턴의 수에 민감하지 않게 은닉층의 노드를 생성하는 방법에 대해 연구할 것이고 더 나아가서 제안된 방법을 기반으로 하여 주민등록증 인식 시스템을 개발할 것이다.

참고문헌 (9)

R. Hecht-Nielsen, 'Theory of Backpropag- ation Neural Networks,' Proceedings of IJCNN, Yol.1, pp.593-605, 1989
A. James and Freeman, Neural Networks : Algorithm, Application . and Programming Techniques, Addison-Wesley, 1991
R. A. Jacobs, 'Increased rates of convergence through learning rate adaptation,' Neural Networks, Vol.1, No.4, pp.295-308, 1988
K. B. Kim, M. H. Kang and E. Y. Cha, 'Fuzzy Competitive Backpropagation using Nervous System,' Proceedings of WCSS, pp.188-193, 1997
M. Georipoulos, G. L. Heileman and J. Huang, Properties of Learning Related to Pattern Diversity in ARTl,' Neural Networks, Vol.4, pp.751-757, 1991

상세보기
K. B. Kim and K. C. Kim 'A Study on Face Recognition using New Fuzzy ART,' Proceedings of ITC-CSCC, Vol.2, pp.1057 -1060, 1998
K. B. Kim, S. W. Jang and C. K. Kim, 'Recognition of Car License Plate by Using Dynamical Thresholding Method and Enhanced Neural Networks,' Lecture Notes in Computer Science, LNCS 2756, pp.309-319, 2001
Y. Hayashi, E. Czogala and J. J. Buckley,' Fuuzy Neural Controller,' Proceedings of IEEE Fuzzy Systems, pp.197-202, Vol.1, 1992
K. B. Kim, Y. H. Joo, J. H. Cho, 'An Enhanced Fuzzy Neural Network,' Lecture Notes in Computer Science, LNCS 3320, pp.176-179, 2004

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증