[논문]순차 램 기반 누적 신경망을 이용한 수화 인식

이동형; 강만모; 김영기; 이수동

[국내논문] 순차 램 기반 누적 신경망을 이용한 수화 인식
Sign Language recognition Using Sequential Ram-based Cumulative Neural Networks 원문보기

한국인터넷방송통신·TV학회논문지 = The Journal of The Institute of Webcasting, Internet Television and Telecommunication, v.9 no.5, 2009년, pp.205 - 211

이동형 (한국폴리텍 VII대학 울산캠퍼스 정보통신시스템과) , 강만모 (울산대학교 컴퓨터정보통신공학부) , 김영기 (울산과학대학 컴퓨터정보학부) , 이수동 (울산대학교 컴퓨터정보통신공학부)

초록
AI-Helper

가중치가 없는 램 기반 신경망은 가중치를 재조정하는 기존 신경망에 비해 계산량 및 인식 시간이 적은 장점을 가지고 있다. 특히 연속적인 연관성을 갖는 제스처와 같은 행위 정보는 각각의 정보들이 시계열적 상관관계를 갖는다. 이와 같은 행위 정보를 인식하려면 일반적으로 많은 계산량과 처리 시간이 요구된다. 이런 문제점을 해결하기 위해 일반적으로 전처리 과정의 삽입 및 하드웨어 인터페이스 활용 등을 이용한다. 본 논문에서는 이와 같은 추가적인 방법 없이 순차 램 기반 누적 신경망으로 연속적인 행위 정보인 한글 복합어 수화 인식 시스템을 구현하였다. 제안된 모델의 성능을 검증하기 위하여 카메라로부터 입력받은 연속적인 복합어 수화 영상을 최소한의 이미지 처리인 경계선 검출만으로 수화 인식을 실험하였다. 경계선 검출 후 이진 영상을 전처리 과정 없이 제안된 순차 램 기반 누적 신경망 시스템으로 처리된 결과는 93%의 인식률을 얻었다.

Abstract ▼ AI-Helper

The Weightless Neural Network(WNN) has the advantage of the processing speed, less computability than weighted neural network which readjusts the weight. Especially, The behavior information such as sequential gesture has many serial correlation. So, It is required the high computability and processing time to recognize. To solve these problem, Many algorithms used that added preprocessing and hardware interface device to reduce the computability and speed. In this paper, we proposed the Ram based Sequential Cumulative Neural Network(SCNN) model which is sign language recognition system without preprocessing and hardware interface. We experimented with using compound words in continuous korean sign language which was input binary image with edge detection from camera. The recognition system of sign language without preprocessing got 93% recognition rate.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 3DNS를 개선하여 연속적인 교육 패턴을 인식하면서 추가 및 반복 학습 그리고 일반화 특징점을 추출할 수 있는 램 기반 신경망(Sequential Ram-based Cumulative Neural Network : SCNN) 모델을 제안한다. SCNN은 연속적인 입력 패턴을 처리하기 위하여 카메라로부터 입력 받은 영상을 최소한의 전처리 과정인 에지 검사로 한글 복합어 수화를 인식하였다.
수화를 구성하는 단어는 하나의 단일한 동작의 단일어와 여러 개의 단일어를 조합한 복합어^[14]가 있다. 본 논문에서는 수화의 기본적인 특성을 연속적인 수화 행위 정보를 입력 받아 복합어의 통사론적으로 인식 가능한 시스템을 제안한다. 카메라에서 입력 받은 이미지를 초당 10 프레임으로 캡처하여 경계선을 검출한 뒤 이진화 처리 후 연속적으로 SCNN에 입력하여 학습한다.
본 논문에서는 연결성을 가지면서 연속적으로 입력되는 지식을 인식하기 위하여 순차적 램 기반 신경망을 개선한 순차적인 누적 신경망을 제안하여 수화 인식에 적용하여 보았다. 한글 수화는 단일어와 복합어로 구성되어 있는데 대부분의 연구는 단일어에 집중되어 있다.

가설 설정

이는 하나의 정지 영상 패턴을 인식하는 것과 여러 장의 연속된 정지 영상을 한 묶음 단위로 인식하는 차이와 같다. 연속된 여러 장의 정지 영상 패턴 단위로 학습 및 인식을 하면 시간과 계산량 증가를 초래할 것이다. 만약 일반적인 패턴 인식으로 행위 정보를 분해하여 처리된다면 각각의 영상 패턴에 대한 연관성을 찾아 연결하여 처리되어야 되며, 이는 별도의 다른 프로세서가 추가되어야 한다.

제안 방법

시계열적인 연속적인 패턴에 대하여 추가 및 반복학습이 가능하면서 일반화 특징점 패턴 추출이 가능한 순차적인 누적 신경망을 제안한다. 3DNS를 연속적 입력 패턴으로 학습할 수 있도록 개선하여 행위 정보와 같은 원형 패턴의 변형이 많은 정보를 전처리 과정 없이 빠른 시간 안에 최소한의 계산량으로 처리 가능한 모델을 제안한다. 그림 5는 연속적인 입력 패턴들을 하나의 범주인 판별자에 학습하는 것이다.
본 논문에서는 3DNS를 개선하여 연속적인 교육 패턴을 인식하면서 추가 및 반복 학습 그리고 일반화 특징점을 추출할 수 있는 램 기반 신경망(Sequential Ram-based Cumulative Neural Network : SCNN) 모델을 제안한다. SCNN은 연속적인 입력 패턴을 처리하기 위하여 카메라로부터 입력 받은 영상을 최소한의 전처리 과정인 에지 검사로 한글 복합어 수화를 인식하였다.
추가 반복 학습 및 용이한 일반화 패턴 추출을 할 수 있는 경험유관 축적 신경망(Experience Sensitive Cumulative Neural Network : ESCNN)^[3][4]과 동적 3차원 뉴로 시스템(3-D Neuro System: 3DNS)^[5] 모델이 제안되었다. 그리고 연속적인 교육 패턴을 입력할 수 있는 램 기반 신경망인 Single Layer Sequential RAM-based neural network(SWNN)^[6][7][8]과 Cascaded sequential weightless neural network(CSWNN)^[6]으로 형식언어 인식을 위한 모델이 제안되었다.
^[6] 이를 위하여 제한적이면서 정규화된 연속적인 입력 패턴은 가능하지만 사람마다 다양한 형태 및 위치 변화가 많은 수화와 같은 행위 정보에 대한 연속적인 입력 패턴에 대하여는 성능이 낮아질 수 있다. 시계열적인 연속적인 패턴에 대하여 추가 및 반복학습이 가능하면서 일반화 특징점 패턴 추출이 가능한 순차적인 누적 신경망을 제안한다. 3DNS를 연속적 입력 패턴으로 학습할 수 있도록 개선하여 행위 정보와 같은 원형 패턴의 변형이 많은 정보를 전처리 과정 없이 빠른 시간 안에 최소한의 계산량으로 처리 가능한 모델을 제안한다.
연속적인 수화 이미지 패턴들을 SCNN 모델에 연속적으로 입력하여 학습하였다. 입력 방법은 카메라를 통하여 초당 10프레임으로 영상을 입력 받아 에지 검사를 거쳐 후 이진 영상으로 변환하여 64X64의 패턴으로 학습망에 입력된다.
Byte 크기인 RAM으로 구성되어 있다. 출력층에서 기억층으로 귀환 회로를 사용하여 신경세포 내부에 기억된 정보를 귀환하여 연산할 수 있도록 하였다.^[4] 이런 구조는 기존의 교육된 정보를 유지하면서 새로운 정보에 대하여 추가 교육이 가능하고 동일한 범주에 대한 반복 교육을 가능하다.
단일어의 결합 형태인 복합어를 분석하여 보면 단일어의 연속적인 행위 정보들의 결합 형태이다. 카메라에 입력되는 영상을 경계선 검출 및 이진화를 통하여 입력 영상을 만들고 이를 전처리 과정 없이 램 기반의 순차적 누적 신경망에 적용하여 인식하여 보았다. 인식률은 93%로 얻었다.
본 논문에서는 수화의 기본적인 특성을 연속적인 수화 행위 정보를 입력 받아 복합어의 통사론적으로 인식 가능한 시스템을 제안한다. 카메라에서 입력 받은 이미지를 초당 10 프레임으로 캡처하여 경계선을 검출한 뒤 이진화 처리 후 연속적으로 SCNN에 입력하여 학습한다. 인식단계에서는 입력 받은 정보를 이용하여 SCNN의 연속적인 MRD 값을 이용하여 인식한다.

대상 데이터

입력 방법은 카메라를 통하여 초당 10프레임으로 영상을 입력 받아 에지 검사를 거쳐 후 이진 영상으로 변환하여 64X64의 패턴으로 학습망에 입력된다. 실험으로 사용된 수화는 한글 복합어 수화 100개의 단어로 한 글자 20개, 두 글자 60개, 세 글자 14개, 네 글자 5개, 다섯 글자 1개를 이용하여 실험하였다. 수화 인식 성공률은 93%로 나타난다.
제안된 시스템을 평가하기 위하여 복합어 수화를 임의로 100개 추출^[13]하여 학습과 인식에 사용하였다.

이론/모형

인식 단계는 학습 과정과 같이 N-tuple기법을 사용하며, 학습 때 사용된 램덤 정보를 이용하여 디코더기에 의해 만들어진 주소의 해당 램 값들을 가져온다. 가져온 램값들을 원형 패턴과 매칭하여 값을 생성한다.

후속연구

향후 영상에서 손 모양 영역 검출 및 신경망의 입력 단계에서의 전처리 과정의 추가 그리고 다양한 응용 분야에 적용 활용에 연구가 진행되어야 할 것이라고 본다.

질의응답

핵심어	질문	논문에서 추출한 답변
	구어를 바탕으로 한 독립적인 수화의 신호의 기본적인 세 가지 특성은 무엇인가?	수화는 시각적인 전달 수단을 목표로 하는 언어체계로 여러 시각적인 요소를 동시에 혼합하여 신호를 전달 할 수 언어이다. 구어를 바탕으로 한 독립적인 수화의 신호에는 손 구성(손이 취하는 모양), 조음위치(손모양이 이루어지는 장소 또는 위치), 그리고 동작(손이 움직이는 모습 및 방향) 등의 세 가지 기본적인 특성이 있다. 세 가지 기본 특징을 이용하여 수화를 자동적으로 인식하는 시스템 개발에 연구가 활발히 진행되고 있다.
	패턴 인식 분야에서 대표적인 모델로는 무엇이 있나?	패턴 인식 분야에서 대표적인 모델로는 원형 정합을 이용한 템플릿 매칭 방법, 확률 통계적인 방법, 구조적 방법, 신경회로망 등이 있으며[1], 그 중에서 신경회로망이 성능이 뛰어나다고 알려져 있다. 연결 강도인 가중치를 가지는 기존 신경망(Weighted Neural Network)은 망에 입력되기 전에 복잡한 전처리 과정에 의해 많은 변형이 이루어지고, 또한 가중치 재조정에 의해 반복 계산이 많이 이루어진다.
	램 기반의 모델 및 회귀적 또는 통계적인 방법의 모델 등은 어떤 문제점을 해결하기 위하여 제안되었는가?	일련의 연속적인 사건 및 지식을 인식하기 위하여 기호 및 의미 등으로 오토마타 및 인공지능에 많은 방법으로 연구가 진행되어 왔다. 그러나 이들 대부분은 많은 전처리 과정 및 교육/인식 시간이 필요로 하는 문제점을 가지고 있었다. 이런 문제점을 해결하기 위하여 램 기반의 모델 및 회귀적 또는 통계적인 방법의 모델 등이 제안되었다.

참고문헌 (14)

이성환 "오프라인 필기체 문자인식 기술의 현황", 한국정보과학회지, 제11권 제5호, 1993년 10월.
I. Aleksander and H. Morton, "An Introduction to Neural computing", Chapman & Hall, 1990
권영철, "경험 유관이진신경망", 울산대학교, 1995
김성진, 권영철, 이수동, "RAM을 이용한 경험유관 축적신경망모델", 대한전자공학회, 제41권, CI편, 제2호, pp. 98-102, 2004년 3월
김성진, 이동형, 권영철, 이수동, "다중판별자를 가지는 동적 삼차원 뉴로 시스템", 한국정보과학회, Vol.34, pp.585-594, No. 7. 2007
Marcilio Carlos Pereira de Souto, Paulo J. L. Adeodato, "Learnability in sequential RAM-based neural networks", SBRN 1998: pp.20-25
P. J. L. Adeodato. "Sequential digital neural networks.", Technical report, King" s College, London, UK, 1994
I. Aleksander. "Microcircuit learning computers.", Mills and Boon Ltd., 1971
I. Aleksander. Neural systems engineering: towards a unified design discipline? IEE Journal of Computing & Control, 1(6): pp.259-265, 1990

상세보기
Aleksander, I., Thomas, W. V., and Bowden, P. A. 1984 "WISARD a radical step forward in image recognition," Sensor Review, pp. 120-124, July 1984
I. Aleksander. "Iconic learning in networks of logical neurons.", In Proc. of ICES96, Tokyo, 1996. Invited paper.
S. Silva and T. B., Ludermir. "Implementing finite state automata in recurrent RAM-based networks.", In Proc. ICANN95, pp.461-466, 1995
전북도교육청, DCU 특교과 스터디, http://www.cein2l.net/suhwoa/
김정배, 김대진, 장원, 변증남, 김성권, "연속된 한글 수화에서의 복합어 인식", HCI 2000, 한국정보과학회, pp.24-26, 2000년. 1월

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증