[논문]OpenCV 와 Convolutional neural network를 이용한 눈동자 모션인식 시스템 구현

이승준; 허승원; 이희빈; 유윤섭

OpenCV 와 Convolutional neural network를 이용한 눈동자 모션인식 시스템 구현
Implementation to eye motion tracking system using OpenCV and convolutional neural network 원문보기

이승준 (한경대학교 전기전자제어공학과, IITC) , 허승원 (한경대학교 전기전자제어공학과, IITC) , 이희빈 (한경대학교 전기전자제어공학과, IITC) , 유윤섭 (한경대학교 전기전자제어공학과, IITC)

본 논문에서는 이전에 발표한 "Convolutional neural network를 이용한 눈동자 모션인식 시스템 구현"을 OpenCV의 눈 영역 검출을 이용해 보완하고 신경망 구성 및 연산에 Numpy를 이용한 눈동자 모션인식 시스템에 대해 소개한다. Numpy를 이용해 신경망을 구성하고 OpenCV를 이용해 얼굴영역과 눈영역을 검출해 내고 눈영역 이미지를 이용해 신경망을 학습하고 학습된 신경망으로 눈동자의 움직임을 인식한다. 이 시스템은 SOC 보드인 DE1-SOC 보드 위에 구현했다.

Previoisly presented "Implementation to pupil motion recognition system using convolution neural network".is improved. Using OpenCV, face and eye areas are detected, and then configure the neural network using Numpy. This pupil motion recognition system is based on the Numpy for configuring and calculating the neural network. This system is implemented on DE1-SOC.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 눈동자의 위치를 파악해주는 컨볼루션계층이 2단계, 완전연결계층이 2단계로 구성된 인공신경망을 소개하였다. 신경망에 입력되는 눈영역을 추출하기 위해서 OpenCV의 harr cascade를 사용했고 추출된 눈영역을 30ē30으로 패딩했다.
본 논문에서는 32비트 Linux OS환경에서 OpenCV를 사용해 눈영역을 검출하고, Numpy를 사용해 신경망 구성 및 연산을 하여 눈동자 움직임을 추적할 수 있는 시스템 구현에 대해서 소개한다.

제안 방법

본 논문에서 눈동자의 위치를 파악해주는 컨볼루션계층이 2단계, 완전연결계층이 2단계로 구성된 인공신경망을 소개하였다. 신경망에 입력되는 눈영역을 추출하기 위해서 OpenCV의 harr cascade를 사용했고 추출된 눈영역을 30ē30으로 패딩했다. 또한 30ē30의 그레이 변환된 이미지 300개를 총 10회 학습을 하였고 학습 알고리즘으로는 ADAM 최적화 알고리즘을 사용하였다.

대상 데이터

본 논문에서는 OpenCV를 이용해 검출된 눈영역을 학습 및 입력 데이터로 사용한다. OpenCV는 많은 영상처리에 유용한 Library를 제공하는데 그중 harr cascade를 사용했다.
학습 데이터로 쓰이는 데이터들은 그림과 같이 눈동자가 오른쪽, 가운데, 왼쪽 각각 100 개씩 총 300개의 이미지를 학습데이터로 사용하였고 패딩 후에 이미지의 크기는 30ē30이다. 또한 학습 알고 리즘으로 ADAM 최적화 알고리즘을 사용하였다.
신경망으로 입력,학습 되는 데이터들은 OpenCV를 이용해 검출된 눈영역이다. 환자마다 눈의 크기가 같지도 않고 같은 환자이더라도 때마다 다른 크기로 눈동자 영역이 검출될 수도 있기 때문에 패딩 과정을 거쳐야 되는데 본 논문에서는 입력과 학습되는 데이터가 30ē30의 크기를 같도록 패딩과정을 거쳤다.

이론/모형

신경망에 입력되는 눈영역을 추출하기 위해서 OpenCV의 harr cascade를 사용했고 추출된 눈영역을 30ē30으로 패딩했다. 또한 30ē30의 그레이 변환된 이미지 300개를 총 10회 학습을 하였고 학습 알고리즘으로는 ADAM 최적화 알고리즘을 사용하였다. 본논문에서 소개한 인공신경망으로 눈동자 위치를 인식한 결과를 보면, 30 개 이미지를 테스트했을때 거의 정확하게 검출되는 성능을 확인했다.
학습 데이터로 쓰이는 데이터들은 그림과 같이 눈동자가 오른쪽, 가운데, 왼쪽 각각 100 개씩 총 300개의 이미지를 학습데이터로 사용하였고 패딩 후에 이미지의 크기는 30ē30이다. 또한 학습 알고 리즘으로 ADAM 최적화 알고리즘을 사용하였다.
이 시스템에서 신경망은 합성곱 계층 2단계 완전연결 계층 2단계를 사용한 컨볼루션 신경망(convolutional neural network; CNN)이 사용된다. 첫 번쨰 CNN계층의 필터의 크기는 5ē5ē1ē32이고 활성함수로 Relu함수를 사용한 후에 2ē2 Maxpooling 을 거쳐 다음 계층으로 입력된다.

성능/효과

또한 30ē30의 그레이 변환된 이미지 300개를 총 10회 학습을 하였고 학습 알고리즘으로는 ADAM 최적화 알고리즘을 사용하였다. 본논문에서 소개한 인공신경망으로 눈동자 위치를 인식한 결과를 보면, 30 개 이미지를 테스트했을때 거의 정확하게 검출되는 성능을 확인했다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

OpenCV 와 Convolutional neural network를 이용한 눈동자 모션인식 시스템 구현
Implementation to eye motion tracking system using OpenCV and convolutional neural network 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

OpenCV 와 Convolutional neural network를 이용한 눈동자 모션인식 시스템 구현 Implementation to eye motion tracking system using OpenCV and convolutional neural network 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

OpenCV 와 Convolutional neural network를 이용한 눈동자 모션인식 시스템 구현
Implementation to eye motion tracking system using OpenCV and convolutional neural network 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper