선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- 하지만 CNN의 발전으로 이미지 데이터의 학습에 큰 발전을 가져왔고 오디오 데이터를 스펙트로그램 이미지로 인코딩하여 CNN을 적용하면 기존의 CNN의 성능은 이미 검증되었기 때문에 높은 정확도를 기대할 수 있다. 그 외 에도 오디오 데이터에서 추출할 수 있는 특징을 사용하여 각각의 정확도를 비교하였다.
- 먼저 단일 데이터를 이용하여 딥 러닝을 통해 생성한 모델의 정확도를 측정하였다. 소리 데이터는 시퀀스의 특성을 가지고 있기 때문에 RNN을 사용하였으며 데이터 사이즈 특성 상 같은 에포크(epoch)를 돌릴 수는 없었다.
- 먼저 오디오 데이터와 스펙트로그램 이미지 데이터 각각을 RNN에 적용하여 정확도를 측정하였다. 후에 멀티 모달 학습을 통한 정확도를 측정하여 단일 데이터를 사용하였을 때와 멀티 모달 학습을 사용하였을 때를 비교하였다.
- 또한 CNN의 높은 성능 때문에 여러 가지 방법으로 사용하는 관련 연구도 있다[3]. 오디오 데이터를 스펙트로그램 이미지로 인코딩 할 때 기본적인 한 종류가 아닌 다섯 종류로 인코딩 하여 CNN을 수행한다. 이처럼 기침 탐지를 위한 여러 가지 방법들이 수행되었다.
- 먼저 오디오 데이터와 스펙트로그램 이미지 데이터 각각을 RNN에 적용하여 정확도를 측정하였다. 후에 멀티 모달 학습을 통한 정확도를 측정하여 단일 데이터를 사용하였을 때와 멀티 모달 학습을 사용하였을 때를 비교하였다.
- 먼저 RBM(Restricted Boltzmann Machine)을 통해 히든 레이어에서 서로 다른 모달리티를 재구성한다. 히든 레이어를 joint representation 한 후에 RNN에 적용하여 서로 다른 모달리티를 함께 학습한다.
대상 데이터
- 본 논문의 실험에서 데이터 구성은 적절하였으며 양질의 데이터를 사용하였다. 하지만 데이터 수가 부족하였으며 앞으로 데이터 수를 채우는 작업을 이어나갈 것이다.
- 실험자는 여자 2명, 남자 2명으로 20대에서 50대에 감기환자를 대상으로 하였다. 사용 데이터는 표1과 같이 총 714개의 기침 데이터와 779개의 비기침 데이터를 사용하였으며 비기침 데이터는 무음, 재채기, 웃음소리 등 다양한 소리 데이터를 사용하였다. 데이터 사이즈는 1초 단위로 사용하였다.
- 실험자는 여자 2명, 남자 2명으로 20대에서 50대에 감기환자를 대상으로 하였다. 사용 데이터는 표1과 같이 총 714개의 기침 데이터와 779개의 비기침 데이터를 사용하였으며 비기침 데이터는 무음, 재채기, 웃음소리 등 다양한 소리 데이터를 사용하였다.
- 데이터 사이즈는 1초 단위로 사용하였다. 테스트 데이터는 총 200개의 데이터로 구성되어 있으며 기침 데이터 112개 비기침 데이터 88개로 이루어져 있다.
데이터처리
- 소리 데이터는 시퀀스의 특성을 가지고 있기 때문에 RNN을 사용하였으며 데이터 사이즈 특성 상 같은 에포크(epoch)를 돌릴 수는 없었다. 후에 두 데이터를 RBM을 통하여 같은 성질의 데이터로 만들어준 후 RNN을 사용하여 멀티 모달 딥 러닝을 한 정확도를 측정하여 단일 데이터의 실험 결과 값과 비교하였다.
이론/모형
- 비록 같은 기침을 표현하고 있지만 데이터 형식이 다르기 때문에 RNN을 적용하여 학습할 때 입력 문제가 발생한다. 두 모달리티의 이질성을 해결하기 위해 DBM[5]을 사용한다. 먼저 RBM(Restricted Boltzmann Machine)을 통해 히든 레이어에서 서로 다른 모달리티를 재구성한다.
- 본 논문에서는 기침 데이터 자체 오디오 데이터와 이미지 인코딩을 통한 스펙트로그램 이미지 데이터를 함께 학습하는 멀티 모달 학습 기법을 이용한다. 그림1 과 같은 구조를 가지며 기침 탐지를 위하여 RNN을 사용한다.
- 이러한 문제를 해결하기 위해서 본 논문에서는 멀티 모달 학습을 적용한다. 멀티 모달 학습은 인간이 여러 채널을 통하여 인지하는 것을 모티브로 하는 학습이다[1].
※ AI-Helper는 부적절한 답변을 할 수 있습니다.