본 논문에서는 사람의 행동 모니터링을 위한 멀티 센서 기반의 웨어러블 지능형 디바이스를 제안한다. 다중 행동을 인식하기 위해, 이미지 센서와 가속도 센서를 이용하여 행동 인식 알고리즘을 개발하였다. 멀티 센서로부터 얻은 데이터를 분석하기 위해 그리드 기반 옵티컬 플로우 방법을 제안하고 SVM 분류기법을 이용하였다. 이미지 센서로부터 얻은 모션 벡터의 방향과 크기를 이용하였고, 3축 가속도 센서로부터 얻은 데이터에서 FFT의 축과 크기와의 상관관계를 계산하였다. 실험 결과에서 이미지 센서 기반과 3축 가속도 센서기반의 행동 인식률은 각각 55.57 %, 89.97%를 보였으나 제안한 멀티센서기반의 행동인식률은 92.78% 를 보였다.
본 논문에서는 사람의 행동 모니터링을 위한 멀티 센서 기반의 웨어러블 지능형 디바이스를 제안한다. 다중 행동을 인식하기 위해, 이미지 센서와 가속도 센서를 이용하여 행동 인식 알고리즘을 개발하였다. 멀티 센서로부터 얻은 데이터를 분석하기 위해 그리드 기반 옵티컬 플로우 방법을 제안하고 SVM 분류기법을 이용하였다. 이미지 센서로부터 얻은 모션 벡터의 방향과 크기를 이용하였고, 3축 가속도 센서로부터 얻은 데이터에서 FFT의 축과 크기와의 상관관계를 계산하였다. 실험 결과에서 이미지 센서 기반과 3축 가속도 센서기반의 행동 인식률은 각각 55.57 %, 89.97%를 보였으나 제안한 멀티센서기반의 행동인식률은 92.78% 를 보였다.
In this paper, we present a wearable intelligent device based on multi-sensor for monitoring human activity. In order to recognize multiple activities, we developed activity recognition algorithms utilizing an image sensor and a 3-axis accelerometer sensor. We proposed a grid?based optical flow meth...
In this paper, we present a wearable intelligent device based on multi-sensor for monitoring human activity. In order to recognize multiple activities, we developed activity recognition algorithms utilizing an image sensor and a 3-axis accelerometer sensor. We proposed a grid?based optical flow method and used a SVM classifier to analyze data acquired from multi-sensor. We used the direction and the magnitude of motion vectors extracted from the image sensor. We computed the correlation between axes and the magnitude of the FFT with data extracted from the 3-axis accelerometer sensor. In the experimental results, we showed that the accuracy of activity recognition based on the only image sensor, the only 3-axis accelerometer sensor, and the proposed multi-sensor method was 55.57%, 89.97%, and 89.97% respectively.
In this paper, we present a wearable intelligent device based on multi-sensor for monitoring human activity. In order to recognize multiple activities, we developed activity recognition algorithms utilizing an image sensor and a 3-axis accelerometer sensor. We proposed a grid?based optical flow method and used a SVM classifier to analyze data acquired from multi-sensor. We used the direction and the magnitude of motion vectors extracted from the image sensor. We computed the correlation between axes and the magnitude of the FFT with data extracted from the 3-axis accelerometer sensor. In the experimental results, we showed that the accuracy of activity recognition based on the only image sensor, the only 3-axis accelerometer sensor, and the proposed multi-sensor method was 55.57%, 89.97%, and 89.97% respectively.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
예를 들어, 뒤로 걷기 운동은 치매방지와 류마티즘 관절염을 예방 및 치료에 도움을 주기 때문에 이러한 행동 데이터를 이용하여 앞으로 걷기와 뒤로 걷기 등 행동을 구분하여 정확하게 인식할 수 있다면 건강을 체계적으로 관리할 수 있을 것이다. 본 논문에서는 이러한 운동량과 활동량 측정을 위해, 이미지 센서와 가속도 센서가 결합된 멀티 센서 기반 행동 인식 방법을 제안한다. 이 두 가지 센서를 이용하여 앞으로 걷기, 뒤로 걷기, 엘리베이터 타기, 계단 오르기, 계단 내려가기 등 여러 가지 행동을 인식하도록 하였으며, 복잡하고 다중 행동을 인식할 수 있는 방법을 제시한다.
본 논문은 사람의 행동 인식률을 높이기 위하여 이미지 센서와 가속도 센서를 함께 사용한 멀티 센서기반의 행동인식 기법을 제안하였다. 가속도 센서로부터 얻은 데이터와 함께 이미지 센서로부터 얻은 데이터를 함께 사용하였으며, 이미지 센서로부터 얻은 데이터는 그리드 기반의 옵티컬 플로우와 SVM 분류기를 이용하여 추출하였다.
제안 방법
그림 8-(가)는 UMPC를 착용한 모습과 이미지 센서를 이용한 행동인식 어플리케이션 화면이며, 그림 8-(나)는 아이폰을 착용한 모습과 가속도 센서를 이용하여 데이터를 추출하는 화면이다. 3 축 가속도 센서는 아이폰에 내장된 센서를 이용하였고, 1.33GHz CPU와 1GB 메모리의 UMPC에 내장된CMOS이미지 센서로부터 얻은 640*480의 영상을 Visual C++과 OpenCV[17]를 이용하여 구현하였다.
3 축 가속도 센서로부터 얻어온 원신호를 FFT하여 데이터를 분석한다.
그림 3은 가속도 센서를 이용한 행동 인식과정이다. 3 축 가속도 센서를 이용하여 행동인식을 하기 위해, 행동 별로 추출한 DC데이터 값을 FFT를 이용하여 주파수 대역으로 변환 후 신호해석을 통해 필요한 특징을 추출하였다. 각 행동 별로 주파수 대역마다 크기 값이 다르게 분포되며, 이러 한 크기 값에 대해 FFT를 통해 각 축을 주파수 단위 별로 에너지 값과 축과 축사이의 상관관계를 계산하여 SVM(Support Vector Machine)입력 값으로 사용하였다.
윈도우는 각 행동단위마다 20개의 샘플을 기준으로 계산하였으며, 특징 검출 후 SVM을 이용하여 행동을 분류하였다. MLP를 이용한 행동 인식률과 SVM을 이용한 행동 인식률 비교를 위해, 은닉 노드의 개수를 150개, 500개, 1000개를 설정하고 비교하였다. 표 3에서 보는 바와 같이, SVM기반의 행동 인식률은 MLP 보다 더 나은 성능을 보였다.
이 값들은 일어서기와 계단 오르기와 같은 행동들의 에너지 분포를 분석하여 정확한 인식을 할 수 있도록 하며, 각 행동에 대한 윈도우들을 이용하여 윈도우 단위 별로 계산된 평균값, 축과 축사이의 상관관계를 이용하여 만들어진 데이터들을 통해 SVM과 MLP입력 값으로 이용하였다. SVM을 기반으로 하여 미리 분류되어 있는 샘플 데이터로부터 두 개의 클래스로 분리하는 방법을 사용하였으며, 클래스간에 가장 인접해있는 샘플 데이터들과 최대로 떨어져 있는 최적분류 초평면 (OSH: Optimal Separating Hyperplane)을 사용하였다. 알고리즘 1은 이러한 데이터를 통해 행동을 분류하기 위해 3축 가속도 센서로부터 입력 받은 데이터를 분류하고 OSH를 찾는 단계를 보이고 있다.
본 논문은 사람의 행동 인식률을 높이기 위하여 이미지 센서와 가속도 센서를 함께 사용한 멀티 센서기반의 행동인식 기법을 제안하였다. 가속도 센서로부터 얻은 데이터와 함께 이미지 센서로부터 얻은 데이터를 함께 사용하였으며, 이미지 센서로부터 얻은 데이터는 그리드 기반의 옵티컬 플로우와 SVM 분류기를 이용하여 추출하였다. 멀티 센서를 이용한 기법을 통해 단일 행동에 대한 행동인식률을 높이는 것뿐만 아니라 다중 행동에 대해서도 인식할 수 있도록 하였다.
각 행동 별로 주파수 대역마다 크기 값이 다르게 분포되며, 이러 한 크기 값에 대해 FFT를 통해 각 축을 주파수 단위 별로 에너지 값과 축과 축사이의 상관관계를 계산하여 SVM(Support Vector Machine)입력 값으로 사용하였다. 가속도 센서를 기반한 행동 분류 방법들의 인식률 비교에 관한 연구들[15][16]은 많이 수행되었으며, 본 논문에서는 이러한 분류 방법들간의 비교가 아닌 가속도 센서를 이용하여 구분하는 방법 중 높은 인식률을 얻을 수는 SVM 구분 방법과 이미지 센서를 함께 사용할 때 행동 인식률에 대해 비교하고 실험하였다. 가속도 센서만을 이용한 인식률에 대한 실험에서는 SVM와 MLP(Multi-layer Perceptron) 방식에 대한 행동 인식률을 비교하였다.
가속도 센서를 기반한 행동 분류 방법들의 인식률 비교에 관한 연구들[15][16]은 많이 수행되었으며, 본 논문에서는 이러한 분류 방법들간의 비교가 아닌 가속도 센서를 이용하여 구분하는 방법 중 높은 인식률을 얻을 수는 SVM 구분 방법과 이미지 센서를 함께 사용할 때 행동 인식률에 대해 비교하고 실험하였다. 가속도 센서만을 이용한 인식률에 대한 실험에서는 SVM와 MLP(Multi-layer Perceptron) 방식에 대한 행동 인식률을 비교하였다.
3 축 가속도 센서를 이용하여 행동인식을 하기 위해, 행동 별로 추출한 DC데이터 값을 FFT를 이용하여 주파수 대역으로 변환 후 신호해석을 통해 필요한 특징을 추출하였다. 각 행동 별로 주파수 대역마다 크기 값이 다르게 분포되며, 이러 한 크기 값에 대해 FFT를 통해 각 축을 주파수 단위 별로 에너지 값과 축과 축사이의 상관관계를 계산하여 SVM(Support Vector Machine)입력 값으로 사용하였다. 가속도 센서를 기반한 행동 분류 방법들의 인식률 비교에 관한 연구들[15][16]은 많이 수행되었으며, 본 논문에서는 이러한 분류 방법들간의 비교가 아닌 가속도 센서를 이용하여 구분하는 방법 중 높은 인식률을 얻을 수는 SVM 구분 방법과 이미지 센서를 함께 사용할 때 행동 인식률에 대해 비교하고 실험하였다.
각 행동별 주파수 대역 에너지와 각 축의 상관관계로 구성된 BFS(Best Feature Set)을 만든다.
이미지 센서로부터 입력 받은 데이터와 가속도 센서로부터 입력 받은 데이터를 각각 전처리 과정을 거치며, 특징 값을 추출한다. 각각의 행동 인식 알고리즘은 앞 절에서 기술한 알고리즘을 사용하였으며, 행동인식에 대한 정확률을 측정하기 위해 멀티 센서로부터 연속적인 데이터를 행동 별로 구분한 후 분석하였다.
예를 들어, 이미지 센서는 서기인데 가속도 센서는 앉기로 인식하는 경우 엘리베이터 타기로 인식하도록 하였고, 이미지 센서가 서기나 앉기로 인식하는데 가속도 센서는 달리기로 인식하는 경우 버스나 자가용으로 이동하는 것으로 인식하도록 하였다. 그 외에도 두 가지 센서에서 각각 다르게 인식하는 경우 다중 행동으로 인식하도록 하였다. 달리며 계단 오르기와 달리며 돌기가 이에 해당된다.
같은 종류의 센서를 이용하였기 때문에 인식률은 Bao[4]의 연구결과와 비슷하다. 기존의 연구에서는 단일 센서만을 이용하여 행동을 인식하였지만, 본 논문에서는 멀티 센서기반으로 사용자의 행동을 실시간으로 분석하는 행동인식 방법을 제안한다.
또한, 초기 설정된 특징 점 개수에 따른 인식률을 분석하였다. 그림 11에서 보는 바와 같이 특징점의 개수가 적으면 그리드 영역에서 벡터의 방향이 정확히 검출되지 않아 행동 인식률이 50%정도였으며, 특징 점의 개수가 100개 이상이면 70% 이상의 행동 인식률을 보였다.
가속도 센서로부터 얻은 데이터와 함께 이미지 센서로부터 얻은 데이터를 함께 사용하였으며, 이미지 센서로부터 얻은 데이터는 그리드 기반의 옵티컬 플로우와 SVM 분류기를 이용하여 추출하였다. 멀티 센서를 이용한 기법을 통해 단일 행동에 대한 행동인식률을 높이는 것뿐만 아니라 다중 행동에 대해서도 인식할 수 있도록 하였다. 실험에서는 실제 환경에서 인식률을 평가하기 위해 9개의 행동에 대해서 실험하였고, 실험결과로 평균 93%의 행동 인식률을 얻었으며, 이 실험 결과는 3축 가속도나 이미지 센서만을 사용한 단일 센서보다 인식률이 더 높았다.
멀티 센서를 이용한 행동인식 실험을 위해 표 5에서 보는 바와 같이 행동을 9가지로 구분하였다. 이미지 센서는 상황에 따라 행동인식률이 달라지는데 그 이유는 영상 내 움직이는 객체가 나타나면 행동인식에 영향을 줄 수 있기 때문이다.
본 논문에서는 멀티센서를 이용한 행동인식을 위해 이미지 센서 기반 최대 행동 인식률의 클래스와 가속도 센서 기반 최대 행동 인식률의 클래스를 각각 SVM 클래스 분석기를 통하여 구하고, 뒤로 걷기, 엘리베이터 타기, 차량으로 이동하기, 달리며 계단 오르내리기, 달리며 돌기의 5가지 목표 행동은 이미지센서에 의한 판별 클래스와 가속도 센서에 의한 판별 클래스의 구성에 따라 결정하였다.
수집된 데이터들은 ICB(Intelligent Context Broker)로 전달되고 ICB내 센싱 리시버(Sensing Receiver)에서 각 센서로부터 획득한 데이터를 분석한다. 분석된 데이터는 캐쉬에 저장이 되고 프로세서는 각 알고리즘을 바탕으로 컨텍스트 레파지토리(Context Repository)내 저장된 컨텍스트 정보(Context Information)를 참조하여 행동을 분류한다. 센싱 라우터(Sensing Router)는 ICB에서 분류된 행동인식결과를 어플리케이션에 전송한다.
상황인지 미들웨어는 센싱데이터를 바탕으로 모델링을 한다. 사용자 상황에 맞는 이벤트를 구성 하여 사용자들에게 표준 인터페이스를 제공한다.
센서들은 이미지 센서와 하나의 3 축 가속도 센서로부터 데이터를 획득하였다. 수집된 데이터들은 ICB(Intelligent Context Broker)로 전달되고 ICB내 센싱 리시버(Sensing Receiver)에서 각 센서로부터 획득한 데이터를 분석한다. 분석된 데이터는 캐쉬에 저장이 되고 프로세서는 각 알고리즘을 바탕으로 컨텍스트 레파지토리(Context Repository)내 저장된 컨텍스트 정보(Context Information)를 참조하여 행동을 분류한다.
앞으로 걷기와 뒤로 걷기는 그리드 기반의 옵티컬 플로우를 이용하여 행동을 인식하였다. 그림 9는 앞으로 걷기와 뒤로 걷기 행동에 대한 실험결과를 화면으로 보이고 있다.
픽셀에서 특징 점을 추출하기 위해 Burt-Adelson의 가우시안 피라미드(Gaussian Pyramid)[12]가 적용된 Lucas-Kanade 옵티컬 플로우(Optical flow) [13]를 이용하였다. 앞으로 걷기와 뒤로 걷기를 구분은 그리드 레벨로 영상을 분할하여 각 그리드에 대한 이전 특징 점과 현재 특징 점의 거리와 방향을 계산하였다.
오른쪽 돌기와 왼쪽 돌기는 입력된 전체 영상에서 추출된 특징 점을 평균화하여 벡터의 방향과 크기를 계산하여 행동인식하였다. 앞으로 걷기와 뒤로 걷기에 대한 행동인식을 위해 그림 2에서 보는 바와 같이 5 가지 그리드 레벨로 영상을 분할하여 각 영역마다 벡터의 방향과 크기를 분석하였다. 영상을 분할하기 위해 식 10을 사용하였다.
R 은 그리드 기반으로 분할된 영역을 표시하고 n 은 그리드 레벨이다. 영상의 미세한 움직임 때문에 발생한 노이즈를 각 영역마다 임계 값을 기준으로 필터링한 후 벡터의 크기를 계산하여 행동을 인식하였다.
오른쪽 돌기와 왼쪽 돌기는 입력된 전체 영상에서 추출된 특징 점을 평균화하여 벡터의 방향과 크기를 계산하여 행동인식하였다. 앞으로 걷기와 뒤로 걷기에 대한 행동인식을 위해 그림 2에서 보는 바와 같이 5 가지 그리드 레벨로 영상을 분할하여 각 영역마다 벡터의 방향과 크기를 분석하였다.
원신호로부터 BFS을 이용하여 Training data를 추출한다.
이와 같이 필터링을 한 후 각 행동 별로 주파수 대역 크기를 알기 위해 FFT를 이용하여 필터링 된 값을 변환하였다. 윈도우 길이는 각 행동 별 200개의 샘플을 바탕으로 FFT를 하여 변환된 데이터 값을 기준으로 설정하였다. 설정된 윈도우 단위로 평균값을 계산하고 x축과 y축, y축과 z축, z축과 x축의 상관관계를 계산하여 행동 인식률을 높일 수 있었다.
그림 6은 각 행동에 따른 주파수 대역 크기를 보이고 있다. 이 값들은 일어서기와 계단 오르기와 같은 행동들의 에너지 분포를 분석하여 정확한 인식을 할 수 있도록 하며, 각 행동에 대한 윈도우들을 이용하여 윈도우 단위 별로 계산된 평균값, 축과 축사이의 상관관계를 이용하여 만들어진 데이터들을 통해 SVM과 MLP입력 값으로 이용하였다. SVM을 기반으로 하여 미리 분류되어 있는 샘플 데이터로부터 두 개의 클래스로 분리하는 방법을 사용하였으며, 클래스간에 가장 인접해있는 샘플 데이터들과 최대로 떨어져 있는 최적분류 초평면 (OSH: Optimal Separating Hyperplane)을 사용하였다.
본 논문에서는 이러한 운동량과 활동량 측정을 위해, 이미지 센서와 가속도 센서가 결합된 멀티 센서 기반 행동 인식 방법을 제안한다. 이 두 가지 센서를 이용하여 앞으로 걷기, 뒤로 걷기, 엘리베이터 타기, 계단 오르기, 계단 내려가기 등 여러 가지 행동을 인식하도록 하였으며, 복잡하고 다중 행동을 인식할 수 있는 방법을 제시한다.
2절에서 기술한 알고리즘을 인식률을 계산하여 최대값을 갖는 행동을 최종적으로 인식한 행동으로 판단한다. 이러한 최대값을 기반한 행동 인식을 판별하며, 동시에 각 센서가 같은 행동을 다르게 인식하는 경우와 다중 행동에 대해 처리하도록 하였다. 예를 들어, 이미지 센서는 서기인데 가속도 센서는 앉기로 인식하는 경우 엘리베이터 타기로 인식하도록 하였고, 이미지 센서가 서기나 앉기로 인식하는데 가속도 센서는 달리기로 인식하는 경우 버스나 자가용으로 이동하는 것으로 인식하도록 하였다.
이미지 센서로부터 입력된 영상을 이용하여 행동을 인식하기 위해 영상내 픽셀 값의 변화를 통해 이동 방향을 분석하였다. 픽셀에서 특징 점을 추출하기 위해 Burt-Adelson의 가우시안 피라미드(Gaussian Pyramid)[12]가 적용된 Lucas-Kanade 옵티컬 플로우(Optical flow) [13]를 이용하였다.
그림 5는 각 행동에 따른 가속도 센서로부터 입력받은 데이터와 X축에 대해 필터링을 거친 데이터를 그래프로 보이고 있다. 이와 같이 필터링을 한 후 각 행동 별로 주파수 대역 크기를 알기 위해 FFT를 이용하여 필터링 된 값을 변환하였다. 윈도우 길이는 각 행동 별 200개의 샘플을 바탕으로 FFT를 하여 변환된 데이터 값을 기준으로 설정하였다.
학습된 각 행동 Activity를 이용하여 테스트 데이터를 N 개의 클래스중 해당하는 클래스로 분류를 한다. K(tei, tej)=exp(-γ||tei-tej||2), γ>0
현재 프레임의 특징점 P(x, y)t 와 이전 프레임 사이의 특징점 Q(x, y)t-1을 찾아 가우시안 피라미드를 이용하여 필요한 특징점만 추출한 후, 움직임 좌표 값을 계산하였다. 여기서 움직임 좌표 값에 대한 벡터를 #로 정의하여, 각 특징 점 변화를 통해 벡터의 평균값을 계산하였다.
대상 데이터
그림 1은 행동인식을 통한 라이프 케어 시스템의 전체 구조도이다. 센서들은 이미지 센서와 하나의 3 축 가속도 센서로부터 데이터를 획득하였다. 수집된 데이터들은 ICB(Intelligent Context Broker)로 전달되고 ICB내 센싱 리시버(Sensing Receiver)에서 각 센서로부터 획득한 데이터를 분석한다.
시스템은 헬스케어 모니터(Healthcare Monitor), 컨텍스트어웨어 미들웨어(Context-aware Middleware), 데이터베이스(Database), 컨텍스트 마이닝 (Context Mining) 모듈과 라이프 로그 뷰어(Life-log Viewer)로 구성되어 있다. 헬스케어 모니터를 통해 활동 거리와 현재 위치들을 관찰할 수 있다.
실험을 위해 그림 8에서 보는 바와 같이UMPC의 카메라와 아이폰을 사용하였다. 그림 8-(가)는 UMPC를 착용한 모습과 이미지 센서를 이용한 행동인식 어플리케이션 화면이며, 그림 8-(나)는 아이폰을 착용한 모습과 가속도 센서를 이용하여 데이터를 추출하는 화면이다.
하였으며, 측정한 데이터는200개의 샘플단위로 행동을 구분하였다. 윈도우는 각 행동단위마다 20개의 샘플을 기준으로 계산하였으며, 특징 검출 후 SVM을 이용하여 행동을 분류하였다.
이론/모형
DeVaul[5]은 걷기, 뛰기, 서기 등과 같은 사용자의 상태를 인식하기 위해 실시간 어플리케이션을 개발하였다. 사용자의 행동 상태를 정확하게 분류하고 인식하기 위해 GMM(Gaussian mixture model)과 HMM(Hidden Markov Model) 방법을 이용하였다. Hyuhn[6]는 가속도 센서를 이용하여 걷기, 멈춤, 뛰기에 대한 행동을 분석하였다.
이미지 센서로부터 입력된 영상을 이용하여 행동을 인식하기 위해 영상내 픽셀 값의 변화를 통해 이동 방향을 분석하였다. 픽셀에서 특징 점을 추출하기 위해 Burt-Adelson의 가우시안 피라미드(Gaussian Pyramid)[12]가 적용된 Lucas-Kanade 옵티컬 플로우(Optical flow) [13]를 이용하였다. 앞으로 걷기와 뒤로 걷기를 구분은 그리드 레벨로 영상을 분할하여 각 그리드에 대한 이전 특징 점과 현재 특징 점의 거리와 방향을 계산하였다.
성능/효과
4.3 멀티 센서를 이용한 행동 인식이전 절에서 서술한 단일 센서를 이용한 행동인식 방법을 각각 사용하는 것보다 두 가지 이상의 센서를 혼합하여 사용한다면 행동 인식률을 더 높일 수 있다. 예를 들어, 엘리베이터를 타는 경우 이미지 센서에서는 서기로 행동을 인식하고 가속도 센서는 앉기 행동으로 인식할 수 있으나, 이 두 가지 센서를 함께 이용하면 엘리베이터 타기 행동으로 인식할 수 있다.
또한, 초기 설정된 특징 점 개수에 따른 인식률을 분석하였다. 그림 11에서 보는 바와 같이 특징점의 개수가 적으면 그리드 영역에서 벡터의 방향이 정확히 검출되지 않아 행동 인식률이 50%정도였으며, 특징 점의 개수가 100개 이상이면 70% 이상의 행동 인식률을 보였다. 특징 점의 개수가 300~400개일 때 가장 높은 행동 인식률을 보였으며, 계산 오버헤드(computational overhead)와 비교했을 때 가장 최적(optimal)의 특징 점 개수임을 알 수 있었다.
단일 센서로만 인식을 할 경우, 이미지 센서는 움직이는 물체가 나타나지 않았을 때55.57%의 행동인식률을 보였으며, 가속도 센서는 89.97%의 행동인식률을 보였다. 두 가지 센서를 모두 사용했을 때는 92.
표 4는 SVM을 이용하여 행동인식을 한 결과를 혼동 매트릭스(confusion matrix)로 표현하였다. 돌기에 대한 행동인식률은 82.86% 이였고, 달리기와 계단 오르내려가기에 대한 행동인식 결과가 다른 행동에 비해 높았다. 일어서기는 앉기로 잘못 인식되는 경우가 있어 인식률이 80% 이하였다.
달리기의 경우, 가속도 센서만을 이용해도 99%의 행동인식률을 얻었기 때문에 이러한 경우 이미지센서를 사용하지 않고 단일 센서로 만으로도 나은 행동인식률을 얻을 수 있다. 또한, 돌기 행동의 경우 움직이는 객체가 없을 경우 이미지센서가 더 높은 행동인식률을 얻을 수 있지만, 움직이는 객체가 나타났을 경우 62%까지 행동 인식률이 감소하게 되고, 이때는 3 축 가속도 센서로부터 얻은 데이터를 이용하여 행동 인식을 하면 행동 인식률을 높일 수 있다. 엘리베이터 타기의 경우 층간의 이동거리가 길수록 행동 인식률이 높고 이동거리가 짧을수록 멈춤 또는 앉기와 같은 행동으로 잘못 인식하기 때문에 두 가지 센서를 함께 이용했을 때 99%의 행동인식률을 얻을 수 있었다.
윈도우 길이는 각 행동 별 200개의 샘플을 바탕으로 FFT를 하여 변환된 데이터 값을 기준으로 설정하였다. 설정된 윈도우 단위로 평균값을 계산하고 x축과 y축, y축과 z축, z축과 x축의 상관관계를 계산하여 행동 인식률을 높일 수 있었다.
멀티 센서를 이용한 기법을 통해 단일 행동에 대한 행동인식률을 높이는 것뿐만 아니라 다중 행동에 대해서도 인식할 수 있도록 하였다. 실험에서는 실제 환경에서 인식률을 평가하기 위해 9개의 행동에 대해서 실험하였고, 실험결과로 평균 93%의 행동 인식률을 얻었으며, 이 실험 결과는 3축 가속도나 이미지 센서만을 사용한 단일 센서보다 인식률이 더 높았다.
일어서기는 앉기로 잘못 인식되는 경우가 있어 인식률이 80% 이하였다. 실험자의 행동 습관에 따라 실험 결과값은 다르게 나타났으며 특히, 각 실험자의 학습 데이터에 따라 인식률의 오차가 크게 나타났다. 표 4의 실험 결과는 5명의 실험 대상자로부터 얻은 정확률의 평균값이다.
또한, 돌기 행동의 경우 움직이는 객체가 없을 경우 이미지센서가 더 높은 행동인식률을 얻을 수 있지만, 움직이는 객체가 나타났을 경우 62%까지 행동 인식률이 감소하게 되고, 이때는 3 축 가속도 센서로부터 얻은 데이터를 이용하여 행동 인식을 하면 행동 인식률을 높일 수 있다. 엘리베이터 타기의 경우 층간의 이동거리가 길수록 행동 인식률이 높고 이동거리가 짧을수록 멈춤 또는 앉기와 같은 행동으로 잘못 인식하기 때문에 두 가지 센서를 함께 이용했을 때 99%의 행동인식률을 얻을 수 있었다.
표 3에서 보는 바와 같이, SVM기반의 행동 인식률은 MLP 보다 더 나은 성능을 보였다. 은닉 노드의 개수가 증가함에 따라 행동인식률이 높아 졌지만, SVM을 이용한 방법이 92.86%로 가장 높은 행동인식률을 보였다.
행동인식률을 높일 수 있다. 이러한 멀티센서 기반한 방법을 사용했을 때 실험 결과에서 보는 바와 같이 99%의 행동인식률이 얻을 수 있었다.
78%의 행동인식률을 보였다. 즉, 가속도 센서만을 사용했을 때보다 이미지 센서를 함께 사용할 때가 2.81% 더 나은 행동인식률을 보였다.
그림 11에서 보는 바와 같이 특징점의 개수가 적으면 그리드 영역에서 벡터의 방향이 정확히 검출되지 않아 행동 인식률이 50%정도였으며, 특징 점의 개수가 100개 이상이면 70% 이상의 행동 인식률을 보였다. 특징 점의 개수가 300~400개일 때 가장 높은 행동 인식률을 보였으며, 계산 오버헤드(computational overhead)와 비교했을 때 가장 최적(optimal)의 특징 점 개수임을 알 수 있었다.
후속연구
Bao[4]의 연구에서 가속도 센서만을 이용하여 엘리베이터와 에스컬레이터에 대한 행동인식률이 약70% 였으며, 다양한 행동에 대한 인식성능향상이 필요함을 기술하였다. 따라서, 이미지 센서와 가속도 센서가 결합된 이종의 멀티 센서를 이용한다면, 기존의 단일센서를 이용한 행동인식 방법보다 다양한 행동인식뿐만 아니라 인식률을 높일 수 있으며, 활동량 측정과 건강관리 등 여러 분야에 활용될 수 있다.
멀티 센서기반의 행동인식방법은 활동량과 운동량을 효과적인 측정을 통해 칼로리 계산이나 위치 추적에 활용될 수 있으며, 복잡한 행동을 인식하는데 유용하게 사용될 수 있을 것이다. 미래의 웰빙 라이프 케어를 위해 질병예방이나 사고 예방에 활용이 가능하며, 멀티 센서기반의 웨어러블 디바이스 개발과 함께 다양한 서비스 개발에도 응용할 수 있을 것이다. 향후 연구로는, 다양한 행동 인식과 행동 인식률을 높이기 위한 알고리즘 개발 및 개선하는 것이다.
미래의 웰빙 라이프 케어를 위해 질병예방이나 사고 예방에 활용이 가능하며, 멀티 센서기반의 웨어러블 디바이스 개발과 함께 다양한 서비스 개발에도 응용할 수 있을 것이다. 향후 연구로는, 다양한 행동 인식과 행동 인식률을 높이기 위한 알고리즘 개발 및 개선하는 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
본 연구 결과, 제작한 멀티 센서기반의 행동인식방법은 어떤 곳에 사용될 수 있다고 하는가?
멀티 센서기반의 행동인식방법은 활동량과 운동량을 효과적인 측정을 통해 칼로리 계산이나 위치 추적에 활용될 수 있으며, 복잡한 행동을 인식하는데 유용하게 사용될 수 있을 것이다. 미래의 웰빙 라이프 케어를 위해 질병예방이나 사고 예방에 활용이 가능하며, 멀티 센서기반의 웨어러블 디바이스 개발과 함께 다양한 서비스 개발에도 응용할 수 있을 것이다. 향후 연구로는, 다양한 행동 인식과 행동 인식률을 높이기 위한 알고리즘 개발 및 개선하는 것이다.
사람의 행동 인식률을 높이기 위해 본 연구에서 제시한 멀티 센서기반의 행동인식 기법은 결론적으로 어떻게 제작하였는가?
본 논문은 사람의 행동 인식률을 높이기 위하여 이미지 센서와 가속도 센서를 함께 사용한 멀티 센서기반의 행동인식 기법을 제안하였다. 가속도 센서로부터 얻은 데이터와 함께 이미지 센서로부터 얻은 데이터를 함께 사용하였으며, 이미지 센서로부터 얻은 데이터는 그리드 기반의 옵티컬 플로우와 SVM 분류기를 이용하여 추출하였다. 멀티 센서를 이용한 기법을 통해 단일 행동에 대한 행동인식률을 높이는 것뿐만 아니라 다중 행동에 대해서도 인식할 수 있도록 하였다. 실험에서는 실제 환경에서 인식률을 평가하기 위해 9개의 행동에 대해서 실험하였고, 실험결과로 평균 93%의 행동 인식률을 얻었으며, 이 실험 결과는 3축 가속도나 이미지 센서만을 사용한 단일 센서보다 인식률이 더 높았다.
단일 센서만을 이용하는 경우 행동 인식률에 대한 장단점은?
카메라와 가속도 센서와 같은 여러 가지 센서를 이용하여 사람의 다양한 행동을 인식하고 다양한 서비스를 제공하기 위한 연구가 진행되고 있으나 센서들을 신체의 여러 부위에 착용하는 방법은 착용에 대한 불편함이 있으며, 가속도 센서만을 이용한 행동인식[3][4]은 다양한 행동 인식을 보장하지 못하는 문제가 있다. 즉, 단일 센서만을 이용하는 경우 특정 행동에 대한 인식률은 높일 수 있으나, 다중 행동은 인식률이 낮거나 인식을 못하는 경우가 있다. Bao[4]의 연구에서 가속도 센서만을 이용하여 엘리베이터와 에스컬레이터에 대한 행동인식률이 약70% 였으며, 다양한 행동에 대한 인식성능향상이 필요함을 기술하였다.
참고문헌 (17)
N. Kern, B. Schiele, A. Schmidt, "Multi-Sensor Activity Context Detection for Wearable Computing", Ambient Intelligence LNCS, pp. 220-232, October 17 2003.
A. Krause, D. Siewiore, A. Smailagic, J. Farringdon, "Unsupervised, Dynamic Identification of Physiological and Activity Context in Wearable Computing", Proceedings Seventh IEEE International Symposium, pp. 88-97, October 18-21. 2005.
N. Ravi, N. Dandekar, P. Mysore, M. Littman, "Activity Recognition from Accelerometer Data", the Seventeenth Innovative Applications of Artificial Intelligence Conference, pp. 11-1, July 2005.
L. Bao, S. Intille, "Activity Recognition from User-Annotated Acceleration Data", PERVASIVE 2004, LNCS 3001, pp. 1-17, Berlin, 2005.
R.W. DeVaul, S. Dunn, "Real-time motion classification for wearable computing applications", Technical report, MIT Midea Lab., 2001.
T. Hyuhn, B. Schiele, "Analyzing Features for Activity Recognition", Proceedings of the 2005 joint conference on Smart objects and ambient intelligence, Grenoble, France, pp. 159-163, October 2005.
J. Caros, et al., "Very Low Complexity Algorithm for Ambulatory Activity Classification," 3rd European Medical and Biological Conference EMBEC, 2005.
Z. Husz, A. Wallace, P. Green, "Human activity ecognition with action primitives", AVSS2007, London, pp. 330-335, September 2007.
T. Nakata, "Recognizing Human Activities in Video by Multi-resolutional Optical Flows", Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference, Beijing, China, pp. 1793-1798, 2006.
Y. Cho, Y. Nam, T. Kim, J. Kim, and W. Cho, "SmartPendant: An Intelligent Device for human activity recognition and Location tracking", KCC, pp. 340-344, October 2007.
C. Zhu, W. Sheng, "Multi-sensor fusion for human daily activity recognition in robot-assisted living", HRI 2009: pp. 303-304
P. Burt and E. Adelson, "The Laplacian Pyramid as a Compact Image Code" IEEE Transactions on communication, Vol. com-31, No. 4, pp. 532-540, April, 1983.
B. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision," in DARPA Image Understanding Workshop. DARPA, pp. 121-130, 1981.
J. Barron, D. Fleet, and S. Beauchemin. "Performance of optical flow techniques," International Journal of Computer Vision, vol. 12, no. 1, pp. 43-77, 1995.
N. Ravi, N. Dandekar, P. Mysore, and M. L. Littman, "Activity recognition from accelerometer data," In AAAI, pages 1541-1546, 2005.
M. Losch, S. Schmidt-Rohr, S. Knoop, S. Vacek, and R. Dillmann, "Feature set selection and optimal classifier for human activity recognition," in ROMAN, Korea, Aug 2007.
Open Source Computer Vision Library, http://www.intel.com/research/mrl/research/opencv.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.