선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- 수집된 라이프 로그의 특징 값을 추출한다. GPS 데이터는 네이버맵 OPEN API를 이용하여 지도에 표기하고 이를 통해 레이블링 한다. 레이블링 할 목록은 “공항, 아파트, 버스정류장, 카페, 집, 마켓, 음식점, 거리, 영화관, 학교, 직장이다.
- 이 연구에서는 웹 기반 어노테이션 툴을 제공하여 동영상에 사용자에게 직접 레이블링 하도록 하고 특징을 추출하여 동영상을 검색/관리하였다. PVM에서는 라이프 로그(동영상)의 분석에 동영상에서의 특징 추출만을 이용하였으나 본 논문에서는 수집된 여러 라이프 로그를 이용하여 향상된 성능의 의미정보(컨텍스트)를 생성하는 방법을 제안한다. 제안하는 방법이 유용한지를 보이기 위하여 동영상 검색 시스템을 구현하고 사용성 평가를 통해 시스템의 유용함을 보인다.
- 제안하는 시스템은 먼저 센서를 통해 데이터를 수집하고, 이를 전처리를 통해 특징을 추출한다. 그리고 이 특징을 바탕으로 동적 베이지안 네트워크를 이용하여 의미 정보를 추론한다. 최종적으로 추론된 의미정보를 이용하여 라이프 로그의 관리 및 검색에 이용하는 인터페이스를 제공한다.
- 다음으로 영상 특징 값을 이용한 실험을 하였다. 앞의 결과 “일”의 행동은 지역정보와 상태정보에 의존적이고, 데이터 수가 50%를 영상에서 추출한 특징이 의미정보 추론에 영향을 주는지 알아보기 위해 ‘일’ 분류를 삭제하고 실험하였다.
- 수집된 데이터에서 특징을 추출하고 추출된 특징의 개수를 조절하며 10-Fold Cross-validation 기법을 이용하여 테스트 하였다. 먼저 위치정보와 상태정보만을 실험을 하였다. 표 4는 실험 결과를 Confusion Matrix로 나타낸 것이다.
- 센서에서 수집된 데이터와 각각의 데이터에 대한 행동도 레이블링 하였다. 모든 데이터에는 시간이 명시되어있어야 하고, 24시간 모두 수집하는 것을 원칙으로 하였다. 추론할 의미정보는 “컴퓨터, 식사, 집안일, 이동, 외출, 독서, 휴식, 일, 기타” 로 9가지 종류이다.
- 베이지안 네트워크를 학습하기 위해 수집한 데이터를 ARFF(Attribute-Relation File Format)파일 형식으로 만들어 weka를 이용하여 베이지안 네트워크의 구조와 파라미터를 학습하였다. weka는 뉴질랜드의 Waikato 대학에서 데이터 마이닝의 여러 알고리듬을 사용하고 테스트할 수 있는 오픈 소스 툴로, 베이지안 네트워크의 학습 기능을 제공한다[8].
- 경계선을 각 3bit로 나타내어 4 x 4 x 5(종류) x 8(3bit)의 240빈을 가진 히스토그램을 생성한다. 본 논문에서는 경계선의 종류를 기준으로 히스토그램을 합한 값을 특징으로 추출하였다. 그림2는 경계선을 추출하는데 사용되는 5개의 경계선을 나타낸다.
- 본 논문에서는 비디오 데이터를 포함한 라이프 로그를 수집하고, 이를 베이지안 네트워크를 이용하여 라이프 로그의 의미정보를 자동 생성하였다. 생성된 라이프 로그 의미정보는 검색 또는 사용자의 생활 요약에 활용될 수 있을 것이다.
- 수집 방법에는 특정한 제한상황을 두지 않고, 자유롭게 수집하도록 하였다. 비디오데이터는 사용자의 생활이 모두 기록되어지도록 가능한 모든 시간동안 촬영하였고, 가속도 센서는 x, y, z 방향의 3축 가속도 센서로 손목과 허리에 장착하여 사용자의 상태정보를 수집한다. GPS 센서는 항상 소지하고 사용자의 위치정보를 수집한다.
- 본 논문에서 제안한 시스템을 평가하기 위하여 20대 여대생으로부터 실제 데이터를 수집하고, 의미정보를 추출하였다. 센서에서 수집된 데이터와 각각의 데이터에 대한 행동도 레이블링 하였다. 모든 데이터에는 시간이 명시되어있어야 하고, 24시간 모두 수집하는 것을 원칙으로 하였다.
- 사용되는 센서의 종류는 GPS, 가속도 센서 그리고 캠코더이다. 수집 방법에는 특정한 제한상황을 두지 않고, 자유롭게 수집하도록 하였다. 비디오데이터는 사용자의 생활이 모두 기록되어지도록 가능한 모든 시간동안 촬영하였고, 가속도 센서는 x, y, z 방향의 3축 가속도 센서로 손목과 허리에 장착하여 사용자의 상태정보를 수집한다.
- CLD(Color Layout Descriptor)는 영상의 유사한 색상 간의 히스토그램과 공간구조의 분포를 나타내는 MPEG-7에 정의된 기술자로, 구현이 간편하고 좋은 성능을 가진다[6]. 영상을 64(6 x 6)개의 겹치지 않은 서브 영상으로 나누어 각 블록을 대표하는 색을 정한다. 색의 요소는 YCbCr 색공간의 값이고, 대푯값을 DCT 변환을 한 계수를 사용한다.
- Hewlett-Packard Company에서는 동영상을 검색하고 관리하는 PVM(Personal Video Manager) 시스템을 제안하였다[2]. 이 연구에서는 웹 기반 어노테이션 툴을 제공하여 동영상에 사용자에게 직접 레이블링 하도록 하고 특징을 추출하여 동영상을 검색/관리하였다. PVM에서는 라이프 로그(동영상)의 분석에 동영상에서의 특징 추출만을 이용하였으나 본 논문에서는 수집된 여러 라이프 로그를 이용하여 향상된 성능의 의미정보(컨텍스트)를 생성하는 방법을 제안한다.
- 제안하는 시스템은 먼저 센서를 통해 데이터를 수집하고, 이를 전처리를 통해 특징을 추출한다. 그리고 이 특징을 바탕으로 동적 베이지안 네트워크를 이용하여 의미 정보를 추론한다.
- 본 논문에서는 weka에서 제공하는 베이지안 네트워크 학습 알고리듬 중 Hill Climbing를 이용하였다. 최대 부모 노드는 5개로 하였고, 데이터를 기반으로 구조와 파라미터 학습을 하였다. 그림 5는 학습된 베이지안 네트워크를 나타낸다.
- 추출한 프레임을 바탕으로 영상처리를 실행한다. 추론될 특징은 MPEG-7의 EHD(Edge Histogram Descriptor)와 CLD(Color Layout Descriptor)와 RGB, HSL의 색 공간을 이용한다.
- 추출된 프레임을 4 x 4 개수의 겹치지 않는 서브영상으로 나누어 각각의 경계선(0°(수직), 45°(대각선), 90°(수직), 135° (대각선), 비방향성)을 사용하여 영상의 공간적인 분포를 표현한다.
- 추출된 프레임을 RGB와 HSL 색공간의 이미지로 각각 변형시킨 후 평균값을 구하였다. 각각은 이미지에 포함된 색상과 채도 명도 정보를 가진다.
- 동영상 데이터는 전처리 과정으로 먼저 영상의 프레임을 추출하였다. 추출한 프레임을 바탕으로 영상처리를 실행한다. 추론될 특징은 MPEG-7의 EHD(Edge Histogram Descriptor)와 CLD(Color Layout Descriptor)와 RGB, HSL의 색 공간을 이용한다.
대상 데이터
- 본 논문에서 제안하는 시스템을 개발하기 위해 센서를 이용하여 데이터를 수집한다. 사용되는 센서의 종류는 GPS, 가속도 센서 그리고 캠코더이다.
- 본 논문에서 제안한 시스템을 평가하기 위하여 20대 여대생으로부터 실제 데이터를 수집하고, 의미정보를 추출하였다. 센서에서 수집된 데이터와 각각의 데이터에 대한 행동도 레이블링 하였다.
- 본 논문에서 제안하는 시스템을 개발하기 위해 센서를 이용하여 데이터를 수집한다. 사용되는 센서의 종류는 GPS, 가속도 센서 그리고 캠코더이다. 수집 방법에는 특정한 제한상황을 두지 않고, 자유롭게 수집하도록 하였다.
- 비디오 로그를 기준으로 하였고, 비디오 로그가 존재하지 않은 경우에는 다른 센서데이터를 삭제하였다. 총 2107개의 데이터가 수집되었으며, 분류된 행동의 수는 표 3과 같다.
데이터처리
- 이를 베이지안 네트워크에서 사용하기 위해서는 이산화 과정이 필요하다. 이산화 방법으로는 평균값과 표준편차를 이용하였다. 4가지 등급(“매우적음”, “적음”, “많음”, “매우 많음”) 다음 그림 3은 이산화 방법을 나타내고, 그림 4는 이를 통하여 이산화 한 결과를 나타낸다.
이론/모형
- weka는 뉴질랜드의 Waikato 대학에서 데이터 마이닝의 여러 알고리듬을 사용하고 테스트할 수 있는 오픈 소스 툴로, 베이지안 네트워크의 학습 기능을 제공한다[8]. 본 논문에서는 weka에서 제공하는 베이지안 네트워크 학습 알고리듬 중 Hill Climbing를 이용하였다. 최대 부모 노드는 5개로 하였고, 데이터를 기반으로 구조와 파라미터 학습을 하였다.
- 본 논문에서는 의미정보를 추론하기 위해 동적 베이지안 네트워클 이용한다. 의미정보란 사람에게 의미 있는 정보 즉, 사람의 행동이나 특별한 사건을 나타내는 정보를 말하는 것으로 라이프 로그 분석에 중요한 정보이다.
-
표 3 수집된 행동의 수
수집된 데이터에서 특징을 추출하고 추출된 특징의 개수를 조절하며 10-Fold Cross-validation 기법을 이용하여 테스트 하였다
. 먼저 위치정보와 상태정보만을 실험을 하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.