선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 논문의 목적은 글로벌 스페이스 상에서 다중 스마트폰의 절대적 위치와 스마트폰 간의 상대적 위치를 효과적으로 찾고 스마트폰과 멀티 디스플레이 간의 보다 효과적인 상호작용을 지원하는 방법을 제시하는 것이다. 이를 실현하기 위해서 영상과 깊이 정보를 함께 측정할 수 있는 키넥트(Kinect for Windows, 2013)를 이용하여 같은 장소에서 다중 스마트폰의 3차원 위치 및 기울기 정보를 효과적으로 트래킹하였다.
- 이는 스마트폰의 움직임이 빠르거나 각 축의 움직임이 큰 경우 그러한 현상이 더 발생하였다. 따라서 본 연구에서는 Refreshing step을 두어서 오리엔테이션 센서의 누적오차를 줄이고자 하였다. 하지만 추후 연구에서는 이러한 오차를 좀 더 줄일 수 있는 연구가 필요하다.
- 본 연구에서는 글로벌 스페이스 상에서 스마트폰과 키넥트를 활용하여 로컬 스페이스를 효과적으로 탐색할 수 있는 방법을 제시하였다. 기존의 연구와 달리 다중 스마트폰의 절대적 위치와 스마트 폰 간의 상대적 위치를 보다 효과적으로 찾을 수 있고 이를 활용하여 모바일 협업 및 상호작용을 지원할 수 있었다.
- 본 연구에서는 부가적인 센서를 스마트폰에 부착시키지 않고 키넥트를 통한 다중 스마트폰의 위치 및 기울기 정보를 효과적으로 트래킹하고, 이를 바탕으로 글로벌 스페이스와 스마트폰간의 모바일 상호작용 및 가시화 서비스를 제공할 수 있는 방법을 제안한다. [Figure 2]에서 볼 수 있듯이 글로벌 스페이스는 같은 공간에 있는 모든 사용자들이 공유할 수 있는 영역이다.
제안 방법
- • Refreshing step : 본 연구에서는 앞에서 언급한 것처럼 제조사 및 기울기 센서의 회전 및 이동에 따른 글로벌 스페이스와의 누적오차를 줄이기 위해서 키넥트로부터 계산한 OBB의 기울기 정보를 활용하여 주기적으로 스마트폰의 상대적인 기울기 정보를 다시 계산하여 스마트폰의 기울기를 초기화시킨다.
- 본 연구에서 사용된 갤럭시S 오리엔테이션 센서를 활용하여 오리엔테이션 오차를 측정하였다([Table 1] 참조). 4곳의 다른 위치 및 방향을 설정하고 여러 방향으로 움직인 후 각 위치별로 15번의 측정을 실시하였다([Figure 10]은 휴대폰의 방향을 측정하기 위한 자세를 보여주고 있다). 실험결과를 살펴보면 비록 휴대폰의 오리엔테이션 센서가 비교적 정확하지만 움직임 속도나 3축의 기울기 정도 등에 따라서는 상당한 편차를 발생하는 것을 알 수 있었다.
- 따라서 글로벌 스페이스와 로컬 스페이스 간의 상대적인 기울기를 계산해야 할 필요가 있다. 그렇기 때문에 스마트폰 센서의 기울기 정보뿐만 아니라 키넥트의 영상처리를 통한 스마트 폰의 기울기 정보를 이용하여 글로벌 스페이스에 대한 스마트 폰의 상대적인 기울기 정보를 동시에 계산하였다. 특히 모바일 기기가 오리엔테이션 센서가 없을 경우도 적용이 가능한 것도 장점이라 할 수 있다.
- , 2009). 그렇기 때문에 스마트폰 센서의 누적오차를 줄이기 위해서 OBB에서 구한 기울기로 초기화를 시키는 과정을 함께 적용시켰다.
- 또한 키넥트를 활용하여 하나의 스마트폰만을 찾는 것이 아니라 다수의 스마트폰을 실시간으로 트래킹할 수 있도록 하였다. 그리고 하나의 글로벌 스페이스 상에 여러 개의 로컬 스페이스 영역을 만들어서 각 스마트폰에 해당되는 로컬 스페이스를 사용자가 보면서 상호작용을 수행할 수 있게 하였다.
- Cb와 Cr값의 일정 범위를 피부로 가정할 수 있으며 피부로 추측되는 부분을 필터링할 수 있다. 두 과정을 통해 포인트 클라우드와 RGB 이미지로부터 손 영역을 제외한 스마트폰 영역을 추출하고 위치 및 기울기 값을 계산하였다.
- 키넥트에서 얻은 포인트 클라우드를 필터링하고 평면계산을 통하여 휴대폰의 위치(px, py, pz) 값과 기울기(ax, ay, az) 정보를 계산하였다. 또한 스마트폰에서 가속도 센서를 이용하여 sx, sy, sz축 방향의 기울기를 획득하였다. [Figure 11]에서 볼 수 있듯이 스마트폰의 위치에 따라 로컬 스페이스 영역을 사용자의 스마트폰으로 가시화할 수 있고, 키넥트로부터 스마트폰까지의 거리인 깊이 값에 따른 Zoom In/Zoom Out의 기능도 적용시킬 수 있었다.
- 예를 들면 가상의 객체의 Move, Rotate, Scale, State 변화와 멀티미디어의 재생 등의 조작을 할 수 있다. 또한 키넥트를 활용하여 하나의 스마트폰만을 찾는 것이 아니라 다수의 스마트폰을 실시간으로 트래킹할 수 있도록 하였다. 그리고 하나의 글로벌 스페이스 상에 여러 개의 로컬 스페이스 영역을 만들어서 각 스마트폰에 해당되는 로컬 스페이스를 사용자가 보면서 상호작용을 수행할 수 있게 하였다.
- 그리고 평면이 아닌 부분은 스마트폰이 아니라고 판단하고 필터링을 하여 [Figure 7](b)와 같이 스마트폰만을 찾을 수 있도록 하였다. 또한 하나의 스마트폰이 아닌 다수의 스마트폰이 실시간으로 트래킹이 가능하도록 하였다. [Figure 7](c)에서 볼 수 있듯이 다수의 스마트폰을 트래킹 함으로써 다수의 사용자가 동시에 모바일 상호작용에 참여할 수 있다.
- 본 논문에서 제시한 시스템의 글로벌/로컬 스페이스를 통해 다양한 시나리오를 구성해볼 수 있다. 그 예로는 아래와 같이 들 수 있다[Figure 5].
- 본 연구에서 사용된 갤럭시S 오리엔테이션 센서를 활용하여 오리엔테이션 오차를 측정하였다([Table 1] 참조). 4곳의 다른 위치 및 방향을 설정하고 여러 방향으로 움직인 후 각 위치별로 15번의 측정을 실시하였다([Figure 10]은 휴대폰의 방향을 측정하기 위한 자세를 보여주고 있다).
- 또한 로컬 스페이스를 통해 사용자들은 자신이 보고 싶은 정보만을 선택하여 볼 수 있다. 본 연구에서는 [Figure 3]과 같이 글로벌 스페이스 역할을 하는 멀티 디스플레이 상에서 스마트폰을 활용하여 로컬 스페이스를 효과적으로 제어함으로써 원하는 정보만을 보다 효과적으로 가시화 할 수 있거나 가상의 객체나 멀티미디어와의 상호작용을 지원할 수 있도록 하였다.
- 본 연구에서는 모바일 상호작용이 가능하도록 글로벌 스페이스는 다중 스마트폰을 트래킹하고 이를 바탕으로 트래킹된 스마트폰에 로컬 뷰를 전송시킨다. 이를 위해서 내부적으로 뷰 관리자(View Manager)가 있으며 n+1개(n : 스마트폰의 개수)의 뷰를 관리한다([Figure 4] 참조).
- 본 연구에서는 스마트폰을 통한 로컬 스페이스 탐색을 지원하기 위해서 [Figure 6]에서 볼 수 있듯이 키넥트의 깊이 카메라를 이용하여 포인트 클라우드(Point Clouds)를 획득하였다(Kinect for Windows, 2013). 키넥트에서 획득된 포인트 클라우드 중에서 미리 설정된 구간 내의 포인트 클라우드를 우선 추출하였다.
- 하지만 YCbCr 모델을 이용하여 일정 범위 구간 내에 있는 손 영역 필터링을 하였어도 [Figure 7](a)와 같이 사용자의 옷 등 스마트폰이 아닌 부분을 스마트폰의 영역으로 찾는 문제점이 발생하였다. 이런 문제점을 해결하기 위해 획득된 포인트 클라우드에서 필터링된 영역이 평면인지 아닌지를 계산하였다. 그리고 평면이 아닌 부분은 스마트폰이 아니라고 판단하고 필터링을 하여 [Figure 7](b)와 같이 스마트폰만을 찾을 수 있도록 하였다.
- 따라서 본 논문의 목적은 글로벌 스페이스 상에서 다중 스마트폰의 절대적 위치와 스마트폰 간의 상대적 위치를 효과적으로 찾고 스마트폰과 멀티 디스플레이 간의 보다 효과적인 상호작용을 지원하는 방법을 제시하는 것이다. 이를 실현하기 위해서 영상과 깊이 정보를 함께 측정할 수 있는 키넥트(Kinect for Windows, 2013)를 이용하여 같은 장소에서 다중 스마트폰의 3차원 위치 및 기울기 정보를 효과적으로 트래킹하였다. 트래킹된 3차원 위치 및 기울기 정보를 이용하여 글로벌 스페이스 상에서 로컬 스페이스 영역을 생성하고 이를 기반으로 글로벌 스페이스와 스마트폰간의 상호작용을 지원할 수 있다.
- 키넥트로부터 획득한 깊이 정보를 담고 있는 포인트 클라우드(Point Clouds)를 분석하여 스마트폰 위치 및 기울기를 찾을 수 있다. 또한 포인트 클라우드에 노이즈가 발생하기 때문에 스마트폰에 내장된 가속도 센서를 통해 키넥트의 기울기 정보를 보정함으로써 보다 정확한 정보를 획득할 수 있었다.
- [Figure 11]은 본 연구에서 제시한 시스템의 구현결과로 스마트폰을 활용하여 글로벌 스페이스 상에서 로컬 스페이스를 탐색할 수 있다. 키넥트에서 얻은 포인트 클라우드를 필터링하고 평면계산을 통하여 휴대폰의 위치(px, py, pz) 값과 기울기(ax, ay, az) 정보를 계산하였다. 또한 스마트폰에서 가속도 센서를 이용하여 sx, sy, sz축 방향의 기울기를 획득하였다.
- 본 연구에서는 스마트폰을 통한 로컬 스페이스 탐색을 지원하기 위해서 [Figure 6]에서 볼 수 있듯이 키넥트의 깊이 카메라를 이용하여 포인트 클라우드(Point Clouds)를 획득하였다(Kinect for Windows, 2013). 키넥트에서 획득된 포인트 클라우드 중에서 미리 설정된 구간 내의 포인트 클라우드를 우선 추출하였다. 특히 키넥트에서 동시에 획득된 RGB 이미지로부터 손 영역을 필터링하기 위해 추출된 포인트 클라우드에 해당하는 RGB 이미지만을 추출하고 이를 YCbCr 모델로 변환시킨다(OpenCV, 2012).
- 특히, 키넥트를 통해 얻은 위치정보와 기울기 정보를 기준으로 스마트 폰의 센서를 통해 얻은 기울기 정보를 우선적으로 활용하여 스마트 폰의 실제 기울기를 트래킹 하였다. 그 이유 중 첫 번째는 키넥트만을 활용하여 기울기 정보를 트래킹할 경우 [Figure 8]과 같이 영상에서의 노이즈가 발생하기 때문에 이로 인해 기울기가 흔들리며 정확도가 떨어질 수 있다.
- 제시한 본 연구를 서론에서 언급했던 [Figure 1] 기존 연구들과 비교해보면 대부분의 기존 연구들은 스마트 폰들 간의 상대적인 관계를 찾아낼 뿐 3차원 상의 절대적 위치 정보를 얻어내지 못하였다. 하지만 본 연구가 제시하는 방법은 키넥트를 통해 스마트 폰의 3차원을 위치 정보와 기울기를 알아내고 또한 스마트폰의 센서정보를 활용하여 글로벌 스페이스 상에서 다양한 상호작용 및 로컬 스페이스 탐색을 가능케 한다. 또한 스마트폰의 제스처를 이용하여 객체에 대한 조작 및 협업을 할 수 있도록 지원할 수 있다.
대상 데이터
- 본 장에서는 제시된 방법에 따른 구현결과를 설명한다. 본 연구는 글로벌 스페이스를 보여주기 위해 LG LCD TV를 사용하였고 스마트 폰은 갤럭시 S와 넥서스 원을 사용하였다. 프로그래밍은 C++과 안드로이드를 이용하여 구현하였다.
- 프로그래밍은 C++과 안드로이드를 이용하여 구현하였다. 본 연구의 구현에 사용된 스마트 폰에는 자이로스코프 센서는 내장되어 있지 않아 가속도 센서를 이용하였다. [Figure 11]은 본 연구에서 제시한 시스템의 구현결과로 스마트폰을 활용하여 글로벌 스페이스 상에서 로컬 스페이스를 탐색할 수 있다.
이론/모형
- 앞서 언급한 것처럼 스마트폰의 위치 및 기울기를 찾을 수 있어야 글로벌 스페이스와 로컬 스페이스와의 상호작용을 지원할 수 있다. 본 연구에서는 포인트 클라우드에 OBB(Oriented Bounding Box)(Gottoschalk et al., 1996) 계산 방법을 적용시켜 제 2장에서 정의된 위치(px, py, pz)와 기울기(ax, ay, az)를 찾도록 하였다. 위치와 기울기는 추출된 포인트 클라우드에 아래의 식을 적용시켜 평균과 공분산으로부터 구할 수 있다.
성능/효과
- 본 연구에서는 글로벌 스페이스 상에서 스마트폰과 키넥트를 활용하여 로컬 스페이스를 효과적으로 탐색할 수 있는 방법을 제시하였다. 기존의 연구와 달리 다중 스마트폰의 절대적 위치와 스마트 폰 간의 상대적 위치를 보다 효과적으로 찾을 수 있고 이를 활용하여 모바일 협업 및 상호작용을 지원할 수 있었다. 또한 글로벌 스페이스의 다양하고 복잡한 정보의 일부분이나 단순화된 정보를 탐색하기 위해서 로컬 뷰를 관리하고 스마트폰의 위치 및 기울기에 따른 상대적인 뷰를 렌더링할 수 있다.
- 키넥트로부터 획득한 깊이 정보를 담고 있는 포인트 클라우드(Point Clouds)를 분석하여 스마트폰 위치 및 기울기를 찾을 수 있다. 또한 포인트 클라우드에 노이즈가 발생하기 때문에 스마트폰에 내장된 가속도 센서를 통해 키넥트의 기울기 정보를 보정함으로써 보다 정확한 정보를 획득할 수 있었다. 제 2장에서는 본 연구의 글로벌 스페이스 상에서 스마트폰을 활용한 상호작용을 설명하고, 제 3장에서는 스마트폰의 글로벌 스페이스와의 상호작용을 효과적으로 지원하기 위한 스마트폰 위치 및 기울기를 추적하는 방법을 제시한다.
- 4곳의 다른 위치 및 방향을 설정하고 여러 방향으로 움직인 후 각 위치별로 15번의 측정을 실시하였다([Figure 10]은 휴대폰의 방향을 측정하기 위한 자세를 보여주고 있다). 실험결과를 살펴보면 비록 휴대폰의 오리엔테이션 센서가 비교적 정확하지만 움직임 속도나 3축의 기울기 정도 등에 따라서는 상당한 편차를 발생하는 것을 알 수 있었다. 예를 들면, [Table 1]에서 볼 수 있듯이 누적오차가 발생했을 경우 특정 축에 대한 오차가 15도 이상나기도 하였다(단, 모바일 기기마다 특성이 있기 때문에 실험결과는 차이가 있을 것이라고 판단한다(Tokusho et al.
후속연구
- 또한, 스마트폰을 잡는 위치도 상당한 영향을 끼쳤다. 따라서 이런 문제를 해결하기 위해 추후 연구에서는 키넥트에서 받아들인 영상에서 실제 사용자의 위치 및 자세를 찾아 이를 활용하거나 주변 환경으로 인해 발생하는 노이즈를 줄일 수 있도록 다중 키넥트를 사용하는 방법을 함께 진행할 예정이다. 또한 스마트 폰의 성능이 발달하면서 스마트 폰 내에 내장되어 있는 센서들의 성능도 동시에 좋아질 것이므로 본 연구에서 실시간으로 트래킹 했던 3차원 기울기의 정보에 대한 정확성도 또한 더욱 높아질 것이다.
- 따라서 이런 문제를 해결하기 위해 추후 연구에서는 키넥트에서 받아들인 영상에서 실제 사용자의 위치 및 자세를 찾아 이를 활용하거나 주변 환경으로 인해 발생하는 노이즈를 줄일 수 있도록 다중 키넥트를 사용하는 방법을 함께 진행할 예정이다. 또한 스마트 폰의 성능이 발달하면서 스마트 폰 내에 내장되어 있는 센서들의 성능도 동시에 좋아질 것이므로 본 연구에서 실시간으로 트래킹 했던 3차원 기울기의 정보에 대한 정확성도 또한 더욱 높아질 것이다. 특히 스마트폰의 오리엔테이션 센서의 움직임을 Extrapolation 계산과정을 통하여 Outlier 제거 및 방향 예측에 관한 추가연구도 필요하다.
- 하나의 접근방법은 이를 보완하기 위해서 오리엔테이션 센서 움직임의 Extrapolation을 계산한 후 예측된 모델에 매핑을 통하여 Outlier에 대한 보정으로 편차를 줄일 수 있을 것이다. 또한, 추후 연구에서 실험을 통한 검증이 필요하다.
- 특히 스마트폰의 오리엔테이션 센서의 움직임을 Extrapolation 계산과정을 통하여 Outlier 제거 및 방향 예측에 관한 추가연구도 필요하다. 마지막으로 본 연구 방법을 다양한 구현 결과에 적용시킨 후 사용성 평가도 함께 진행할 예정이다.
- 이를 통해 사용자들은 객체의 전체적인 모습을 본다거나 반대로 객체의 일부분만을 확대하여 볼 수 있으며 이미지나 동영상과 같은 별도의 원하는 정보를 볼 수 있다. 본 연구의 결과를 바탕으로 멀티 디스플레이 상에서 다수의 사용자가 스마트폰을 활용하여 로컬 스페이스 탐색, 공유 그리고 상호작용 등이 가능할 것이다.
- 또한 스마트 폰의 성능이 발달하면서 스마트 폰 내에 내장되어 있는 센서들의 성능도 동시에 좋아질 것이므로 본 연구에서 실시간으로 트래킹 했던 3차원 기울기의 정보에 대한 정확성도 또한 더욱 높아질 것이다. 특히 스마트폰의 오리엔테이션 센서의 움직임을 Extrapolation 계산과정을 통하여 Outlier 제거 및 방향 예측에 관한 추가연구도 필요하다. 마지막으로 본 연구 방법을 다양한 구현 결과에 적용시킨 후 사용성 평가도 함께 진행할 예정이다.
- 하지만 추후 연구에서는 이러한 오차를 좀 더 줄일 수 있는 연구가 필요하다. 하나의 접근방법은 이를 보완하기 위해서 오리엔테이션 센서 움직임의 Extrapolation을 계산한 후 예측된 모델에 매핑을 통하여 Outlier에 대한 보정으로 편차를 줄일 수 있을 것이다. 또한, 추후 연구에서 실험을 통한 검증이 필요하다.
- 따라서 본 연구에서는 Refreshing step을 두어서 오리엔테이션 센서의 누적오차를 줄이고자 하였다. 하지만 추후 연구에서는 이러한 오차를 좀 더 줄일 수 있는 연구가 필요하다. 하나의 접근방법은 이를 보완하기 위해서 오리엔테이션 센서 움직임의 Extrapolation을 계산한 후 예측된 모델에 매핑을 통하여 Outlier에 대한 보정으로 편차를 줄일 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.