본 논문에서는 반투영 거울을 사용하여 원하는 출력물을 허공에 디스플레이 하는 방식의 전시물 안내 시스템을 제안한다. 관람객이 전시물을 관람시 즉각적인 정보 획득이 가능하도록, 전시물에 대한 설명을 전시물 주변에 출력한다. 이를 위해 본 논문에서는 세 가지 문제를 해결한다. 첫째, 실시간 입력 카메라영상을 사용하여 위치 추적을 한다. 이를 통하여 고정된 전시물뿐만 아니라, 유동적인 전시물에도 사용이 가능하다. 둘째, 실시간으로 계산되어진 대상의 위치좌표를 이용하여 결과물을 출력할 때, 자연스러운 이동을 위하여 병렬처리를 통한 추적 알고리즘을 사용한다. 셋째, 공간 증강 현실 시스템제작을 위해 전시 공간 앞면에 반투영 거울을 설치하는데, 설치된 거울의 기울기로 인하여 생기는 왜곡은 반사 변환 행렬을 사용하여 보정한다. 본 논문의 제안 시스템은 전시물에 대하여 관람자의 호기심을 유발하며, 쉽고 즉각적인 설명을 통하여 관람자가 전시물에 대한 정보를 쉽고 빠르게 획득하도록 한다.
본 논문에서는 반투영 거울을 사용하여 원하는 출력물을 허공에 디스플레이 하는 방식의 전시물 안내 시스템을 제안한다. 관람객이 전시물을 관람시 즉각적인 정보 획득이 가능하도록, 전시물에 대한 설명을 전시물 주변에 출력한다. 이를 위해 본 논문에서는 세 가지 문제를 해결한다. 첫째, 실시간 입력 카메라영상을 사용하여 위치 추적을 한다. 이를 통하여 고정된 전시물뿐만 아니라, 유동적인 전시물에도 사용이 가능하다. 둘째, 실시간으로 계산되어진 대상의 위치좌표를 이용하여 결과물을 출력할 때, 자연스러운 이동을 위하여 병렬처리를 통한 추적 알고리즘을 사용한다. 셋째, 공간 증강 현실 시스템제작을 위해 전시 공간 앞면에 반투영 거울을 설치하는데, 설치된 거울의 기울기로 인하여 생기는 왜곡은 반사 변환 행렬을 사용하여 보정한다. 본 논문의 제안 시스템은 전시물에 대하여 관람자의 호기심을 유발하며, 쉽고 즉각적인 설명을 통하여 관람자가 전시물에 대한 정보를 쉽고 빠르게 획득하도록 한다.
This paper proposes a half-silvered mirror display system designed to demonstrate useful information about things on display into the air. It helps the spectators gain quick access to information near the area where the things are put on display. This paper deals with three matters: First, tracking ...
This paper proposes a half-silvered mirror display system designed to demonstrate useful information about things on display into the air. It helps the spectators gain quick access to information near the area where the things are put on display. This paper deals with three matters: First, tracking based on camera images created in real time enables the provision of information about the things that are both still and moving. Second, as information is output based on the real-time coordinates of things on display, the parallel processing-based tracking algorithm is used to ensure smooth transfer. Third, a half-mirror is placed in front of the display area to establish an augmented reality system and visual distortion caused by mirror angle is adjusted by the reflection transformation matrix. The objectives of this system are to arouse the spectators' interest in things on display and offer easy and quick access to information about them.
This paper proposes a half-silvered mirror display system designed to demonstrate useful information about things on display into the air. It helps the spectators gain quick access to information near the area where the things are put on display. This paper deals with three matters: First, tracking based on camera images created in real time enables the provision of information about the things that are both still and moving. Second, as information is output based on the real-time coordinates of things on display, the parallel processing-based tracking algorithm is used to ensure smooth transfer. Third, a half-mirror is placed in front of the display area to establish an augmented reality system and visual distortion caused by mirror angle is adjusted by the reflection transformation matrix. The objectives of this system are to arouse the spectators' interest in things on display and offer easy and quick access to information about them.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
광학 오버레이 기반의 공간 증강 현실 디스플레이에서 중요한 요소인 가상의 출력 영상에 대한 깊이 정보 데이터를 위해 본 연구에서는 전시되어 있는 사물의 특징을 이용한다. 전시 되어 있는 사물의 윗면에서 모서리 네 곳의 꼭지점을 지정하여 앞면과 뒷면의 경계선을 할당하고 해당 구간을 일정한 간격으로 나누어 앞면에서 뒷면으로 깊이 정보값을 적용하는 것이다.
본 논문에서는 전시물에 대한 소개를 할 때 보다효과적이고 직접적인 방법으로 관찰자에게 정보를제공하기 위한 방법으로 반투영 거울을 이용한 공간 증강 현실 디스플레이 방법을 제안하고 시스템을 제작하였다. 유동적인 피사체의 위치 추적을 위해서 다수의 피사체를 개별적으로 선택이 가능하도록 변형된 CamShift 알고리즘을 구현하였으며, 피사체의 깊이 정보를 계산하기 위해 단일 영상의 입력시 발생되는 영상의 왜곡을 보정하여 깊이 정보를 계산하였다.
독일에서 발표된 시스템 중에는 교육적 콘텐츠로 제작된 시스템이 있지만, 고정된 사물에만 적용이 가능하다는 단점이 있다. 이러한 한계점을 보완하기 위해서 본 연구에서는 움직이는 사물에도 적용이 가능한 반투영 거울을 사용한 공간 증강 현실 전시안내 시스템을 제안한다. 제안하는 시스템은 실시간으로 객체의 위치 좌표를 계산하고, 공간 증강현실 기법을 이용하여 각각의 대상물에 해당하는안내문을 출력한다.
제안 방법
계산되어진 영상과 실시간으로 입력되는 영상에서 각각의 픽셀차를 계산하여 기존 영상의픽셀과 다른 값을 가진 픽셀들을 검출한다. 이때검출된 픽셀들을 Blob으로 지정하며, 크기 비교를통하여 가장 큰 범위의 Blob을 피사체로 지정하며, 나머지 Blob들은 노이즈로 인한 오류 값으로 간주하여 제거한다.
유동적인 피사체의 위치 추적을 위해서 다수의 피사체를 개별적으로 선택이 가능하도록 변형된 CamShift 알고리즘을 구현하였으며, 피사체의 깊이 정보를 계산하기 위해 단일 영상의 입력시 발생되는 영상의 왜곡을 보정하여 깊이 정보를 계산하였다. 그리고 획득된 피사체의 실시간 위치 정보에 맞추어 해당 안내문을 병렬처리하여 출력함으로써 자연스러운 움직임을 구현하였으며, 피사체의 이동방향에 따라서 알맞게 변화하도록 제작하였다. 이렇게 계산된 안내문은 반사 변환 행렬에의하여 거울의 기울기에 따른 왜곡을 보정하여 반투영 거울에 투영 되며, 그 결과 관찰자는 자신이관람하는 피사체에 대한 정보를 즉각적으로 획득하는 것이 가능하였다.
본 논문에서 제안하고 있는 시스템을 펜티엄 IV 1.8 GHz, 1GB 램 시스템에서 Visual C++을 이용하여 구현하였다. 영상 입력을 받기 위해서 1024x768 해상도, 초당 30 프레임을 지원하는 Pointgrey 사의 PGR Flea 1394 Camera를 사용하였다.
수식 (2)와 같은 방법으로 정규화 된 rgb 컬러모델의 평균영상과 표준편차영상을 구한다. IR, IG, IB 는 학습될 배경영상, N 은 학습할 전체 프레임 수를 나타낸다.
영상 입력을 받기 위해서 1024x768 해상도, 초당 30 프레임을 지원하는 Pointgrey 사의 PGR Flea 1394 Camera를 사용하였다. 실험에서는금붕어 두 마리로 테스트를 하였으며, 초기 화면에서 순서에 맞게 각각의 금붕어를 선택하면 해당 안내문이 출력되어 움직이는 금붕어를 실시간으로 추적하여 각각의 금붕어 관련 정보를 출력한다.
우선 RGB 컬러 모델에서 학습할 배경영상에 대해서평균영상과 표준편차영상을 구한다. 본 과정에서컬러의 채널 특성을 이용하기 때문에 영상의 R, G, B 컬러를 각각 분할한다.
위와 같이 실시간으로 변하는 좌표를 기준으로 안내문을 출력할 경우 발생하는 문제를 해결하기 위한 방안으로 본 논문에서 제안하는 시스템에서는 실시간으로 해당 좌표에 안내문을 출력하는 방식 대신에 계산되어진 좌표 값을 향하여 피사체의 위치까지 유연한 움직임으로 추적을 하는 알고리즘을 적용하였다.
제작하였다. 유동적인 피사체의 위치 추적을 위해서 다수의 피사체를 개별적으로 선택이 가능하도록 변형된 CamShift 알고리즘을 구현하였으며, 피사체의 깊이 정보를 계산하기 위해 단일 영상의 입력시 발생되는 영상의 왜곡을 보정하여 깊이 정보를 계산하였다. 그리고 획득된 피사체의 실시간 위치 정보에 맞추어 해당 안내문을 병렬처리하여 출력함으로써 자연스러운 움직임을 구현하였으며, 피사체의 이동방향에 따라서 알맞게 변화하도록 제작하였다.
오차가 발생한다. 이러한 문제를 해결하기위하여 RGB 컬러 모델을 정규화 하여 평균영상과표준편차영상을 수식 (1)과 같은 방법으로 구한다.
카메라의 시점에서 일정하게 나눌 경우 실질적으로는 단위당 거리가 앞쪽일수록 짧게 되고 뒤쪽으로 갈수록 점차 길어지게 된다. 이러한 영상 왜곡에 의해 불규칙적으로 할당되는 오류를 수정하기 위하여 호모그래피 행렬[5, 6]을 사용하여 카메라 시야에 대한 입력 영상의 오류를 보정 한다.
이렇게 입력 받은 영상(그림 10-a)에서 마우스를 이용하여 추적을 원하는 피사체를 선택(그림 10-b)하면 시스템 내부에서는 CamShift알고리즘에 의하여 피사체의 위치 좌표를 계산해 낸다. 이렇게 계산되어진 각각의 피사체의 좌표에 병렬처리를 통한 유연한 추적 알고리즘을 적용하여 해당 안내문이 새로운 위치로 이동하도록 한다. 이때, 안내문은 피사체를 중심으로 4사분면의 위치에 따라서 적합한 형태로 변한다.
이를 해결하기 위하여 유사역원을 이용한다. 이와 같은 과정을 통해서계산되어진 호모그래피 행렬을 이용하여 보정된 영상을 구하고, 그 영상을 일정한 간격으로 계산하여, 피사체의 위치에 따른 깊이 정보 값을 산출한다.
이러한 한계점을 보완하기 위해서 본 연구에서는 움직이는 사물에도 적용이 가능한 반투영 거울을 사용한 공간 증강 현실 전시안내 시스템을 제안한다. 제안하는 시스템은 실시간으로 객체의 위치 좌표를 계산하고, 공간 증강현실 기법을 이용하여 각각의 대상물에 해당하는안내문을 출력한다.
피사체에 따라 적절한 값을 설정하여 중심좌표의 주변에 해당 안내문이 출력되도록 하는데, 이때피사체를 중심으로 4사분면을 설정하여 피사체가이동시 자연스러운 방향으로 안내문이 출력 되도록한다.
대상 데이터
8 GHz, 1GB 램 시스템에서 Visual C++을 이용하여 구현하였다. 영상 입력을 받기 위해서 1024x768 해상도, 초당 30 프레임을 지원하는 Pointgrey 사의 PGR Flea 1394 Camera를 사용하였다. 실험에서는금붕어 두 마리로 테스트를 하였으며, 초기 화면에서 순서에 맞게 각각의 금붕어를 선택하면 해당 안내문이 출력되어 움직이는 금붕어를 실시간으로 추적하여 각각의 금붕어 관련 정보를 출력한다.
이론/모형
거울에비춰진 영상은 거울의 기울기에 의한 왜곡이 발생한다. 그러한 문제점을 해결하기 위한 방법으로 반사 변환 행렬(Reflection Matrix)을 사용한다. 기울어진 거울에 의해서 왜곡될 정도를 미리 계산하여, 영상을 출력 시에 변형될 영상을 반대로 보정한 뒤에 출력하는 것이다.
본 시스템에 적용한 반사 변환 행렬(수식 4)은컴퓨터 그래픽스 분야에서 널리 사용되고 있는 OpenGL 의 모델 뷰 변환 과정 (Model-view Transformation) 에서 접목되어 사용된다.
본 시스템에서는 영상을 허공에 출력하기 위한 방법으로 공간 증강 현실 기법 중 반투영 거울(그림 9-b)을 사용한 기법을 사용한다. 관찰자(그림 9-e)는 반투영 거울의 성질을 통해서 내부에 설치되어 있는 어항(그림 9-a)을 바라보게 되며, 이때 거울은 내부에 있는 어항뿐만 아니라 하단에 설치되어 있는 모니터 화면 또한 비추게 된다.
앞에서 언급한 바와 같이 배경 모델링 기법을 사용할 경우 발생하는 문제점을 보완하기 위해서 CamShift 기반 트래킹 기법 [4]을 사용한다.
설치된 카메라를 통하여 어항 및 물고기의 영상을 획득 한다. 이렇게 입력 받은 영상(그림 10-a)에서 마우스를 이용하여 추적을 원하는 피사체를 선택(그림 10-b)하면 시스템 내부에서는 CamShift알고리즘에 의하여 피사체의 위치 좌표를 계산해 낸다. 이렇게 계산되어진 각각의 피사체의 좌표에 병렬처리를 통한 유연한 추적 알고리즘을 적용하여 해당 안내문이 새로운 위치로 이동하도록 한다.
후속연구
칼라 모델이 여러 다른 조명 환경 상황에 적절히조절된다면 칼라 정보는 특징 부분을 확인하기 위한 효율적인 도구가 될 것이다. 이러한 칼라 정보를 이용하는 알고리즘인 MeanShi仕와 CamShift 알고리즘은 상대적으로 적은 계산으로 실시간 트래킹을 할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.