본 논문에서는 디지로그 북 (Digilog Book) 저작 환경에서 레이아웃 기반 다감각 콘텐츠저작 도구를 제안한다. 저작 과정에 사용자는 마우스나 펜 타입 장치를 통해 종이책 위에 반복적으로 가상 영역을 생성하고, 해당 영역에 증강될 콘텐츠의 위치, 사이즈, 파일 선택, 이벤트 처리 등의 속성을 지정한다. 저작이 완료되면 시스템은 기존에 인쇄된 페이지 번호를 인식하고, 해당 페이지에 생성된 영역과 속성 정보를 포함하는 레이아웃을 생성한다. 페이지 레이아웃은 증강현실 환경에서 렌더링 하기 적합한 씬 그래프 (Scene Graph) 형태로 표현 되고 XML 형태로 저장된다. 디지로그 북 뷰어는 저장된 레이아웃을 로딩하고 저작된 속성을 분석하여 해당 페이지에 영역별로 증강 및 기능을 실행한다. 제안된 저작 도구를 통해 사용자는 혼합 인터페이스를 통해 디지로그 북 환경에서 관심영역에 시각, 청각적인 다감각 콘텐츠를 손쉽게 저작할 수 있다. 증강현실 환경에서 사용자가 레이아웃을 보다 쉽게 생성하기 위하여 영역 템플릿을 제공한다. 또한, 제안된 저작 도구는 페이지 인식부와 페이지 추적부를 독립적으로 구성함에 따라 단일 마커만으로 다수 페이지 저작이 가능하다. 실험 결과, 제안된 저작도구는 증강현실 환경에서 적절한 수행시간을 나타냄을 보였다. 제안된 저작 도구는 교육, 출판 업계 등 여러 응용분야에서 널리 활용될 수 있을 것이다.
본 논문에서는 디지로그 북 (Digilog Book) 저작 환경에서 레이아웃 기반 다감각 콘텐츠 저작 도구를 제안한다. 저작 과정에 사용자는 마우스나 펜 타입 장치를 통해 종이책 위에 반복적으로 가상 영역을 생성하고, 해당 영역에 증강될 콘텐츠의 위치, 사이즈, 파일 선택, 이벤트 처리 등의 속성을 지정한다. 저작이 완료되면 시스템은 기존에 인쇄된 페이지 번호를 인식하고, 해당 페이지에 생성된 영역과 속성 정보를 포함하는 레이아웃을 생성한다. 페이지 레이아웃은 증강현실 환경에서 렌더링 하기 적합한 씬 그래프 (Scene Graph) 형태로 표현 되고 XML 형태로 저장된다. 디지로그 북 뷰어는 저장된 레이아웃을 로딩하고 저작된 속성을 분석하여 해당 페이지에 영역별로 증강 및 기능을 실행한다. 제안된 저작 도구를 통해 사용자는 혼합 인터페이스를 통해 디지로그 북 환경에서 관심영역에 시각, 청각적인 다감각 콘텐츠를 손쉽게 저작할 수 있다. 증강현실 환경에서 사용자가 레이아웃을 보다 쉽게 생성하기 위하여 영역 템플릿을 제공한다. 또한, 제안된 저작 도구는 페이지 인식부와 페이지 추적부를 독립적으로 구성함에 따라 단일 마커만으로 다수 페이지 저작이 가능하다. 실험 결과, 제안된 저작도구는 증강현실 환경에서 적절한 수행시간을 나타냄을 보였다. 제안된 저작 도구는 교육, 출판 업계 등 여러 응용분야에서 널리 활용될 수 있을 것이다.
In this paper, we propose layout based multimodal contents authoring tool for Digilog Book. In authoring step, users create a virtual area using mouse or pen-type device and select property of the area repetitively. After finishing authoring step, system recognizes printed page number and generate p...
In this paper, we propose layout based multimodal contents authoring tool for Digilog Book. In authoring step, users create a virtual area using mouse or pen-type device and select property of the area repetitively. After finishing authoring step, system recognizes printed page number and generate page layout including areas and property information. Page layout is represented as a scene graph and stored as XML format. Digilog Book viewer loads stored page layout and analyze properties then augment virtual contents or execute functions based on area. Users can author visual and auditory contents easily by using hybrid interface. In AR environment, system provides area templates in order to help creating area. In addition, proposed authoring tool separates page recognition module from page tracking module. So, it is possible to author many pages using only single marker. As a result of experiment, we showed proposed authoring tool has reasonable performance time in AR environment. We expect that proposed authoring tool would be applicable to many fields such as education and publication.
In this paper, we propose layout based multimodal contents authoring tool for Digilog Book. In authoring step, users create a virtual area using mouse or pen-type device and select property of the area repetitively. After finishing authoring step, system recognizes printed page number and generate page layout including areas and property information. Page layout is represented as a scene graph and stored as XML format. Digilog Book viewer loads stored page layout and analyze properties then augment virtual contents or execute functions based on area. Users can author visual and auditory contents easily by using hybrid interface. In AR environment, system provides area templates in order to help creating area. In addition, proposed authoring tool separates page recognition module from page tracking module. So, it is possible to author many pages using only single marker. As a result of experiment, we showed proposed authoring tool has reasonable performance time in AR environment. We expect that proposed authoring tool would be applicable to many fields such as education and publication.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 디지로그 북 저작 환경에서 레이아웃 기반 다감각 콘텐츠 저작 도구를 제안한다. 제안된 저작 도구는 GUI 와 TUI (Tangible User Inteface)을 혼합한 인터페이스를 제공한다.
본 논문에서는 프로그래밍에 익숙하지 않은 사용자가 디지로그 북을 쉽게 저작할 수 있는 저작도구를 제안하였다. 제안된 저작 도구는 증강현실 환경에서 혼합 인터페이스를 제공하여 몰입 감 있는 저작이 가능하다.
가설 설정
이를 보완하기 위해 제안된 저작도구는 자유 입력뿐만 아니라 영역 템플릿을 이용한 입력을 제공한다. 페이지는 마커와 평행하다는 가정 하에 영역 템플릿은 페이지의 X,Y 축에 평행하게 가상 영역을 생성한다.
제안 방법
TUI는 사용자에게 몰입 감을 더해줄 수 있는 장점이 있다. 따라서 본 저작 도구는 GUI와 TUI를 혼합한 인터페이스를 제공한다. 영역 생성 및 선택, 콘텐츠 제어 등의 작업은 속성 지정 작업에 비해 조작이 간단하기 때문에 펜 타입 장치를 사용하여 몰입 감을 더한다.
제안된 저작 도구는 증강현실 환경에서 사용자가 가상 영역을 쉽게 생성하기 위한 영역 템플릿을 제공한다. 또한, 제안된 저작 도구는 페이지 추적부와 페이지 인식부로를 독립적으로 구성 함으로써, 사용자가 단일 마커로 다수의 페이지를 저작 가능하게 한다.
3차원 증강현실 환경에서 사용자 입력은 카메라 시점이 변하게 되므로 정확하게 입력하기 어렵다. 이를 보완하기 위해 제안된 저작도구는 자유 입력뿐만 아니라 영역 템플릿을 이용한 입력을 제공한다. 페이지는 마커와 평행하다는 가정 하에 영역 템플릿은 페이지의 X,Y 축에 평행하게 가상 영역을 생성한다.
디지로그 북 뷰어는 매 프레임에 사용자가 페이지를 넘기는 이벤트를 체크하여 해당 레이아웃을 로딩 한다. 제안된 기법은 영상 특징점 기반의 디지로그 북에서도 가능하다.
본 논문에서는 디지로그 북 저작 환경에서 레이아웃 기반 다감각 콘텐츠 저작 도구를 제안한다. 제안된 저작 도구는 GUI 와 TUI (Tangible User Inteface)을 혼합한 인터페이스를 제공한다. 사용자는 제공되는 인터페이스를 통해 가상 영역을 생성하고, 해당 영역에 속성 (시각, 청각 콘텐츠) 을 지정하는 작업을 반복적으로 수행함으로써 디지로그 북을 저작한다.
사용자는 제공되는 인터페이스를 통해 가상 영역을 생성하고, 해당 영역에 속성 (시각, 청각 콘텐츠) 을 지정하는 작업을 반복적으로 수행함으로써 디지로그 북을 저작한다. 제안된 저작 도구는 증강현실 환경에서 사용자가 가상 영역을 쉽게 생성하기 위한 영역 템플릿을 제공한다. 또한, 제안된 저작 도구는 페이지 추적부와 페이지 인식부로를 독립적으로 구성 함으로써, 사용자가 단일 마커로 다수의 페이지를 저작 가능하게 한다.
우선, 초기 단계에 입력 영상으로부터 페이지 번호를 분리하고 문자인식 엔진을 적용한다. 해당하는 페이지 레이아웃을 로딩한 후, 사용자가 저작한 속성에 맞게 분석을 한다. 디지로그 북 뷰어는 영역별로 다른 스레드가 생성되며 해당하는 기능이나 증강을 한다.
대상 데이터
5 GB RAM, Visual Studio 2005 에서 개발 되었다. 라이브러리는 OpenCV (이미지 프로세싱) [6], OpenSceneGraph (렌더링) [7], Tesseract (문자인식 엔진) [8]를 사용하였다.
성능/효과
그림 6은 페이지 수에 따른 페이지 넘김 이벤트가 발생한 시점부터 해당 페이지의 콘텐츠가 증강될 때까지의 수행 시간이다. 1페이지부터 20페이지로 구성된 디지로그 북을 대상으로 실험한 결과, 최대 408ms 최소 320ms, 평균 361.53ms의 수행 속도를 보였다. 수행 속도의 주된 원인은 문자인식 엔진으로 나타났다.
본 논문에서는 프로그래밍에 익숙하지 않은 사용자가 디지로그 북을 쉽게 저작할 수 있는 저작도구를 제안하였다. 제안된 저작 도구는 증강현실 환경에서 혼합 인터페이스를 제공하여 몰입 감 있는 저작이 가능하다. 사용자 입력 시에 영역 템플릿을 제공하여 정확한 영역 생성을 가능하도록 지원한다.
수행 속도의 주된 원인은 문자인식 엔진으로 나타났다. 제안된 저작도구는 페이지 수에 따라 수행시간이 선형적으로 증가하는 기존 디지로그 북과 달리 페이지 수가 증가되어도 일정 값을 유지한다. 이는 페이지 추적부와 페이지 인식부를 독립적으로 구성함에 따른 것이다.
후속연구
또한, 기존 디지로그 북과는 다르게 종이책의 번호 영역을 분리해서 페이지를 인식함으로써 하나의 마커로 다수의 페이지의 저작이 가능하다. 향후에는 종이책의 레이아웃을 분석하여 시각적으로 증강된 콘텐츠와 종이책의 콘텐츠와의 시각적으로 조화로운 증강에 대해 연구할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.