본 논문에서는 스테레오 카메라를 이용하여 실시간으로 3차원 입체 영상을 재생할 수 있는 시스템을 구현하였다. 전체 시스템은 스테레오 카메라, FPGA(field programmable gate array) 보드, 그리고 3차원입체 LCD로 구성된다. 스테레오 카메라로는 두 개의 CMOS 영상 센서를 사용하였다. 비디오 데이터를 처리하는 FPGA는 Verilog-HDL(hardware description language)을 이용하여 설계하였고 다양한 해상도의 비디오를 실시간으로 처리할 수 있다. 3차원 입체 영상을 구성은 side-by-side와 up-down 방식을 이용한다. FPGA로 입력된 두 개의 프레임은 입체 영상으로 재생되기 위한 형태로 가공된 후에 SDRAM에 저장된다. 다음 프레임이 입력될 때 이전 프레임은 LCD로 재생하기 위해 DA 변환기로 출력된다. 이러한 전체적인 파이프라인 동작을 통해서 실시간 동작이 가능하다. 제안한 시스템은 실제 하드웨어로 구현한 후에 정확한 동작이 수행됨을 검증하였다.
본 논문에서는 스테레오 카메라를 이용하여 실시간으로 3차원 입체 영상을 재생할 수 있는 시스템을 구현하였다. 전체 시스템은 스테레오 카메라, FPGA(field programmable gate array) 보드, 그리고 3차원입체 LCD로 구성된다. 스테레오 카메라로는 두 개의 CMOS 영상 센서를 사용하였다. 비디오 데이터를 처리하는 FPGA는 Verilog-HDL(hardware description language)을 이용하여 설계하였고 다양한 해상도의 비디오를 실시간으로 처리할 수 있다. 3차원 입체 영상을 구성은 side-by-side와 up-down 방식을 이용한다. FPGA로 입력된 두 개의 프레임은 입체 영상으로 재생되기 위한 형태로 가공된 후에 SDRAM에 저장된다. 다음 프레임이 입력될 때 이전 프레임은 LCD로 재생하기 위해 DA 변환기로 출력된다. 이러한 전체적인 파이프라인 동작을 통해서 실시간 동작이 가능하다. 제안한 시스템은 실제 하드웨어로 구현한 후에 정확한 동작이 수행됨을 검증하였다.
In this paper, we implemented a real-time system which displays 3-dimensional (3D) stereoscopic image with stereo camera. The system consists of a set of stereo camera, FPGA board, and 3D stereoscopic LCD. Two CMOS image sensor were used for the stereo camera. FPGA which processes video data was des...
In this paper, we implemented a real-time system which displays 3-dimensional (3D) stereoscopic image with stereo camera. The system consists of a set of stereo camera, FPGA board, and 3D stereoscopic LCD. Two CMOS image sensor were used for the stereo camera. FPGA which processes video data was designed with Verilog-HDL, and it can accommodate various resolutional videos. The stereoscopic image is configured by two methods which are side-by-side and up-down image configuration. After the left and right images are converted to the type for the stereoscopic display, they are stored into SDRAM. When the next frame is inputted into FPGA from two CMOS image sensors, the previous video data is output to the DA converter for displaying it. From this pipeline operation, the real-time operation is possible. After the proposed system was implemented into hardware, we verified that it operated exactly.
In this paper, we implemented a real-time system which displays 3-dimensional (3D) stereoscopic image with stereo camera. The system consists of a set of stereo camera, FPGA board, and 3D stereoscopic LCD. Two CMOS image sensor were used for the stereo camera. FPGA which processes video data was designed with Verilog-HDL, and it can accommodate various resolutional videos. The stereoscopic image is configured by two methods which are side-by-side and up-down image configuration. After the left and right images are converted to the type for the stereoscopic display, they are stored into SDRAM. When the next frame is inputted into FPGA from two CMOS image sensors, the previous video data is output to the DA converter for displaying it. From this pipeline operation, the real-time operation is possible. After the proposed system was implemented into hardware, we verified that it operated exactly.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 두 가지 형태의 스테레오 영상처리를 통해서 입체 디스플레이를 구현하고자 한다. 그 두 가지 형태의 스테레오 영상 구성을 그림 6에 나타내었다 그림 6(a)는 up-down 방식을 나타내고, 그림 6(b)는 side-by-side 방식의 스테레오 영상을 나타낸다.
본 논문에서는 스테레오 카메라를 이용하여 양쪽눈에 해당하는 두 개의 영상을 입력받아 3차원 입체영상을 실시간으로 재생하는 시스템을 구현하였다. HDL과 FPGA, 그리고 임베디드 프로세서 (Nios II)를 이용하여 대용량의 비디오 신호를 실시간으로 처리하였고 3차원 입체 특수 모니터를 이용하여 실제로 입체영상을 재생하였다.
구현한 시스템을 이용하여 실제로 NTSC 방식의 비디오를 실시간으로 3차원 입체 영상으로 재생할 수 있었다. 본 연구팀은 제안하고 구현한 결과물을 다시점 영상에 대한 응용분야로 더욱 확장하고자 한다. 즉, 얼굴을 인식하고 추적하여 다시점 영상 중에서 관찰자의 시점에 해당하는 두 개의 영상을 디스플레이하는 시스템을 구현하고자 한다.
제안 방법
구현하였다. HDL과 FPGA, 그리고 임베디드 프로세서 (Nios II)를 이용하여 대용량의 비디오 신호를 실시간으로 처리하였고 3차원 입체 특수 모니터를 이용하여 실제로 입체영상을 재생하였다.
RTL 합성결과는 Altera사의 QuartusII를 이용하여 추출하였다.
Side-by-side와 up-down 방식의 입체 영상을 위해 비디오 데이터를 처리하는 EPGA는 Verilog-HDL을 이용하여 설계하였고 다양한 해상도의 비디오를 실시간으로 처리하도록 하였다. 구현한 시스템을 이용하여 실제로 NTSC 방식의 비디오를 실시간으로 3차원 입체 영상으로 재생할 수 있었다.
디스플레이 제어부는 LCD로 비디오 제어 신호를 출력하게 되는데 이 비디오 제어 신호는 VESA의 규격과 호환성을 가지도록 하였고 CMOS 영상 센서와의 동기를 맞추기 위해서 CMOS 영상 센서로부터 입력되는 비디오 제어신호들을 변환하고 재구성하여 LCD를 위한 비디오 제어신호를 구성하였다. 이러한 비디오 제어신호는 디스플레이 모드에 따라서 VESA 규격에 맞추어 변환된다.
설계된 회로는 Ve茵log-HDL을 이용하여 설계하였고 Syn叩lify를 통해 합성한 후에 Altera FPGA(Cyclone H)를 사용하여 사상되었다. 또한 ModelSim을 이용하여 functional 및 timing si血mlation을 수행하였다
본 논문에서는 실시간으로 3차원 입체 영상을 재생할 수 있는 하드웨어 시스템을 구현하였다 전체시스템은 두 개의 CMOS 영상 센서를 이용한 스테레오 카메라, FPGA 보드, 그리고 3차원 입체 LCD로 구성하였다. Side-by-side와 up-down 방식의 입체 영상을 위해 비디오 데이터를 처리하는 EPGA는 Verilog-HDL을 이용하여 설계하였고 다양한 해상도의 비디오를 실시간으로 처리하도록 하였다.
본 논문에서는 실제로 CCD 카메라가 아니라 CMOS 영상 센서를 사용하므로 AD(analog-t6digital) 변환기를 사용하지 않고 DA(digital-to-analog) 변환기(DAC) 는 사용한다.
설계된 회로는 Ve茵log-HDL을 이용하여 설계하였고 Syn叩lify를 통해 합성한 후에 Altera FPGA(Cyclone H)를 사용하여 사상되었다. 또한 ModelSim을 이용하여 functional 및 timing si血mlation을 수행하였다
인간의 시각 체계는 좌.우 한 쌍의 눈으로 물체를 바라볼 때 각각의 망막에 맺힌 2차원 정보를 대뇌로 전달하여 물체에 관련된 거리와 공간을 인식하고 입체 구조를 인지한다㈣. 인간의 시각 신호는 눈 망막으로부터 대뇌 후두엽까지 시각정보를 전달하고 처리하는 시각적인 신경망을 통하여 처리된다.
본 연구팀은 제안하고 구현한 결과물을 다시점 영상에 대한 응용분야로 더욱 확장하고자 한다. 즉, 얼굴을 인식하고 추적하여 다시점 영상 중에서 관찰자의 시점에 해당하는 두 개의 영상을 디스플레이하는 시스템을 구현하고자 한다. 이러한 시스템은 仝立-트웨어로 구현될 경우에 지연시간에 의해서 자연스러운 재생이 되지 않기 때문에 칩 기반의 하드웨어로 구현되어야 한다.
대상 데이터
전체 시스템은 두 대의 카메라와 비디오처리부(Videcs Processing), SDRAM 및 메모리 제어기, 디스플레이 제어기 (Display Controller), 니오스 프로세서 (Nios Processor), 그리고 3차원 입체 모니터로 구성된다.
성능/효과
동작속도는 해당 FPGA에서 전체적인 입출력 데이터는 189.9MHz의 동작속도가 가능하고 SDRAMe 174M&의 동작이 가능하였다. 구현한 시스템에서 100M田의 SDRAM을 사용하기 때문에 SDRAM과 관련된 회로는 고속의 동작이 요구되고 174M&의 동작 속도는 이러한 요구조건을 충분히 만족시켰다.
후속연구
이러한 시스템은 仝立-트웨어로 구현될 경우에 지연시간에 의해서 자연스러운 재생이 되지 않기 때문에 칩 기반의 하드웨어로 구현되어야 한다. 마지막으로 본 논문을 통해 구현된 시스템은 3D 디스플레이를 위한 각종 상용 시스템에 효율적으로 응용될 수 있을 것으로 사료된다.
참고문헌 (10)
3차원 영상의 기초, 오옴사 & 기다리, 1998
"3DTV", 방송과 기술, 2003년 10월호.
Tadenuma, M, Yuyama, I, and Kubota, K., "Stereoscopic HDTV system- development and application," IEEE Global Telecommunications Conference, 1990, and Exhibition. 'Communications: Connecting the Future', GLOBECOM '90., 2-5, pp.1057-1061 Vol.2, Dec. 1990.
Chul-Ho Choi, Byong-Heon Kwon, and Myung-Ryul Choi, "A real-time field-sequential stereoscopic image converter", IEEE Trans. on Consumer Electronics, Vol.50, Issue 3, pp.903-910, Aug. 2004
Doulamis, N.D., Doulamis, A.D., Avrithis, Y.S., Ntalianis, K.S., and Kollias, S.D, "Efficient summarization of stereoscopic video sequences", IEEE Trans. on Circuits and Systems for Video Technology, Vol.10, Issue 4, pp.501-517, Jun. 2000.
"Stereoscopic and autostereoscopic display system", IEEE Signal Processing Magazine, May 1999, pp.85-99.
Smallman, H.S., St. John, M., Oonk, H.M., and Cowen, M.B., "Information availability in 2D and 3D displays", IEEE Computer Graphics and Applications, Vol.21, Issue 5, pp.51-57, July-Aug. 2001.
Alm, T., "How to put the real world into a 3D aircraft display", The Second International Conference on Human Interfaces in Control Rooms, Cockpits and Command Centres, 2001. People in Control. (IEE Conf. Publ. No. 481), pp.223-227, Jun. 2001.
K. C. Chang, "Digital systems design with VHDL and synthesis", IEEE Computer Society Press, California, 1999.
D. Regan, ed., Binocular Vision, Vol.9 of Vision and Visual Dysfunction. Boca Raton : CRC Press, 1991.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.