[논문]Light-field 이미지로 변환된 다중 평면 홀로그램 영상에 대해 객체 검출 알고리즘을 적용한 평면별 객체의 깊이 정보 해석 및 조절 기법

배영규; 신동하; 이승열

doi:10.5909/jbe.2023.28.1.31

Light-field 이미지로 변환된 다중 평면 홀로그램 영상에 대해 객체 검출 알고리즘을 적용한 평면별 객체의 깊이 정보 해석 및 조절 기법
A Technique for Interpreting and Adjusting Depth Information of each Plane by Applying an Object Detection Algorithm to Multi-plane Light-field Image Converted from Hologram Image 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.28 no.1, 2023년, pp.31 - 41

배영규 (경북대학교 전자전기공학부) , 신동하 (경북대학교 전자전기공학부) , 이승열 (경북대학교 전자전기공학부)

초록
AI-Helper

재생하고자 하는 3차원 이미지에서 발현되는 빛의 간섭 무늬를 계산하여 얻게 되는 Computer Generated Hologram(CGH)은 본래의 3차원 이미지와 유사관계를 찾기 힘든 형태로 형성되기에 직접적인 초점 위치 혹은 크기 등의 변환이 어려운 것으로 알려져 있다. 본논문은 이러한 문제 중 하나인 다중 평면으로 구성된 3차원 이미지 CGH의 평면별 초점 거리를 변환하는 문제를 해결하는 기술을 제안한다. 제안하는 기술은 CGH로부터 재생되는 3차원 이미지를 여러 각도에서 관측한 2차원 이미지의 집합으로 구성된 Light-Field (LF) 이미지로 변환하고, 관측한 각도별로 이동하는 객체의 위치를 객체 탐지 알고리즘인 YOLOv5(You Only Look Once version 5)로 분석한 뒤, 이를 조절함으로써 초점 거리가 변환된 LF 이미지와 이를 역변환한 결과인 CGH를 생성한다. 해당 기술은 CGH의 픽셀 사이즈가 3.6 ㎛, 해상도가 3840⨯2160인 상황에서 10 cm 거리에 재생되는 상에 적용되어 영상 품질의 큰 손실 없이 약 3 cm 정도의 범위에서 초점 거리를 변환시킬 수 있음을 시뮬레이션 분석과 실제 실험 관측을 통해 확인하였다.

Abstract ▼ AI-Helper

Directly converting the focal depth and image size of computer-generated-hologram (CGH), which is obtained by calculating the interference pattern of light from the 3D image, is known to be quite difficult because of the less similarity between the CGH and the original image. This paper proposes a method for separately converting the each of focal length of the given CGH, which is composed of multi-depth images. Firstly, the proposed technique converts the 3D image reproduced from the CGH into a Light-Field (LF) image composed of a set of 2D images observed from various angles, and the positions of the moving objects for each observed views are checked using an object detection algorithm YOLOv5 (You-Only-Look-Once-version-5). After that, by adjusting the positions of objects, the depth-transformed LF image and CGH are generated. Numerical simulations and experimental results show that the proposed technique can change the focal length within a range of about 3 cm without significant loss of the image quality when applied to the image which have original depth of 10 cm, with a spatial light modulator which has a pixel size of 3.6 ㎛ and a resolution of 3840⨯2160.

주제어

표/그림 (6)

그림 그림 1. CGH로부터 재생한 다중 평면 3차원 이미지로부터 LF 이미지를 출력하는 과정 모식도와 일부 LF 이미지 결과 Fig. 1. A schematic diagram of the process of reproducing an LF image from a multi-plane 3D image generated from CGH and part of the LF image results
그림 그림 2. Object의 위치와 Depth를 각각의 Label과 함께 무작위로 생성한 후 YOLOv5에 학습시켜 LF 이미지에서 KNU와 IPOD 객체를 검출하는 모식도 Fig. 2. A schematic diagram of detecting KNU and IPOD objects in LF images with YOLOv5 trained after randomly generating the object position and depth along with each label
그림 그림 3. (a)-(d) 샘플 CGH를 10 cm 위치에서 재생한 상으로부터 얻은 LF 이미지상에서 뷰 별로 KNU와 IPOD 객체가 가지는 x, y축 좌표 자료. (e), (f) 뷰 넘버 (1, 16), (16, 16)에서의 개별 뷰 LF 이미지. (g) LF 이미지에서 객체가 각도 뷰별로 이동하는 양상을 설명하는 모식도 Fig. 3. (a)-(d) The x, y-axis coordinate data of the KNU and IPOD objects for each view on the LF image obtained from the image reproduced at the 10 cm position of the sample CGH. (e), (f) Individual view LF images at view numbers (1, 16), (16, 16). (g) A schematic diagram explaining how an object moves by angle view in an LF image
그림 그림 4. 샘플 LF 이미지를 제안한 방식을 적용하여 10 cm 위치와 초점 위치 간 거리를 1.25, 1.0, 0.75 배로 조정한 뒤 각 위치에서 재생한 시뮬레이션 상 결과 Fig. 4. Simulation results reproduced at each position after adjusting the distance between the 10 cm position and the focus position by 1.25, 1.0, and 0.75 times by applying the proposed method to the sample LF image
그림 그림 5. (a) IPOD 객체만으로 이루어진 단일 평면 이미지에 대해 직접 상의 위치를 조절하여 얻은 CGH와 10cm 초점 거리의 상을 제안한 방식으로 조절하여 얻은 CGH로부터 재생되는 상들과 원본 이미지 간의 PSNR 그래프. (b) 10 cm 거리에 IPOD 이미지를 위치시키고 얻은 CGH로부터 재생되는 10 cm 지점에서의 시뮬레이션 상. (c) - (g) (b)의 결과로부터 LF 이미지를 추출하고 제안한 방식으로 초점 거리를 조절한 CGH로부터 조절한 초점 거리에서 재생되는 시뮬레이션 상 Fig 5. (a) A PSNR graph between the original image and the images reproduced from the CGH obtained by directly adjusting the image position of a single flat image consisting of only IPOD objects and the CGH obtained by adjusting the image at 10 cm focal length in the proposed method. (b) Simulation image at the 10 cm point reproduced from the CGH obtained by positioning the IPOD image at a distance of 10 cm. (c) - (g) From the result of (b), the LF image was obtained and the simulation image reproduced at the corresponding distance from the CGH with the focal length adjusted in the proposed method.
그림 그림 6. (a) 실험에 사용된 샘플 이미지 원본. (b) (a)의 이미지를 10 cm 거리에서 재생하는 CGH를 계산하고 CGH-LF-CGH 이미지로의 변환을 거친 뒤에 재생한 시뮬레이션 상 결과. (c) -4 ~ 0 cm 위치에 SLM, 10 cm 위치와 70 cm 위치에 30 cm 초점 길이의 렌즈, 40 cm 위치에 ND 필터, 80 ~ 84 cm 위치에 초점을 맞춘 카메라가 일렬로 배치된 실험 셋업. (d) 제안한 방식으로 초점 거리를 10 cm에서 14 cm까지 조절한 CGH를 실제로 재생하여 촬영한 결과 Fig. 6. (a) The original sample image used in the experiment. (b) Simulation image reproduced by calculating the CGH of the image in (a) at a distance of 10 cm and shifting the focal length by 0 cm in the proposed method. (c) Experimental setup with SLM at -4 to 0 cm, 30 cm focal length lenses at 10 and 70 cm, ND filters at 40 cm, and camera focus at 80 to 84 cm

참고문헌 (17)

G. Ruffato, R. Rossi, M. Massari, E. Mafakheri, P. Capaldo, and F.？Romanato, "Design, fabrication and characterization of Computer？Generated Holograms for anti-counterfeiting applications using OAM？beams as light decoders," Sci. Rep., Vol. 7, No. 18011, Dec 2017？doi: https://doi.org/10.1038/s41598-017-18147-7

상세보기
Y. Yang, Q. Li, and G. P. Wang, "Design and fabrication of diverse？metamaterial structures by holographic lithography," Opt. Express,？Vol. 16, No. 15, pp 11275-11280, Jul 2008？doi: https://doi.org/10.1364/OE.16.011275

상세보기
D. Gabor, "Microscopy by reconstructed wave-fronts," Proc. R. Soc.？Lond., Vol. 197, No. 1051, pp 11275-487, Jul 1949？doi: https://doi.org/10.1098/rspa.1949.0075

상세보기
D. Pi, J. Liu, and Y. Wang, "Review of computer-generated hologram？algorithms for color dynamic holographic three-dimensional display,"？Light Sci. Appl., Vol. 11, No. 231, Jul 2022？doi: https://doi.org/10.1038/s41377-022-00916-3

상세보기
E. Sahin, E. Stoykova, J. Makinen, and A. Gotchev, "ComputerGenerated Holograms for 3D Imaging: A Survey," ACM Comput.？Surv., Vol. 53, No. 2, pp 1-35, Mar 2021？doi: https://doi.org/10.1145/3378444

상세보기
K. Matsushima, "Computer-generated holograms for three dimensional surface objects with shade and texture," Appl. Opt, Vol. 44, pp？4607-4614, Aug 2005？doi: https://doi.org/10.1364/AO.44.004607

상세보기
Y. Rivenson, A. Stern, and B. Javidi, "Compressive Fresnel？Holography," J. Display Technol., Vol. 6, No. 10 pp 506-509, 2010？doi: https://doi.org/10.1109/JDT.2010.2042276

상세보기
Y. Peng, C. Suyeon, N. Padmanaban, G. Wetzstein, "Neural holography with camera-in-the-loop training," ACM Trans. Graph., Vol.？44, No. 6, pp 1-14, Dec 2020？doi: https://doi.org/10.1145/3414685.3417802

상세보기
C. Chen, B. Lee, N.-N. Li, M. Chae, D. Wang, Q.-H. Wang, and B. Lee,？"Multi-depth hologram generation using stochastic gradient descent？algorithm with complex loss function," Opt. Express, Vol. 29, No. 10,？pp 15089-15103, Apr 2021.？doi: https://doi.org/10.1364/OE.425077

상세보기
Z. Huang, and L. Cao, "Bicubic interpolation and extrapolation iteration method for high resolution digital holographic reconstruction,"？Opt. Lasers Eng., Vol. 130, Jul 2020？doi: https://doi.org/10.1016/j.optlaseng.2020.106090

상세보기
J. Zhao, Z. Gao, Y. Niu, and L. Deng, "A method for improving the？resolution of single-frame off-axis holograms based on extrapolation？iterations and Kronecker interpolation," Measurement, Vol. 199, Aug？2022？doi: https://doi.org/10.1016/j.measurement.2022.111531

상세보기
T. Shimobaba, M. Makowski, T. Kakue, M. Oikawa, N. Okada, Y.？Endo, R. Hirayama, and T. Ito, "Lensless zoomable holographic？projection using scaled Fresnel diffraction," Opt. Express, Vol. 21, No.？21, pp 25285-25290, Oct 2013？doi: https://doi.org/10.1364/OE.21.025285

상세보기
D.-Y. Park, and J.-H. Park, "Generation of distortion-free scaled？holograms using light field data conversion," Opt. Express, Vol. 29,？No. 1, pp 487-508, Jan 2021？doi: https://doi.org/10.1364/OE.412986

상세보기
R. Girshick, J. Donahue, T. Darrell, and J. Malik , "Rich feature？hierarchies for accurate object detection and semantic segmentation,"？IEEE Conference on Computer Vision and Pattern Recognition, Ohio,？USA, pp 580-587, Jun 2014
K. He, X. Zhang, S. Ren, J. Sun, "Deep Residual Learning for Image？Recognition," IEEE Conference on Computer Vision and Pattern？Recognition, Las Vegas, USA, pp. 770-778, Jun 2016
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look？Once: Unified, Real-Time Object Detection," IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, pp.？779-788, Jun 2016
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, and A.？C. Berg, "SSD: Single Shot MultiBox Detector," European Conference on Computer Vision, Amsterdam, Netherlands, pp 21-37, Oct 2016

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format