[논문]효율적인 feature map 추출 네트워크를 이용한 2D 이미지에서의 3D 포인트 클라우드 재구축 기법

김정윤; 이승호

doi:10.7471/ikeee.2022.26.3.408

효율적인 feature map 추출 네트워크를 이용한 2D 이미지에서의 3D 포인트 클라우드 재구축 기법
3D Point Cloud Reconstruction Technique from 2D Image Using Efficient Feature Map Extraction Network 원문보기

전기전자학회논문지 = Journal of IKEEE, v.26 no.3, 2022년, pp.408 - 415

김정윤 (Dept. Electronic Engineering, Hanbat National University) , 이승호 (Dept. Electronic Engineering, Hanbat National University)

초록
AI-Helper

본 논문에서는 효율적인 feature map 추출 네트워크를 이용한 2D 이미지에서의 3D 포인트 클라우드 재구축 기법을 제안한다. 본 논문에서 제안한 기법의 독창성은 다음과 같다. 첫 번째로, 메모리 측면에서 기존 기법보다 약 27% 더 효율적인 새로운 feature map 추출 네트워크를 사용한다. 제안하는 네트워크는 딥러닝 네트워크의 중간까지 크기 축소를 수행하지 않아, 3D 포인트 클라우드 재구축에 필요한 중요한 정보가 유실되지 않았다. 축소되지 않은 이미지 크기로 인해 발생하는 메모리 증가 문제는 채널의 개수를 줄이고 딥러닝 네트워크의 깊이를 얕게 효율적으로 구성하여 해결하였다. 두 번째로, 2D 이미지의 고해상도 feature를 보존하여 정확도를 기존 기법보다 향상시킬 수 있도록 하였다. 축소되지 않은 이미지로부터 추출한 feature map은 기존의 방법보다 자세한 정보가 담겨있어 3D 포인트 클라우드의 재구축 정확도를 향상시킬 수 있다. 세 번째로, 촬영 정보를 필요로 하지 않는 divergence loss를 사용한다. 2D 이미지뿐만 아니라 촬영 각도가 학습에 필요하다는 사항은 그만큼 데이터셋이 자세한 정보를 담고 있어야 하며 데이터셋의 구축을 어렵게 만드는 단점이다. 본 논문에서는 추가적인 촬영 정보 없이 무작위성을 통해 정보의 다양성을 늘려 3D 포인트 클라우드의 재구축 정확도가 높아질 수 있도록 하였다. 제안하는 기법의 성능을 객관적으로 평가하기 위해 ShapeNet 데이터셋을 이용하여 비교 논문들과 같은 방법으로 실험한 결과, 본 논문에서 제안하는 기법의 CD 값이 5.87, EMD 값이 5.81 FLOPs 값이 2.9G로 산출되었다. 한편, CD, EMD 수치가 낮을수록, 재구축한 3D 포인트 클라우드가 원본에 근접하는 정확도가 향상된 결과를 나타낸다. 또한, FLOPs 수치가 낮을수록 딥러닝 네트워크에 필요한 메모리가 적게 소요되는 결과를 나타낸다. 따라서, 제안하는 기법의 CD, EMD, FLOPs 성능평가 결과가 다른 논문의 기법들보다 메모리 측면에서 약 27%, 정확도 측면에서 약 6.3% 향상된 결과를 나타내어 객관적인 성능이 입증되었다.

Abstract ▼ AI-Helper

In this paper, we propose a 3D point cloud reconstruction technique from 2D images using efficient feature map extraction network. The originality of the method proposed in this paper is as follows. First, we use a new feature map extraction network that is about 27% efficient than existing techniques in terms of memory. The proposed network does not reduce the size to the middle of the deep learning network, so important information required for 3D point cloud reconstruction is not lost. We solved the memory increase problem caused by the non-reduced image size by reducing the number of channels and by efficiently configuring the deep learning network to be shallow. Second, by preserving the high-resolution features of the 2D image, the accuracy can be further improved than that of the conventional technique. The feature map extracted from the non-reduced image contains more detailed information than the existing method, which can further improve the reconstruction accuracy of the 3D point cloud. Third, we use a divergence loss that does not require shooting information. The fact that not only the 2D image but also the shooting angle is required for learning, the dataset must contain detailed information and it is a disadvantage that makes it difficult to construct the dataset. In this paper, the accuracy of the reconstruction of the 3D point cloud can be increased by increasing the diversity of information through randomness without additional shooting information. In order to objectively evaluate the performance of the proposed method, using the ShapeNet dataset and using the same method as in the comparative papers, the CD value of the method proposed in this paper is 5.87, the EMD value is 5.81, and the FLOPs value is 2.9G. It was calculated. On the other hand, the lower the CD and EMD values, the better the accuracy of the reconstructed 3D point cloud approaches the original. In addition, the lower the number of FLOPs, the less memory is required for the deep learning network. Therefore, the CD, EMD, and FLOPs performance evaluation results of the proposed method showed about 27% improvement in memory and 6.3% in terms of accuracy compared to the methods in other papers, demonstrating objective performance.

주제어

표/그림 (13)

그림 Fig. 1. A complete overview of the proposed method. 그림 1. 제안하는 기법의 전체 개요도
그림 Fig. 2. The learning process of the proposed method in this paper. 그림 2. 본 논문에서 제안하는 기법의 학습 과정
그림 Fig. 3. Problems in the process of reducing the size of the input 2D image passing through ResNet 1st and 2nd layers. 그림 3. ResNet 1~2층을 통과하는 입력 2D 이미지의 크기 축소과정의 문제점
그림 Fig. 4. Efficient feature map extraction network without reducing the size of the input 2D image. 그림 4. 입력 2D 이미지의 크기 축소가 없는 효율적인 feature map 추출 네트워크
그림 Fig. 5. Difference between ResNet 34 layer and the initial feature delivery method of the proposed network. 그림 5. ResNet 34층과 제안하는 네트워크의 초기 feature 전달방식의 차이
그림 Fig. 6. Latent vector generation process using feature map. 그림 6. Feature map을 이용한 latent vector 생성과정
그림 Fig. 7. Decoder network structure used in this paper. 그림 7. 본 논문에서 사용된 Decoder 네트워크의 구조
그림 Fig. 8. Example of CD calculation. 그림 8. CD의 양 방향 계산 예시
그림 Fig. 9. Example of EMD calculation. 그림 9. EMD의 단 방향 계산 예시
그림 Fig. 10. Example of the ShapeNet dataset used in the experiment. 그림 10. 실험에 사용한 ShapeNet 데이터셋의 예시
그림 Fig. 11. 3D point cloud reconstruction results from a 2D image of the ShapeNet dataset. 그림 11. ShapeNet 데이터셋의 2D 이미지애서의 3D 포인트 클라우드 재구축 결과
표 Table 1. 13 categories of ShapeNet dataset used in the experiment. 표 1. 실험에 사용된 ShapeNet 데이터셋의 13가지 카테고리
표 Table 2. Comparison result of the ShapeNet dataset reconstruction accuracy of the proposed method and the methods of other papers. 표 2. 제안하는 기법과 다른 논문의 기법들의 ShapeNet 데이터셋 재구축 정확도 비교 결과

참고문헌 (8)

Choy, C. B., Xu, D., Gwak, J., Chen, K., & Savarese, S.. "3d-r2n2: A unified approach for single and multi-view 3d object reconstruction," In European conference on computer vision, pp. 628-644. 2016. DOI: 10.48550/arXiv.1604.00449
Fan, Haoqiang, Hao Su, and Leonidas J. Guibas. "A point set generation network for 3d object reconstruction from a single image," Proceedings of the IEEE conference on computer vision and pattern recognition, 2016. DOI: 10.48550/arXiv.1612.00603
Mandikal, P., Navaneet, K. L., Agarwal, M., Babu, R. V. "3D-LMNet: Latent embedding matching for accurate and diverse 3D point cloud reconstruction from a single image," Proceedings of the British Machine Vision Conference(BMVC), 2018. DOI:10.48550/arXiv.1807.07796
KINGMA, Diederik P.; WELLING, Max. "Autoencoding variational bayes," International Conference on Learning Representations (ICLR), 2014. DOI: 10.48550/arXiv.1312.6114
Li, B., Zhang, Y., Zhao, B., & Shao, H. "3D-ReConstnet: a single-view 3d-object point cloud reconstruction network," IEEE Access 8 pp.83782-83790. 2020. DOI: 10.1109/ACCESS.2020.2992554

상세보기
He, K., Zhang, X., Ren, S., & Sun, J. (2016). "Deep residual learning for image recognition," In Proceedings of the IEEE conference on computer vision and pattern recognition, pp.770-778. DOI: 10.48550/arXiv.1512.03385
Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Lerchner, A. "beta-vae: Learning basic visual concepts with a constrained variational framework." 2016.
Chang, A. X., Funkhouser, T., Guibas, L., Hanrahan, P., Huang, Q., Li, Z., ... & Yu, F.. "Shapenet: An information-rich 3d model repository," 2015. DOI: 10.48550/arXiv.1512.03012

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증