[논문]Loop-Net: Joint Unsupervised Disparity and Optical Flow Estimation of Stereo Videos With Spatiotemporal Loop Consistency

Kim, Taewoo; Ryu, Kwonyoung; Song, Kyeongseob; Yoon, Kuk-Jin

doi:10.1109/lra.2020.3009065

[해외논문] Loop-Net: Joint Unsupervised Disparity and Optical Flow Estimation of Stereo Videos With Spatiotemporal Loop Consistency

IEEE robotics and automation letters, v.5 no.4, 2020년, pp.5597 - 5604

Kim, Taewoo (Mechanical Engineering, Visual Intelligence Lab, KAIST, Daejeon, South Korea) , Ryu, Kwonyoung (Mechanical Engineering, Visual Intelligence Lab, KAIST, Daejeon, South Korea) , Song, Kyeongseob (Mechanical Engineering, Visual Intelligence Lab, KAIST, Daejeon, South Korea) , Yoon, Kuk-Jin (Mechanical Engineering, Visual Intelligence Lab, KAIST, Daejeon, South Korea)

Abstract ▼ AI-Helper

Most of existing deep learning-based depth and optical flow estimation methods require the supervision of a lot of ground truth data, and hardly generalize to video frames, resulting in temporal inconsistency. In this letter, we propose a joint framework that estimates disparity and optical flow of stereo videos and generalizes across various video frames by considering the spatiotemporal relation between the disparity and flow without supervision. To improve both accuracy and consistency, we propose a loop consistency loss which enforces the spatiotemporal consistency of the estimated disparity and optical flow. Furthermore, we introduce a video-based training scheme using the c-LSTM to reinforce the temporal consistency. Extensive experiments show our proposed methods not only estimate disparity and optical flow accurately but also further improve spatiotemporal consistency. Our framework outperforms the state-of-the-art unsupervised depth and optical flow estimation models on the KITTI benchmark dataset.

참고문헌 (39)

Scharstein, Daniel; Szeliski, Richard etc. "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms." International journal of computer vision, v.47 no.1/3 (2002), pp. 7-42, doi:10.1023/A:1014573219977.
10.1109/CVPR.2016.438
10.1007/978-3-030-01270-0_42
10.1109/ICCV.2017.421
10.1109/CVPR.2018.00212
Self-supervised learning for stereo matching with self-improving ability zhong 2017
Scharstein, D., Hirschmuller, H., Kitajima, Y., Krathwohl, G., Nesic, N., Wang, X., Westling, P.. High-Resolution Stereo Datasets with Subpixel-Accurate Ground Truth. Lecture notes in computer science, vol.8753, 31-42.

상세보기
A large RGB-D dataset for semi-supervised monocular depth estimation cho 2019
Geiger, A, Lenz, P, Stiller, C, Urtasun, R. Vision meets robotics: The KITTI dataset. The International journal of robotics research, vol.32, no.11, 1231-1237.

상세보기
10.1007/978-3-030-01228-1_3
10.1117/12.965761
10.1109/ICCV.2007.4409000
10.1109/CVPR.2017.729
10.1109/ICCV.2015.316
10.1109/CVPR.2017.179
10.1109/CVPR.2017.596
Proc Assoc Advance Artif Intell Unsupervised deep learning for optical flow estimation ren 0 1495
10.1109/CVPR.2018.00513
Chen, Long, Tang, Wen, Wan, Tao Ruan, John, Nigel W.. Self-supervised monocular image depth learning and confidence estimation. Neurocomputing, vol.381, 272-281.

상세보기
10.1109/CVPR.2018.00043
10.1109/IVS.2019.8814146
Proc Assoc Advance Artif Intell Unflow: Unsupervised learning of optical flow with a bidirectional census loss meister 0
Every pixel counts++: Joint learning of geometry and motion with 3D holistic understanding luo 2018
10.1109/CVPR.2018.00567
Proc Eur Conf Comput Vision Back to basics: Unsupervised learning of optical flow via brightness constancy and motion smoothness jason 0 3
Wang, Zhou, Bovik, A.C., Sheikh, H.R., Simoncelli, E.P.. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing : a publication of the IEEE Signal Processing Society, vol.13, no.4, 600-612.

상세보기
10.1109/CVPR.2018.00931
10.1109/CVPR.2017.699
10.1109/ICCV.2017.174
10.1109/ICCV.2017.17
10.1109/TDPVT.2004.1335420
J Mach Learn Res Stereo matching by training a convolutional neural network to compare image patches zbontar 2016 17 2
10.1007/978-3-030-01216-8_7
10.1109/CVPR.2019.00570
Proc Conf on Neu Inf Proc Syst Convolutional LSTM network: A machine learning approach for precipitation nowcasting shi 0 802
10.1109/CVPR.2019.00826
10.1109/CVPR.2019.00199
Vogel, C., Roth, S., Schindler, K.. View-Consistent 3D Scene Flow Estimation over Multiple Frames. Lecture notes in computer science, vol.8692, 263-278.

상세보기
10.1109/CVPR.2019.01252

LOADING...

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

원문 URL 링크

DOI : 10.1109/LRA.2020.3009065
IEEE : 저널 > 논문

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

저작권 관리 안내

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증