$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] Geodesic Support-weight 기반 깊이정보 추출 알고리즘의 효율적인 VLSI 구조
Efficient VLSI Architecture for Disparity Calculation based on Geodesic Support-weight 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.52 no.9, 2015년, pp.45 - 53  

류동훈 (가톨릭대학교 정보통신전자공학부) ,  박태근 (가톨릭대학교 정보통신전자공학부)

초록
AI-Helper 아이콘AI-Helper

적응적 가중치 윈도우 알고리즘은 기존의 지역적 정합방법의 단점인 낮은 정합률을 보완하면서 전역적 방법에 비하여 실시간 하드웨어 설계가 용이하다는 장점을 갖고 있다. 본 논문에서는 객체를 분리하는데 더 유리한 지오데식 가중치 윈도우 알고리즘을 사용하여 실시간 처리가 가능한 시스템을 설계하였다. 효율적인 하드웨어 설계와 처리 효율을 높이기 위해 데이터 의존성에 따른 스케줄링을 분석하였고 계산시간이 가장 긴 가중치 계산을 기준으로 계산 단계를 최소화하여 병렬 처리를 적용하였다. 지수함수 연산은 에러분석을 기반으로 계단(step) 함수로 구현하여 하드웨어 자원을 줄이고 설계 효율을 높였다. 설계한 시스템은 verilogHDL로 설계되었으며 동부하이텍 0.18um 라이브러리를 사용하여 Synopsis를 통해 합성하였고 츠쿠바 영상을 기준으로 2.22%의 에러율과 260MHz(25fps)의 최대 동작주파수, 182K 게이트의 하드웨어 자원을 사용한다.

Abstract AI-Helper 아이콘AI-Helper

Adaptive support-weight based algorithm can produce better disparity map compared to generic area-based algorithms and also can be implemented as a realtime system. In this paper, we propose a realtime system based on geodesic support-weight which performs better segmentation of objects in the windo...

Keyword

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

  • 하지만 알고리즘 자체의 데이터 의존성(data dependency)으로 인해 데이터 재사용과 병렬 처리 등의 적용이 어렵다. 본 논문에서는 가중치와 비용함수 계산에 필요한 임계경로 분석과 중간값들의 저장 및 관리를 lifetime analysis 방법에 의한 스케줄링을 통해 효과적인 병렬구조를 적용하였고, 병렬처리에 사용한 PE(processing element) 사이에 데이터를 공유하여 메모리로부터 읽어 들이는 입력의 수를 줄여 데이터 폭(data bandwidth)에 대한 부담을 줄였다. 알고리즘에 사용되는 지수연산은 하드웨어로 구현할 때 하드웨어 복잡도가 커지기 때문에 계단함수로 구현하였으며 에러를 분석하고 경험적으로 근사화하여 허용할 수 있는 오차 범위를 갖도록 설계하였다.
  • 본 논문에서는 가중치와 비용함수 계산에 필요한 임계경로 분석과 중간값들의 저장 및 관리를 lifetime analysis 방법에 의한 스케줄링을 통해 효과적인 병렬구조를 적용하였고, 병렬처리에 사용한 PE(processing element) 사이에 데이터를 공유하여 메모리로부터 읽어 들이는 입력의 수를 줄여 데이터 폭(data bandwidth)에 대한 부담을 줄였다. 알고리즘에 사용되는 지수연산은 하드웨어로 구현할 때 하드웨어 복잡도가 커지기 때문에 계단함수로 구현하였으며 에러를 분석하고 경험적으로 근사화하여 허용할 수 있는 오차 범위를 갖도록 설계하였다.
  • 본 논문의 구성은 다음과 같다. Ⅱ장에서는 스테레오 정합 알고리즘의 특징과 적응적 가중치 윈도우 알고리즘의 종류와 본 논문에 적용한 지오데식 가중치 알고리즘을 설명하였고, Ⅲ장에서 제안한 시스템의 스케줄링과 하드웨어 구조에 대해서 설명하고 Ⅳ장에서 설계 결과를 다른 스테레오 시스템과 성능을 비교 분석하였고 Ⅴ장에서 결론을 맺는다.
  • 비용함수는 SAD, SSD, NCC(normalized cross correlation), 화소의 변화도 차이 등 여러 방법을 사용할 수 있으며 본 논문에서는 하드웨어 설계를 고려해 SAD를 선택하였다. 또한 컬러 정보를 사용하여 화소의 유사성을 비교하기 때문에 화소의 차이 값과 색의 변화 정도가 비례하도록 균등한 색체계인 CIE Lab 컬러 형식으로 표현된 영상을 사용하였다.
  • 비용함수는 SAD, SSD, NCC(normalized cross correlation), 화소의 변화도 차이 등 여러 방법을 사용할 수 있으며 본 논문에서는 하드웨어 설계를 고려해 SAD를 선택하였다. 또한 컬러 정보를 사용하여 화소의 유사성을 비교하기 때문에 화소의 차이 값과 색의 변화 정도가 비례하도록 균등한 색체계인 CIE Lab 컬러 형식으로 표현된 영상을 사용하였다.
  • 384×288 크기의 입력 영상과 탐색거리 16, 21×21 크기의 윈도우를 사용하는 시스템의 경우 화소 단위 처리를 요하는 비용함수만을 고려했을 때, 한 장의 깊이정보 영상을 얻기 위해 약 780M의 클록 사이클이 필요하고 여기에 가중치 윈도우를 계산을 포함하면 계산량이 더 늘어나기 때문에 실시간 처리를 만족하는 시스템을 설계하기 위해서는 병렬 처리나 데이터 재사용 기법을 사용하여 계산량을 줄여야 한다. 가중치 윈도우를 계산하는데 필요한 사이클 수는 비용함수와 가중치 윈도우는 독립적으로 계산이 가능하므로 둘 중 계산량이 더 많은 과정에 맞춰 최소화할 수 있고 이를 위해 각각 다른 수의 PE를 사용하여 병렬 처리를 적용하였다.
  • 각 PE는 3개의 컬러 정보로 구성된 화소값을 사용하기 때문에 이와 같은 병렬 처리를 적용할 경우 데이터의 입력 수가 크게 늘어난다. 동시에 필요로 하는 데이터의 종류가 많을수록 대역폭 문제(data bandwidth)가 생기기 때문에 데이터 의존성에 의해 데이터를 필요로 하는 시간을 최소화 시키면서 입력 데이터 문제를 해결하기 열 방향으로 계산하는 PE를 사용하여 병렬 처리를 적용하였다.
  • 하나의 가중치 윈도우 계산에 필요한 94 사이클 중 실제로 의미 있는 가중치 값은 역방향 가중치가 계산되는 34 사이클 이후이며 가중치를 저장하기위한 별도의 메모리를 추가하지 않기 위해 SAD모듈 또한 가중치 모듈과 같은 11개의 가산기를 기본으로 한 PE를 탐색거리에 맞추어 16개를 사용하여 병렬처리 하였다.
  • 가중치 모듈을 통해 계산된 지오데식 거리는 다시 식(9)에서 지수함수 계산을 통해 거리가 작을수록 큰 값으로 바뀐다. 삼각함수, 지수함수 등과 같은 연산은 하드웨어로 설계할 때 많은 자원을 필요로 하기 때문에 LUT(Look-up table) 방식이나 근사화한 함수를 사용하고 본 논문에서는 표 2와 같이 6개 영역으로 나누어진 계단함수를 사용하여 구현하였다.
  • 제안한 스테레오 비전 시스템은 verilogHDL로 설계하여 검증하였으며, Synopsis를 사용하여 합성하였다. 윈도우 크기 21⨉21, 탐색거리 16, 영상크기 384⨉288를 처리할 수 있는 제안한 구조를 동부하이텍 0.
  • 최대 클록 속도는 260MHz로 약 25fps의 속도를 가진다. 제안한 구조에서 가중치를 할당하기 위해 필요한 지수함수 부분을 6구간의 계단 함수로 근사화하여 구현하였다.
  • 본 논문에서는 지오데식 가중치 기반의 스테레오 비전 시스템을 하드웨어로 설계하였으며 동부하이텍 0.18um 라이브러리를 사용하여 Synopsis를 통해 합성한 뒤 계산속도 및 하드웨어 자원 소모량을 분석하였다. 효율적인 하드웨어 설계를 위해 각 계산 사이의 데이터 의존성에 근거하여 스케줄링을 하였으며 각 중간값의 저장 시간을 최소화하는 스케줄링 및 병렬 처리를 적용하여 메모리를 줄이고 PE사이의 입력 값들을 공유하여 시스템의 효율성을 높였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
전역적 정합 알고리즘이란? 스테레오 비전 시스템은 정합방법에 따라 전역적 정합 알고리즘과 지역적 정합 알고리즘으로 분류할 수 있다. 전역적 정합 알고리즘의 경우 하나의 화소에 해당하는 깊이정보를 얻기 위해 열 단위 또는 영상 전체의 정보를 활용하는 방식으로 대표적으로 동적계획법(dynamic programming)[3], 신뢰 확산 알고리즘(belief propagation)[4], 그래프 컷(graph cuts)[5] 알고리즘 등이 있다. 이 같은 알고리즘은 높은 정합률을 보여주지만 알고리즘이 복잡하고 계산량이 많으므로 실시간 처리를 필요로 하는 시스템에 적용하기 어렵다.
영역 기반 알고리즘에서 윈도우의 크기에 따라 어떠한 결과가 나타나는가? 영역 기반 알고리즘은 정합에 사용되는 정보가 윈도우에 의해 결정되기 때문에 알맞은 윈도우의 크기 및 모양을 선택하는 것이 중요하다. 정합하는 대상에 비해 윈도우의 크기가 클 경우 필요 없는 정보량이 많아지고, 반대로 정합하는 대상에 비해 너무 작을 경우 정보량이 부족해서 정확한 정합이 불가능해진다. 정합하는 영상에 따라 최적의 윈도우가 달라지기 때문에 위와 같은 문제를 해결하기 위해 다양한 크기, 모양의 윈도우를 사용하는 가변 윈도우 알고리즘이나 다양한 해상도의 영상을 사용하여 정합하고 보간하는 방법이 연구되었으나 계산 효율에 비해 장점이 적었다.
영역기반 알고리즘은 어떠한 방법으로 정합여부를 판단하는가? 반면 지역적 정합 알고리즘은 영상의 일부분만을 사용하여 깊이정보를 계산하는데 윈도우를 사용하는 영역기반 알고리즘이 일반적이다. 영역기반 알고리즘은 정의된 비용함수를 사용하여 윈도우라 불리는 일정한 영역에 대한 정합 비용을 누적하여 정합여부를 판단한다. 비용함수는 차이의 절대값의 누적(SAD, sum of absolute difference), 차이의 제곱의 누적(SSD, sum of squared difference), 센서스 변환(census transform) 등 간단한 연산의 반복으로 정의되어 하드웨어로 설계가 용이하나 낮은 정합률로 인해 활용 범위가 좁다[6].
질의응답 정보가 도움이 되었나요?

참고문헌 (15)

  1. N. Bernini, et al, "Real-time obstacle detection using stereo vision for autonomous ground vehicles: A survey," IEEE 17th Intl. Conf. on ITSC, pp.873-878, 2014. 

  2. B. Wang, S. A. R. Florez, and V. Fremont, "Multiple obstacle detection and tracking using stereo vision: application and analysis," The 13th Intl. Conf. on Control, Automation, Robotics, and Vision, 2014. 

  3. H. Hirschmuller, P. Innocent, and J. Garibaldi, "Real-time correlation based stereo vision with reduced border errors," Intl. J. of Computer Vision, vol.47, no.1-3, pp.229-246, 2004. 

  4. S. Park and H. Jeong, "Real-time stereo vision FPGA chip with low error rate," Intl. Conf. on Multimedia and Ubiquitous Engineering, pp.751-765, 2007. 

  5. M. Brown, D. Burschka, and G. Hager, "Advances in computational stereo," IEEE Trans. on PAMI, vol.25, no.8, pp.993-1008, 2003. 

  6. S. Jin, et al, "FPGA design and implementation of a real-time stereo vision system," IEEE Trans. on CAS for Video Technology, vol.20, no.1, pp.15-26, 2010. 

  7. A. Darabiha, J. Rose, and W. Maclean, "Video-rate stereo depth measurement on programmable hardware," IEEE Conf. on Computer Vision and Pattern Recognition, vol.1, pp.203-210, 2003. 

  8. A. Hosni, et al, "Real-time local stereo matching using guided image filtering," IEEE Intl. Conf. on Multimedia and Expo, pp. 1-6, 2011. 

  9. C. Ttofis, and T. Theocharides, "High-quality real-time hardware stereo matching based on guided image filtering," European Conf. and Exhibition in Design, Automation and Test, pp. 1-6, 2014. 

  10. S. Perri, P. Corsonello, and G. Cocorullo, "Adaptive census transform: a novel hardware-oriented stereovision algorithm," Computer Vision and Image Understanding, vol.117, no1. pp.29-41, 2013. 

  11. D. Scharstein and R. Szeliski, "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms," Intl. J. of Computer Vision, vol.47, no.1-3, pp.79-88, 2002. 

  12. Y. Boykov, O. Veksler, and R. Zabih, "Fast Approximate Energy Minimization via Graph Cuts," IEEE Trans. on PAMI, vol.23, no.11, pp.1222-1239, 2001. 

  13. K. Yoon and I. Kweon, "Adaptive support-weight approach for correspondence search," IEEE Trans. on PAMI, vol.28, no.4, pp.650-656, 2006. 

  14. A. Hosni, et al, "Local stereo matching using geodesic support weights." 16th IEEE Intl. Conf. on Image Processing, pp.2093-2096, 2009. 

  15. F. Tombari, S. Mattoccia, and L. Di Stefano, "Segmentation-based adaptive support for accurate stereo correspondence," 2nd Pacific Rim Symposium in Proceedings, pp.427-438, 2007. 

저자의 다른 논문 :

LOADING...
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로