[논문]딥러닝 기술을 활용한 압축센싱 신호 복원방법 분석

성진택

doi:10.17661/jkiiect.2017.10.4.257

딥러닝 기술을 활용한 압축센싱 신호 복원방법 분석
Analysis of Signal Recovery for Compressed Sensing using Deep Learning Technique 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.10 no.4, 2017년, pp.257 - 267

성진택 (Department of Information and Communication Engineering, Honam University)

초록
AI-Helper

압축센싱(Compressed Sensing)은 선형 역문제(inverse problem)를 다루고 있으며, 그 이론적 연구결과는 관련 분야에 많은 영향을 주어 놀랄 만한 연구성과를 발표하였다. 그러나 압축센싱을 실제 환경에 적용하기 위해서는 두 가지 중요한 문제가 남아 있다. 하나는 실시간에 가까운 복원 성능이 보장되어야 하며, 다른 하나는 신호가 희소성을 갖도록 전처리가 가능해야 한다는 점이다. 이에 대한 문제들을 해결하고자 딥러닝(deep learning) 기술을 활용한 압축센싱 신호 복원방법이 최근에 등장하였다. 본 논문에서는 딥러닝 기반의 압축센싱 신호 복원방법을 고찰하고 최신 연구결과를 비교 분석하고자 한다. 관련 연구결과에서는 실시간에 가까운 복원 시간에 도달하였으며, 기존 복원방법 대비 더 우수한 복원 성능을 보여 주었다. 최근 연구에서 보여준 딥러닝을 활용한 압축센싱 신호 복원방법은 압축센싱의 활용가치를 더욱 높일 뿐만 아니라 신호처리와 통신분야에서 크게 활용될 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

Compressed Sensing(CS) deals with linear inverse problems. The theoretical results of CS have had an impact on inference problems and presented amazing research achievements in the related fields including signal processing and information theory. However, in order for CS to be applied in practical environments, there are two significant challenges to be solved. One is to guarantee in real time recovery of CS signals, and the other is that the signals have to be sparse. To this end, the latest researches using deep learning technology have emerged. In this paper, we consider CS problems based on deep learning and discuss the latest research results. And the approaches for CS signal reconstruction using deep learning show superior results in terms of recovery time and performance. It is expected that the approaches for CS reconstruction using deep learning shown in recent studies can not only raise the possibility of utilization of CS, but also be highly exploited in the fields of signal processing and communication areas.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 장에서는 딥러닝 기술을 활용한 압축센싱 문제를 다루었던 관련 연구결과를 검토하여 그 성능 결과를 비교·분석하고자 한다. 기존의 압축센싱 신호 복원방법과 비교를 통하여 복원 시간과 성능 측면에서 딥러닝 기술 기반의 압축센싱 신호 복원방법의 우수성을 보여 주고자 한다. 본 장에서 보여준 연구결과는 논문 [6]과 [7]에서 다루었던 내용을 참고하였고, 자세한 내용은 인용문헌에서 상세히 언급하고 있다.
딥러닝 기술은 위에서 언급한 압축센싱 문제를 해결할 수 있는 새로운 프레임워크를 제공하고 있다. 본 논문은 최근 학계에서 주목 받고 있는 딥러닝 기술이 압축센싱 문제를 어떻게 해결할 수 있는지에 대한 사례를 보여 주고 각 모델에 대해서 분석한다. 그리고 기존 압축센싱 신호 복원방법 대비 딥러닝 기술 기반의 신호 복원방법이 복원 시간과 성능 면에서 우수성을 보여 준다.
그리고 기존 압축센싱 신호 복원방법 대비 딥러닝 기술 기반의 신호 복원방법이 복원 시간과 성능 면에서 우수성을 보여 준다. 이를 위해 기존 압축센싱 신호 복원방법을 살펴보고, 딥러닝 기술을 활용한 최신의 접근법을 살펴보고자 한다. 그리고 최근 연구결과를 비교·분석하여 딥러닝 기술 기반의 압축센싱 신호 복원방법의 활용 가능성을 제시한다.

제안 방법

CNN은 콘볼루션 연산과 폴링 연산을 여러 차례 반복하여 수행한다. 그리고 최종적으로 위치정보가 없는 패턴 정보를 이용하여 속성인자들을 추출한다. 높은 인식률을 얻기 위해 이들 속성인자들 간의 상관관계와 연관성을 모델링하여 인식 결과를 높인다[12].
그리고 최종적으로 위치정보가 없는 패턴 정보를 이용하여 속성인자들을 추출한다. 높은 인식률을 얻기 위해 이들 속성인자들 간의 상관관계와 연관성을 모델링하여 인식 결과를 높인다[12].
다음으로 PSNR(peak signal-to-noise ratio) 을 비교하여 압축센싱의 신호 복원 알고리즘의 성능을 평가한다. 그림 4에서는 평균 PSNR을 보여 주며, m/n 이 0.
본 장에서는 딥러닝 기술을 활용한 압축센싱 문제를 다루었던 관련 연구결과를 검토하여 그 성능 결과를 비교·분석하고자 한다.

대상 데이터

그림 3. 성능비교를 위해 사용된 7개의 이미지 [7].

이론/모형

1) IST : 최적화 문제 (1)를 가장 간단히 해결하기 위해 IST(iterative shrinkage thresholding) 알고리즘을 이용하였다[20]. 이 알고리즘은 매 실행마다 다음의 값들을 갱신하면서 해를 찾는다.
학습과정을 통하여 확장된 신호 #에서 신호 x을 찾을 수 있도록 비선형 과정이 진행된다. 논문 [6]에서는 1개의 fully connected 층과 3개의 콘볼루션 층을 이용하였고, LeRU 함수를 이용하여 비선형성을 적용하였다.
논문 [6]에서는 성능비교를 위해 D-AMP [2], TV(total variation) minimization [26], P-AMP [27] 알고리즘을 이용하였다. 그리고 논문 [7]에서는 그림 3에서 보여 주는 바와 같이 7개의 이미지를 이용하여 성능을 비교하였다.
딥러닝 학습을 위해 오류 역전파(error back-propagation) 알고리즘을 이용한다. 이 과정은 전파(feed-forward)와 역전파(back-propagation) 단계로 구성되어 있으며, 오류 역전파를 통하여 딥러닝 모델링에서 최적의 가중치(weight)와 바이어스(bias) 값을 찾는다.
그러면 전체 CNN에서 이용한 집합 #이라고 정의하면, 알고자 하는 신호에 대해 다음과 같은 # 비선형 함수라고 할 수 있다. 마지막으로 손실 함수는 훈련 데이터에 대해 최소 제곱 오차(mean squared error) 방법을 적용한다. #, 여기서 손실 함수가 최소화될 수 있도록 오류 역전파 알고리즘을 이용하여 파라미터 집합을 학습시킨다[6].
많은 최적화 방법이 있지만, 학습률(learning rate)을 파라미터로 조정하기 위한 방법으로 SGD(Stochastic Gradient Descent)가 대표적이다. 이 밖에도 AdaGrad 알고리즘, RMSProp 알고리즘, Adam 알고리즘 등의 최적화 방법을 이용하여 손실 함수를 최소화하고자 한다[17]. 가장 많이 알려진 SGD는 기울기 하강 기반의 최적화 알고리즘이다.
그리고 논문 [7]에서는 그림 3에서 보여 주는 바와 같이 7개의 이미지를 이용하여 성능을 비교하였다. 이때 성능비교를 위해 사용된 알고리즘은 TVAL3 [23], BM3D-AMP [2], NLR-CS [24]의 신호 복원 알고리즘이 이용되었다. 논문 [6]과 [7]에서 성능비교를 위해 이용한 기존의 압축센싱 신호 복원 알고리즘에 대한 상세한 설명은 각 인용문헌에서 자세히 다루고 있다.

성능/효과

본 논문은 최근 학계에서 주목 받고 있는 딥러닝 기술이 압축센싱 문제를 어떻게 해결할 수 있는지에 대한 사례를 보여 주고 각 모델에 대해서 분석한다. 그리고 기존 압축센싱 신호 복원방법 대비 딥러닝 기술 기반의 신호 복원방법이 복원 시간과 성능 면에서 우수성을 보여 준다. 이를 위해 기존 압축센싱 신호 복원방법을 살펴보고, 딥러닝 기술을 활용한 최신의 접근법을 살펴보고자 한다.
표 2와 3은 각각 가우시안 센싱행렬과 coded diffraction 센싱행렬과 측정 잡음이 없을 때, 128 × 128크기의 이미지를 복원하는데 소요된 시간을 보여 준다. 논문 [7]에서 제안하는 신호 복원방법(LDIT와 LDAMP)이 기존의 압축센싱에서 복원 성능이 우수하다고 평가 받은 알고리즘들보다 많게는 수십 배에서 수백 배 더 빠른 복원 시간을 얻었다.
특히, 압축센싱 문제에서 직면한 실시간 신호 복원에 대한 요구사항을 딥러닝 기술이 해결할 수 있었다. 또한, 딥러닝 기반의 신호 복원방법이 최신의 신호 복원 방법들과 비교하여 복원 성능 측면에서도 우수함을 알 수 있었다. 이와 더불어서 기존의 압축센싱 문제에서 직면한 신호의 희소성 문제도 해결할 수 있었으며, 센싱행렬 RIP(Restricted Isometry Property) 제약조건의 비의존성과 신호 복원방법의 고속의 고성능 처리 등이 가능함을 보여 주었다.
본 논문에서는 최근 학계에서 주목 받고 있는 딥러닝 기술이 압축센싱의 신호 복원방법으로써 적용 가능하며 활용가치가 크다는 점을 알 수 있었다. 특히, 압축센싱 문제에서 직면한 실시간 신호 복원에 대한 요구사항을 딥러닝 기술이 해결할 수 있었다.
또한, 딥러닝 기반의 신호 복원방법이 최신의 신호 복원 방법들과 비교하여 복원 성능 측면에서도 우수함을 알 수 있었다. 이와 더불어서 기존의 압축센싱 문제에서 직면한 신호의 희소성 문제도 해결할 수 있었으며, 센싱행렬 RIP(Restricted Isometry Property) 제약조건의 비의존성과 신호 복원방법의 고속의 고성능 처리 등이 가능함을 보여 주었다. 본 논문에서 비교·분석한 관련 연구결과는 향후 압축센싱의 활용가치를 더욱 높여 줄 것으로 기대하며, 딥러닝 기술이 통신과 신호처리 분야에서도 크게 활용될 수 있을 것으로 기대된다.
표 4, 5, 6에서 보여준 결과를 살펴보면 기존 압축센싱 신호 복원 알고리즘들에 비해 딥러닝 기반의 신호 복원방법은 센싱행렬이 가우시안이거나 coded diffraction을 사용하여 측정 잡음이 있을 때에도 우수한 PSNR를 보여 주었다.

후속연구

그리고 최근 연구결과를 비교·분석하여 딥러닝 기술 기반의 압축센싱 신호 복원방법의 활용 가능성을 제시한다.
본 논문에서 비교·분석한 관련 연구결과는 향후 압축센싱의 활용가치를 더욱 높여 줄 것으로 기대하며, 딥러닝 기술이 통신과 신호처리 분야에서도 크게 활용될 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	풀링의 다른 용어로 무엇이라 불리는가?	CNN을 구성하는 다른 요소는 풀링(pooling)이다. 풀링은 다른 용어로는 subsampling이라고 말한다. 이것은 데이터의 크기를 줄여주는 역할을 한다.
	CNN의 구조가 간단한 이유는 무엇인가?	CNN은 데이터 전체를 모델링하기 보다는 해석하고자 하는 인접 영역만을 선택하여 모델링하기때문에 구조가 간단하다. 이미지의 경우 이러한 CNN의 국부적 해석이 유용하다.
	풀링의 역할은 무엇인가?	풀링은 다른 용어로는 subsampling이라고 말한다. 이것은 데이터의 크기를 줄여주는 역할을 한다. 풀링은 최대 풀링(max-pooling)과 평균 풀링(average pooling)을 사용되는데, 콘볼루션 과정에서 도출한 정보의 속성인자에 대한 공간 불변성을 제공한다.

참고문헌 (27)

D. L. Donoho, "Compressed Sensing," IEEE Tran. on Inf. Theory, vol. 52, no. 4, pp. 1289-1306, Apr. 2006.

상세보기
C. A. Metzler, A. Maleki, and R. G. Baraniuk, "From Denoising to Compressed Sensing," IEEE Tran. on Inf. Theory, vol. 62, no. 9, pp. 5117-5144, Sep. 2016.

상세보기
Y. LeCun, Y. Bengio, and G. Hinton, "Deep Learning," Nature 521, pp. 436-444, 2015.

상세보기
A. Mousavi, A. B. Patel, R. G. Baraniuk, "A deep learning approach to structured signal recovery," 53rd Annual Allerton Conference on Communication, Control, and Computing, pp. 1226-1343, 2015.
K. Kulkarni, S. Lohit, P. Turaga, R. Kerviche, A. Ashok, "ReconNet: Non-Iterative Reconstruction of Images from Compressively Sensed Measurements," IEEE Conference on Computer Vision and Pattern Recognition, pp. 449-458, 2016.
A. Mousavi and R. G. Baraniuk, "Learning to invert: Signal recovery via deep convolutional networks," arXiv preprint arXiv:1701.03891, 2017.
C. A. Metzler, A. Mousavi, R. G. Baraniuk, "Learned D-AMP: Principled Neural-Network- based Compressive Image Recovery," arXiv preprint arXiv:1704.06625, 2017.
M. Borgerding, P. Schniter, and S. Rangan, "AMP-Inspired Deep Networks for Sparse Linear Inverse Problems," IEEE Trans. Sig. Processing, early access, May 2017.
H. Palangi, R. Ward, and L. Deng, "Distributed Compressive Sensing: A Deep Learning Approach," IEEE Trans. Sig. Processing, vol. 64, no. 17, pp. 4504-4518, Sep. 2016.

상세보기
D. E. Rumelhart, G. Hinton and R. J. Williams, "Learning presentations by back-propagation errors," Nature 323, pp. 533-536, 1986.

상세보기
G. Hinton, S. Osinder, and Y. W. The, "A fast learning algorithm for deep belif nets," Neural computation, vol. 18, no. 7, pp. 1527-1554, Jul. 2006.

상세보기
A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet classification with Deep Convolutional Neural Networks," Advances in Neural Information Processing Systems, pp. 1097-1105, Dec. 2012.
N. Srivastava, G Hinton, A. Krizhevsky, "Dropout: A simple way to prevent neural networks from overfitting," The Journal of Machine Learning Research 15.1, pp. 1928-1958, 2014.
C. Szegedy et al, "Going deeper with convolutions," CoRR, abs/1409.4842, 2014.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," IEEE International Conference on Computer Vision and Pattern Recognition, Nevada, USA, pp. 770-778, Nov. 2016.
Y. Lecun, L. Bottou, Y. Bengio, P. Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998.

상세보기
I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning, The MIT Press, 2016.
G. Dahl, T. Sainath, and G. Hinton, "Improving deep neural networks for LVCSR using rectified linear units and dropout," IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), BC, Canada, pp. 8609-8613, 2013.
D. L. Donoho and Y. Tsaig, "Fast Solution of L1-norm Minimization Problems When the Solutioni May Be Sparse," IEEE Trans. Info. Theory, vol. 54, no. 11, pp. 4789-4812, Nov. 2008.

상세보기
A. Chambolle, R. A. DeVore, N. Lee, and B. J. Lucier, "Nonlinear wavelet image processing: Variational problems, compression, and noise removal through wavelet shrinkage," IEEE Trans. Image Process., vol. 7, no. 3, pp. 319-335, Mar. 1998.

상세보기
D. L. Donoho, A. Maleki, and A. Montanari, "Message passing algorithms for compressed sensing," Proc. Nat. Acad. Sci., vol. 106, pp. 18914-18919, Nov. 2009.

상세보기
Christopher A. Metzler, A. Maleki, and R. G. Baraniuk, "From Denoising to Compressed Sensing," IEEE Trans. Info. Theory, vol. 62, no. 9, pp. 5117-5144, Sep. 2016.

상세보기
C. Li, W. Yin, and Y. Zhang, "User's guide for tval3: TV minimization by augmented lagrangian and alternating direction algorithms," CAAM report, vol. 20, pp. 46-47, 2009.
W. Dong et al, "Compressive Sensing via Nonloca Low-Rank Regularizatioin," IEEE Trans. Image Processing, vol. 23, no. 8, pp. 3618-3632, Aug. 2014.

상세보기
P. Schniter, S. Rangan, and A. Fletcher, "Vector approximate message passing for the generalized linear model," 2016 50th Asilomar Conference on Signals, Systems and Computers, CA, USA, Nov. 2016.
E. J. Candes, J. Romberg, and T. Tao, "Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information," IEEE Trans. Info. Theory, vol. 52, no. 2, pp. 489-509, Feb. 2006.

상세보기
A. Mousavi, A. Maleki, R. G. Baraniuk, "Consistent parameter estimation for LASSO and approximate message passing," Annals of Statistics, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증