[논문]음향신호를 활용한 딥러닝 기반 비가시 영역 객체 탐지

신의현; 김광수

doi:10.13088/jiis.2023.29.1.233

음향신호를 활용한 딥러닝 기반 비가시 영역 객체 탐지
Deep Learning Acoustic Non-line-of-Sight Object Detection 원문보기

지능정보연구 = Journal of intelligence and information systems, v.29 no.1, 2023년, pp.233 - 247

신의현 (성균관대학교 인공지능학과) , 김광수 (성균관대학교 소프트웨어학과)

초록
AI-Helper

최근 관찰자의 직접적인 시야 밖의 숨겨진 공간의 물체를 탐지하는 비가시 영역 객체 탐지 연구가 주목받고 있다. 대부분의 연구들은 빛의 직진성을 활용한 광학장비를 사용하지만, 회절성과 직진성을 모두 갖춘 소리 또한 비가시 영역연구에 적합하다. 본 논문에서는 가청 주파수 범위의 음향 신호를 활용하여 비가시 영역의 객체를 탐지하는 새로운 방법을 제안한다. 음향 신호만을 입력하여 비가시 영역에서 정보를 추출하고 숨겨진 물체의 종류와 범위를 예측하는 딥러닝 모델을 설계한다. 또한 딥러닝 모델의 훈련 및 평가를 위해 총 11개 물체에 대한 신호의 송 수신 위치를 변경하여 데이터를 수집한다. 이를 통해, 입력 데이터 변화에 따른 물체의 분류 정확도 및 탐지 성능을 비교한다. 우리는 딥러닝 모델이 음향신호를 활용히여 비가시 영역 객체 탐지하는데 우수한 성능을 보임을 증명한다. 신호 수집 위치와 반사벽 사이 거리가 멀어질수록 성능이 저하되고, 여러 위치에서 수집된 신호의 결합을 통해 성능이 향상되는 것을 관찰한다. 마지막으로, 음향 신호를 활용하여 비가시 영역 객체 탐지를 위한 최적의 조건을 제시한다.

Abstract ▼ AI-Helper

Recently, research on detecting objects in hidden spaces beyond the direct line-of-sight of observers has received attention. Most studies use optical equipment that utilizes the directional of light, but sound that has both diffraction and directional is also suitable for non-line-of-sight(NLOS) research. In this paper, we propose a novel method of detecting objects in non-line-of-sight (NLOS) areas using acoustic signals in the audible frequency range. We developed a deep learning model that extracts information from the NLOS area by inputting only acoustic signals and predicts the properties and location of hidden objects. Additionally, for the training and evaluation of the deep learning model, we collected data by varying the signal transmission and reception location for a total of 11 objects. We show that the deep learning model demonstrates outstanding performance in detecting objects in the NLOS area using acoustic signals. We observed that the performance decreases as the distance between the signal collection location and the reflecting wall, and the performance improves through the combination of signals collected from multiple locations. Finally, we propose the optimal conditions for detecting objects in the NLOS area using acoustic signals.

주제어

표/그림 (10)

그림 Typical acoustic NLOS setup.
그림 Acoustic system for data acquisition.
그림 Target objects used for data acquisition.
그림 Overview of acoustic NLOS object detection framework
표 Detailed settings for convolutional neural networks
그림 Linear regression of d_axis results.
표 Comparison of results for distance to relay wall.
그림 Comparison between d_axis and n_axis.
표 Comparison of results for the number of combined axis.
그림 Visualized results of the qualitative evaluation. The bounding box represented in red is the ground-truth, while the blue box represents the predicted one.

참고문헌 (29)

김기태, 이보미, 김종우. (2017). 이진 분류문제에서의 딥러닝 알고리즘의 활용 가능성 평가.？지능정보연구, 23(1), 95-108.

원문보기 상세보기
김호준. (2010). CNN 모델과 FMM 신경망을 이용한 동적 수신호 인식 기법. 지능정보연구,？16(2), 95-108.
안성만. (2016). 딥러닝의 모형과 응용사례. 지능정보연구, 22(2), 127-142.

원문보기 상세보기
장승우, & 김광수. (2021). 가청 주파수를 활용한？비가시 영역 복원 기초 연구. 한국통신학회？학술대회논문집, 1088-1089.
Alakwaa, W., Nassef, M., & Badr, A. (2017).？Lung cancer detection and classification with？3D convolutional neural network (3D-CNN).？International Journal of Advanced Computer？Science and Applications, 8(8).

상세보기
Boger-Lombard, J., Slobodkin, Y., & Katz, O.？(2022). Non-Line-of-Sight Passive Acoustic？Localization Around Corners. arXiv preprint？arXiv:2211.03453.
Grau Chopite, J., Hullin, M. B., Wand, M., &？Iseringhausen, J. (2020). Deep non-line-of-sight？reconstruction. In Proceedings of the IEEE/CVF？Conference on Computer Vision and Pattern？Recognition (pp. 960-969).
Hearst, M. A., Dumais, S. T., Osuna, E., Platt, J., & Scholkopf, B. (1998). Support vector machines.？IEEE Intelligent Systems and their applications,？13(4), 18-28.

상세보기
Kan, R., Wang, M., Zhou, Z., Zhang, P., & Qiu, H.？(2022). Acoustic Signal NLOS Identification？Method Based on Swarm Intelligence Optimization？SVM for Indoor Acoustic Localization. Wireless？Communications and Mobile Computing, 2022.
Kingma, D. P., & Ba, J. (2014). Adam: A method？for stochastic optimization. arXiv preprint？arXiv:1412.6980.
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017).？Imagenet classification with deep convolutional？neural networks. Communications of the ACM,？60(6), 84-90.

상세보기
LeCun, Y. (2015). LeNet-5, convolutional neural？networks. URL: http://yann.lecun.com/exdb/lenet, 20(5), 14.
Lindell, D. B., Wetzstein, G., & Koltun, V.？(2019). Acoustic non-line-of-sight imaging. In？Proceedings of the IEEE/CVF Conference on？Computer Vision and Pattern Recognition？(pp. 6780-6789).
Liu, X., Bauer, S., & Velten, A. (2020). Phasor？field diffraction based reconstruction for fast？non-line-of-sight imaging systems. Nature？communications, 11(1), 1645.
Mann, S., & Haykin, S. (1991, June). The chirplet？transform: A generalization of Gabor's logon？transform. In Vision interface (Vol. 91, pp.？205-212). Princeton, NJ, USA: Citeseer.
Oord, A. V. D., Dieleman, S., Zen, H., Simonyan,？K., Vinyals, O., Graves, A., ... & Kavukcuoglu,？K. (2016). Wavenet: A generative model for？raw audio. arXiv preprint arXiv:1609.03499.
Rao, C., & Liu, Y. (2020). Three-dimensional？convolutional neural network (3D-CNN)？for heterogeneous material homogenization.？Computational Materials Science, 184, 109850.

상세보기
Raspaud, M., Viste, H., & Evangelista, G. (2009).？Binaural source localization by joint estimation？of ILD and ITD. Ieee transactions on audio,？speech, and language processing, 18(1), 68-77.

상세보기
Tang, W., Long, G., Liu, L., Zhou, T., Jiang, J.,？& Blumenstein, M. (2020). Rethinking 1d-cnn？for time series classification: A stronger baseline.？arXiv preprint arXiv:2002.10061, 1-7.
Thaler, L. and Goodale, M. A. (2016). Echolocation？in humans: an overview. Wiley Interdisciplinary？Reviews: Cognitive Science, 7(6), 382-393.

상세보기
Velten, A., Willwacher, T., Gupta, O., Veeraraghavan,？A., Bawendi, M. G., & Raskar, R. (2012).？Recovering three-dimensional shape around a？corner using ultrafast time-of-flight imaging.？Nature communications, 3(1), 745.

상세보기
Wu, C., Liu, J., Huang, X., Li, Z. P., Yu, C., Ye, J.？T., ... & Pan, J. W. (2021). Non-line-of-sight？imaging over 1.43 km. Proceedings of the？National Academy of Sciences, 118(10), e2024468118.
Xu, B., Wang, N., Chen, T., & Li, M. (2015).？Empirical evaluation of rectified activations？in convolutional network. arXiv preprint？arXiv:1505.00853.
Xie, J., Hu, K., Zhu, M., Yu, J., & Zhu, Q.？(2019). Investigation of different CNN-based？models for improved bird sound classification.？IEEE Access, 7, 175353-175361.

상세보기
Zhang, L., Huang, D., Wang, X., Schindelhauer, C.,？& Wang, Z. (2017). Acoustic NLOS identification？using acoustic channel characteristics for？smartphone indoor localization. Sensors, 17(4), 727.

상세보기
Zhang, Z., & Sabuncu, M. (2018). Generalized？cross entropy loss for training deep neural？networks with noisy labels. Advances in？neural information processing systems, 31.
Kim, C. S. and J. H. Lee, Syntactic Pattern？Recognition, Prentice-Hall, New Jersey, 1985.
Rohlf, F. J., tpsDig Version 2.10, Department of？Ecology and Evolution, State University of？New York at Stony Brook, 2006. Available at？http://life.bio.sunysb.edu/morph/ (Downloaded？29 September, 2008).
Wu, K.-L., C. C. Agarwal, and P. S. Yu, "Personalization with dynamic profiler," Proceedings？of the Third International Workshop on？Advanced Issues of E-commerce and Web-based？Information Systems, (2001), 12~20.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증