[논문]Deep Learning을 기반으로 한 Feature Extraction 알고리즘의 분석

김경태; 이용환; 김영섭

Deep Learning을 기반으로 한 Feature Extraction 알고리즘의 분석
Analysis of Feature Extraction Algorithms Based on Deep Learning 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.19 no.2, 2020년, pp.60 - 67

김경태 (단국대학교 전자전기공학부) , 이용환 (원광대학교 디지털콘텐츠공학과) , 김영섭 (단국대학교 전자전기공학부)

Abstract ▼ AI-Helper

Recently, artificial intelligence related technologies including machine learning are being applied to various fields, and the demand is also increasing. In particular, with the development of AR, VR, and MR technologies related to image processing, the utilization of computer vision based on deep learning has increased. The algorithms for object recognition and detection based on deep learning required for image processing are diversified and advanced. Accordingly, problems that were difficult to solve with the existing methodology were solved more simply and easily by using deep learning. This paper introduces various deep learning-based object recognition and extraction algorithms used to detect and recognize various objects in an image and analyzes the technologies that attract attention.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 기술논문에서는 영상의 특징점을 추출하는 기존의 방법론, 딥러닝 네트워크 분석과 딥러닝을 기반으로 특징점을 추출하는 방법론을 살펴보았다. 본 기술논문의 목적은 GPU의 고도화에 따른 늘어가는 컴퓨터 비전에 대한 수요와, 수많은 데이터를 수집하고 분석하는 빅데이터 시대에 맞추어 관련 분야의 기술에 있어서 선도하기 위하여 분석을 수행하였다.
이미지는 색상 정보, 객체, 가장자리, 픽셀 정의, 치수 등과 같은 엄청난 양의 정보를 포함하는 다른 종류의 데이터이므로 영상 데이터의 처리는 전체 정보를 보존하기위한 고도화된 분야이지만, 의학, 교통산업과 같이 많은 영역에서 활용될 수 있다. 본 기술논문에서는 이미지에서 정보를 추출하여 얼굴 인식, 이미지 검색 등의 다양한 용도에 활용하는 이미지 데이터의 다양한 주요 특징과 속성을 다루며 데이터의 성격과 패턴이 인식할 수 있는 최적의 특성을 찾아 형성하기 위해 데이터 간의 특성을 평가할 수 있는 기법을 비교 분석한다.
본 기술논문에서는 영상의 특징점을 추출하는 기존의 방법론, 딥러닝 네트워크 분석과 딥러닝을 기반으로 특징점을 추출하는 방법론을 살펴보았다. 본 기술논문의 목적은 GPU의 고도화에 따른 늘어가는 컴퓨터 비전에 대한 수요와, 수많은 데이터를 수집하고 분석하는 빅데이터 시대에 맞추어 관련 분야의 기술에 있어서 선도하기 위하여 분석을 수행하였다.
RBM은 결정론적 분포 대신 특정 분포를 가진 확률론적 유닛을 사용한다. 훈련의 목표는 이 두 변수 세트가 실제로 어떻게 연결되어 있는지 알아내는 것이다[11]. RBM을 Autoencoder와 구별하는 한 가지 측면은 RBM에는 두 가지 바이어스가 있다는 것이다.

가설 설정

3) 각각의 히든 노드에서, 각 입력 x 는 각각의 가중치 w 를 곱한다. 즉, 단일 입력 x 는 여기에 3 개의 가중치를 가지므로 총 12 개의 가중치를 생성한다 (4 개의 입력 노드 × 3 개의 히든 노드).

제안 방법

1) Gaussian filtering 이라고도 불리는 Noise off 과정을 거치는데, Gaussian filter 를 사용하여 이미지 평탄화 작업을 수행한다.
3) 백워드 패스 - 손실을 계산한 후 손실을 역전파하고 그래디언트를 사용하여 모델의 가중치w를 업데이트한다. 이는 모델 훈련의 주요 단계로, 가중치w는 해당 방향의 기울기 흐름에 따라 조정된다.
4)Hysteresis Thresholding 을 이용하여 위 과정을 통해 구한 엣지 픽셀이 유효한 값이 맞는지 확인한다.
주어진 입력 데이터를 특징 세트로 변환하는 것을 특징점 추출이라고 한다. 머신러닝에서 특징점 추출은 일관된 데이터의 초기 세트에서 시작하여 서술적이고 비 중복적일 것으로 예상되는 특징인 차용값을 개발하여 결과학습과 관찰 단계를 단순화한다. 이는 몇몇 경우에서는 인간의 관점에 과하게 의존하여 분석하는 경향이 있다고 평가되며 이는 주로 차원 축소와 관련이 있다[2].
본 서론을 제외한 다음으로는 2절에서 기존 널리 사용되었고 현재도 사용중인 특징점 추출 알고리즘에 대하여알아보고, 3절에서는 몇 종류의 딥러닝 네트워크 분석과 특징점 추출을 위한 훈련법을 알아본다. 4절에서는 CNN을 기반으로 하는 특징점 추출에 관하여 알아본 후 끝으로 5절에서는 딥러닝과 특징점 추출의 현황과 전망에 관하여 기술한다.
2) 에러 또는 손실 계산 - 데이터 인스턴스를 전달하면 모델에서 예측출력(predicted output) 이라고 하는 일부 출력을 얻을 수 있으며 실제 출력 데이터가 있는 레이블이 있다. 이 두 가지를 바탕으로 역전파 알고리즘을 사용하여 역전파 해야하는 손실을 계산한다.

대상 데이터

RBM은 딥네트워크의 빌딩 블록을 구성하는 얕은 2계층 신경망이다. RBM의 첫 번째 레이어는 비져블 레이어(visible layer) 또는 입력 레이어라고하며 두 번째 레이어는 히든 레이어이다. 각 원은 노드라고하는 뉴런과 같은 유닛을 나타낸다.
매트릭스 크기의 감소는 서브 샘플링 또는 맥스 풀링에 의해 수행될 수 있다. 후속 레이어는 피쳐맵의 수가 증가하고 공간 분해능력이 감소된 2개의 컨볼루션 및 서브 샘플링 레이어이다. 출력 레이어는 완전히 연결된 레이어(fully-connected layer)이며, 이 레이어의 출력은 입력 이미지의 특징점이다.

성능/효과

1) Roberts edge - 2x2 pixel을 기준으로 하여 연산속도가 빠르며 경계가 확실한 엣지 검출이 가능하다. 반면 노이즈에 취약하여 돌출된 값(변화폭이 큰 값)의 평균화에 취약하다
2) Sobel edge detection - Sobel edge detection는 중간값 미분을 4번 수행하여 연산속도가 느린 반면, 노이즈에 강하며 가로 세로로 구성된 엣지보다 대각선에 민감하게 반응하는 특징을 갖는다.
3) Prewitt edge detection - Sobel edge detection보다 모서리 부분에서 검출이 약하지만 반대로 수평 수직의 엣지에 민감하여 검출이 용이하며, 노이즈에 강하다.
맥스 풀링(Max-pooling)은 로컬 지역에서 최대값을 차지하며 해당 지역에 대한 전체 정보를 제공할 수 없거나 정보의 손실을 야기하기 때문에 평균 풀링(Average-pooling)보다 맥스 풀링이 선호된다. 풀링 된 값이 해당 지역에서 동일하게 유지되므로 로컬 전환에 불일치가 발생하지만, 후속 레이어의 피쳐맵 크기가 작을수록 히든 레이어의 히든 유닛 수를 줄일수 있다는 이점이있다. 이 감소기법 때문에, 풀링 레이어를 서브샘플링 레이어라고도 한다[27].

후속연구

본 기술논문이 분석한 기술은 3D 영상을 비롯한 컴퓨터 비전영역 전반에 걸친 산업분야로써, 특히 객체 인식 분야에서 핵심 기술이며, 이를 비롯한 여러 분야 및 산업에서 필요한 요소 기술과 서비스에 흡수될 수 있으며 군사적 목적의 분야에서도 다양한 활용이 가능하다. 이를 통해 미래의 첨단 산업을 이끌어갈 핵심 기술임을 알 수 있으며, 세계적으로 주목받는 연구 분야인 만큼 넓은 분야에서의 혁신을 이끌 것으로 기대된다.
본 기술논문이 분석한 기술은 3D 영상을 비롯한 컴퓨터 비전영역 전반에 걸친 산업분야로써, 특히 객체 인식 분야에서 핵심 기술이며, 이를 비롯한 여러 분야 및 산업에서 필요한 요소 기술과 서비스에 흡수될 수 있으며 군사적 목적의 분야에서도 다양한 활용이 가능하다. 이를 통해 미래의 첨단 산업을 이끌어갈 핵심 기술임을 알 수 있으며, 세계적으로 주목받는 연구 분야인 만큼 넓은 분야에서의 혁신을 이끌 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	특징점 추출은 무엇인가?	주어진 입력 데이터를 특징 세트로 변환하는 것을 특징점 추출이라고 한다. 머신러닝에서 특징점 추출은 일관된 데이터의 초기 세트에서 시작하여 서술적이고 비 중복적일 것으로 예상되는 특징인 차용값을 개발하여 결과학습과 관찰 단계를 단순화한다.
	딥러닝 아키텍처에는 무엇이 있는가?	따라서 데이터의 불확실성과 무작위성이 실제 결정 또는 인식 패턴을 잘못 안내할 수 있기 때문에 복잡한 영역이다. 딥러닝 아키텍처로는 Deep-Belief Network (DBN), Convolutional-Neural Network (CNN), Multi-Layer Perceptrons (MLPs), Restricted-Boltzmann Machine (RBM) 등이 있다.
	MLP는 무엇으로 구성되어 있는가?	MLP는 피드 포워드 인공신경망(ANN)의 한 종류다. 입력 레이어, 히든 레이어(hidden layer) 및 출력 레이어의 최소 세 개의 노드 레이어로 구성되며 입력 노드를 제외한 각 노드는 비선형 활성화 기능을 사용하는 뉴런이다. MLP는 훈련을 위해 backpropagation이라는 감독된(supervised) 학습 기법을 사용하며, 선형적으로 분리할 수 없는 데이터를 구별할 수 있다[6].

참고문헌 (27)

Hinton, G., Osindero, S., and Teh, Y., "A fast learning algorithm for deep belief nets," July 2006.
Gwang Eun Ko and Gwi Bo Shim, "Trend of object recognition and detection technology using deep learning," J. of Institute of Control, Robotics and Systems, Vol. 23(3), pp. 17-24, 2017.
Zhang, W., "Shift-invariant pattern recognition neural network and its optical architecture." Proceedings of Annual Conference of the Japan Society of Applied Physics.
Collobert, R. and Weston, J., "A unified architecture for natural language processing: Deep neural networks with multitask learning." Proceedings of the 25th International Conference on Machine Learning.
Haykin, S., "Neural networks: A comprehensive foundation," 1998.
Shan, S., Chen, Y., and Cheng, Y., "Data mining-concept, models,methods and algorithms." Tsinghua University Press, Beijing, 2003.
Kim, Y. W., Oh, A. R., Rose J, I., and Krishna, A. V. N., "Analyzing the performance of canny edge detection on interpolated images," in 2019 International Conference on Information and Communication Technology Convergence(ICTC), 2019, pp. 726-730.
Ke, F. and Xie, K., "Toward deep learning for adult students in online courses," in The Internet and Higher Education, vol. 12, 2009.
Yong-Hwan Lee, Je-Ho Park and Youngseop Kim, "Comparative Analysis of the Performance of SIFT and SURF," J. of The Korean Society of Semiconductor & Display Technology, Vol. 12, pp. 59-64, 2013.
Hartatik, Setyanto, A., Kusrini, K., and Agastya, I. M. A., "Comparison of sift and surf methods for porn image detection," in 2019 4th International Conference on Information Technology, Information Systems and Electrical Engineering (ICITISEE), 2019, pp. 281-285.
Kamthania, S., "A novel deep learning rbm based algorithm for securing containers," in 2019 IEEE International WIE Conference on Electrical and Computer Engineering (WIECON-ECE), 2019, pp. 1-7.
Ciresan, D. C., Meier, U., Masci, J., Gambardella, L. M., and Schmidhuber, J., "Flexible, high performance convolutional neural networks for image classification."
Aamir, M., Nawi, N. M., Wahid, F., and Mahdin, H., "An efficient normalized restricted boltzmann machine for solving multiclass classification problems." The Science and Information (SAI) Organization, 2019.
Junying Cheng, Yu Gao, Shouheng Guo, Xingping Yang, Xiaoqian Xu, and Yi Cen, "Deep Belief Network for Feature Extraction of Urban Artificial Targets," J. of Hindawi, Mathematical Problems in Engineering, Vol. 20, pp 13, 2020.
Wang, L., "Three-dimensional convolutional restricted boltzmann machine for human behavior recognition from rgb-d video," in EURASIP Journal on Image and Video Processing, 2018.
Li, W., Dou, Z., and Qi, L., "Communication protocol classification based on lstm and dbn," IEEE Access, vol. 8, pp. 91818-91828, 2020.

상세보기
Yang, Y., "Medical multimedia big data analysis modeling based on dbn algorithm," IEEE Access, vol. 8, pp. 16350-16361, 2020.

상세보기
El-Feghi, I., Tahar, A., Aboasha, H., and Xu, Z., "Efficient features extraction for fingerprint classification with multi layer perceptron neural network," in Eighth International Multi-Conference on Systems, Signals Devices, 2011.
Nahiduzzaman, M., Nayeem, M. J., Ahmed, M. T., and Zaman, M. S. U., "Prediction of heart disease using multi-layer perceptron neural network and support vector machine," in 2019 4th International Conference on Electrical Information and Communication Technology (EICT), 2019, pp. 1-6.
Mohammadi, P., Samanbakhsh, R., Koohi, P., and Ibanez, F., "High frequency transformer design for specific static magnetising and leakage inductances using combination of multi-layer perceptron neural networks and fem simulations," in 2019 IEEE 10th International Symposium on Power Electronics for Distributed Generation Systems (PEDG), 2019, pp.837-842.
Musa, A. and Aliyu, F., "Performance evaluation of multilayer perceptron (mlp) and radial basis function (rbf)," in 2019 2nd International Conference of the IEEE Nigeria Computer Chapter (NigeriaComputConf), 2019, pp. 1-5.
Jogin, M., Mohana, Madhulika, M. S., Divya, G. D., Meghana, R. K., and Apoorva, S., "Feature extraction using convolution neural networks (cnn) and deep learning," in 2018 3rd IEEE International Conference on Recent Trends in Electronics, Information Communication Technology (RTEICT), 2018, pp. 2319-2323.
Shin, e. a., "Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning." IEEE, 2016.
Sainath, T. N., rahman Mohamed, A., Kingsbury, N., and Ramabhadram, B., "Deep convolutional neural networks for lvcsr." ICASSP, 2013.
Ciregan, Dan, Meier, U., and Schmidhuber, J., "Multicolumn deep neural networks for image classification." IEEE, 2012.
S. Dara and P. Tumma, "Feature Extraction By Using Deep Learning: A Survey," 2018 Second International Conference on Electronics, Communication and Aerospace Technology (ICECA), Coimbatore, pp. 1795-1801, 2018.
S. Khalid, T. Khalil and S. Nasreen, "A survey of feature selection and feature extraction techniques in machine learning," 2014 Science and Information Conference, London, pp. 372-378, 2014.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증