[논문]해마신경망을 이용한 관심 객체 기반의 효율적인 멀티미디어 검색 시스템의 개발

정석훈; 강대성

해마신경망을 이용한 관심 객체 기반의 효율적인 멀티미디어 검색 시스템의 개발
The Development of Efficient Multimedia Retrieval System of the Object-Based using the Hippocampal Neural Network 원문보기

電子工學會論文誌. Journal of the Institute of Electronics Engineers of Korea. SP, 신호처리, v.43 no.2 = no.308, 2006년, pp.57 - 64

초록
AI-Helper

본 논문에서는 해마신경망(HCNN:HippoCampal Neural Network)을 이용하여 사용자 친화적인 객체 기반 멀티미디어 검색시스템을 제안한다. 내용 기반 검색(Content-based Retrieval)에 관한 대부분의 기존의 질의 방법은 입력 영상에 의한 질의 또는 컬러(color), 형태(shape), 질감(texture)등과 같은 low-level의 특징을 사용한다. 본 논문에서 제안하는 방법은 MPEG 기반의 압축 비디오 스트림으로부터 장면 전환 검출을 수행하여 샷을 검출한다. 이 샷 프레임에서 컬러 객체의 자동 추출을 위하여 similar colorization과 ACE(Adaptive Circular filter and Edge) 알고리즘을 사용한다. 그리고 이렇게 추출된 특징을 해마 신경망을 통하여 학습한 후 멀티미디어 검색 시스템을 구성한다. 제안하는 해마 신경망은 호감도 조정에 의해서 입력되는 영상패턴의 특징들을 흥분학습과 억제학습을 이용하여 불필요한 특징은 억제시키고 중요한 특징은 흥분학습을 통해 장기기억 시켜서 적응성 있는 실시간 검색 시스템을 구현한다.

Abstract ▼ AI-Helper

Tn this paper, We propose a user friendly object-based multimedia retrieval system using the HCNN(HippoCampus Neural Network. Most existing approaches to content-based retrieval rely on query by example or user based low-level features such as color, shape, texture. In this paper we perform a scene change detection and key frame extraction for the compressed video stream that is video compression standard such as MPEG. We propose a method for automatic color object extraction and ACE(Adaptive Circular filter and Edge) of content-based multimedia retrieval system. And we compose multimedia retrieval system after learned by the HCNN such extracted features. Proposed HCNN makes an adaptive real-time content-based multimedia retrieval system using excitatory teaming method that forwards important features to long-term memories and inhibitory learning method that forwards unimportant features to short-term memories controlled by impression.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

해마 신경망은 인식할 시스템에서 사용할 메모리 크기가 한정이 되는 경우 높은 인식률을 위하여 입력되는 특징점의 누적 개수가 많은 데이터를 장기 기억장소에 기억시킨다. 단기기억에서 장기기억으로의 확장을 위하여 본 논문에서는 중요한 특징에 대한 가중치 부과를 통하여 인식률을 높이고 적응적으로 확장 가능한 신경망 학습 알고리즘을 제안한다. 해마 지역은 뉴런의 가중치의 모듈레이터 역할을 한다.
본 논문에서는 객체에 기반한 내용 기반 멀티미디어검색 시스템을 구현하였다. 제안한 시스템은 우선 MPEG 동영상 스트림에서 대표 프레임샷을 추출해 낸다.
본 논문에서는 이런 내용 기반 검색을 위하여 비디오 스트림을 분석하여 샷을 찾아낸다. 이 샷 프레임을 similar colorization 시 키고 ACE(Adaptive Circular filter and Edge) 알고리즘을 이용하여 객체를 추출한다.
객체를 추출한다. 본 논문에서는 최근 많이 사용되고 있는 EM(Expectation-Maximization)[171 및 VQ(Vector Quantization)幽의 클러스터링 알고리즘과 소요 시간을 비교 분석하였다. EM의 경우 각 영상을 구성하는 객체 수에 알맞게 클러스터의 개수를 자동적으로 결정짓지 못하기 때문에 각 영상마다 2~7개의 클러스터로 분류하는데 걸리는 시간을 계산하였다.
일반적인 신경망 구조를 갖는 체제에서는 필요한 특징들만 저장할 수 없다. 본 논문에서는 해당 특징에 따라 유동적으로 정보를 저장할 수 있는 시스템을 제안할 것이다. 뇌 속의 해마를 통해 분석된 정보는 편도체에서 좋아하는 정보로 판단되면 학습이 쉽게 이루어진다.
[121-[141. 우리는 이러한 호감도 조정을 통해서 단기와 장기기억에 따른 정보 저장을 제안할 것이다.

제안 방법

이 샷 프레임을 similar colorization 시 키고 ACE(Adaptive Circular filter and Edge) 알고리즘을 이용하여 객체를 추출한다. 그리고 IV장에서 제안하는 해마 신경망(HCNN : HippoCampus Neural Network) 학습 알고리즘을 이용하여 학습한 후 실시간으로 검색 가능한 멀티미디어 검색 시스템을 제안한다.
00 GHz PC의 Microsoft Windows XP 환경에서 실험하였다. 그리고 Visual C++ 6.0 MFC를 이용하여 검색 시스템을 개발하였다. 실험 데이터는 검색의 편의를 위하여 오디오 성분이 제거된, 192x144 크기의 MPEG 비디오 스트림을 사용하였다.
멀티미디어 검색에서는 정확한 샷을 검출할 필요가없으므로 확연한 차이가 나는 샷만을 대표 프레임으로 선택한다. 그리고 이렇게 추출된 대표 프레임을 similar colorization을 통하여 단순화시키고, ACE 알고리즘으로 보다 유연한 객체를 추출한다. 이렇게 추출된 객체를 이용하여 앞에서 제안한 해마신경망을 이용하여 학습하여 효과적이고 속도가 향상된 검색 시스템을 제안하였다.
다음의 3가지 특징들을 이용하여 DC 영상에서의 장면전환 검출을 구하였다灯띠. 첫 번째 특징은 이전 영상과의 pixel간의 차분 값으로서 다른 영상의 유사도를 측정하는데 가장 기본이 되며, 전체적인 휘도 변화를 잘 나타낸다.
우선은 RGB 색채 모델을 HSV 색체 모델로 변환시키고 그 다음으로 HSV 모델을 컬러 양자화시킨다. 마지막으로 양자화 된 영상의 에지 강화를 위해서 미디언 필터링을 수행한다. 이는 이후의 객체 추출을 위한 알고리즘을 사용할 때 좋은 특성을 제공한다.
본 논문에서 구현한 검색 시스템의 성능을 측정하기 위해서 실험에 사용된 동영상들에서 추출된 대표 프레임들을 이용하여 Jin职 huan职에 의해 제안된 color correlogram과 Jinsham Tang, Scott Acton이 제안한 multi-example retrieval 알고리즘과 비교 실험을 하였다. color correlograme 색상의 공간분포를 이용하는 방법으로 좋은 검색 결과를 보여주고 있고, 본 데이터베이스를 이용하여 실험한 multi-example retrieval 시스템은 영상의 컬러 히스토그램과 질감 히스토그램을 특징으로
이 생성된다. 본 논문에서는 I picture에 대해서 DCT DC계수를 구하고 이를 정규화 시킨 후 DC영상을 구성하였다. 그림 1은 MPEG 비디오 스트림으로부터 구성된 I picture에 대한 DC 영상을 나타낸 것이다.
있다. 본 연구에서는 컴퓨터 환경상에서 주로 표현되는 RGB의 좌표계로 변환한 후에 제안하는 similar colorization 알고리즘을 통화여 영상을 단순화 시키고 ACE 알고리즘을 이용하여 객체를 추출한다.
그리고 이렇게 추출된 대표 프레임을 similar colorization을 통하여 단순화시키고, ACE 알고리즘으로 보다 유연한 객체를 추출한다. 이렇게 추출된 객체를 이용하여 앞에서 제안한 해마신경망을 이용하여 학습하여 효과적이고 속도가 향상된 검색 시스템을 제안하였다. 앞으로의 계획은 더 많은데이터베이스를 보유하여 보다 광범위한 범위에서 정확도 높은 검색 성능을 가지는 시스템을 구현할 것이며, 객체뿐만 아니라 컬러 상관도와 공간 좌표 등에 기반한 검색 알고리즘을 보충하여 동적인 다중 멀티미디어 검색시스템을 구현할 것이다.
시스템을 구현하였다. 제안한 시스템은 우선 MPEG 동영상 스트림에서 대표 프레임샷을 추출해 낸다. 멀티미디어 검색에서는 정확한 샷을 검출할 필요가없으므로 확연한 차이가 나는 샷만을 대표 프레임으로 선택한다.

대상 데이터

본 연구에서는 10개의 뮤직비디오와 5개의 뉴스, 3개의 드라마 그리고 5개의 풍경 동영상을 이용하여 각 동영상에서 추출된 428개의 대표 프레임으로 검색을 수행하였다. 실험 결과의 검색 성능을 비교하기 위하여 다음의
0 MFC를 이용하여 검색 시스템을 개발하였다. 실험 데이터는 검색의 편의를 위하여 오디오 성분이 제거된, 192x144 크기의 MPEG 비디오 스트림을 사용하였다. 실험은 10개의 뮤직비디오 영상, 5개의 뉴스 영상, 3개의 드라마 영상 그리고 5개의 풍경 영상으로 구성되어있으며, 각 영상들에서 추출한 대표 프레임 이미지의 수는 총 428개이고, 이를 이용하여 데이터베이스를 구축하였다.
실험 데이터는 검색의 편의를 위하여 오디오 성분이 제거된, 192x144 크기의 MPEG 비디오 스트림을 사용하였다. 실험은 10개의 뮤직비디오 영상, 5개의 뉴스 영상, 3개의 드라마 영상 그리고 5개의 풍경 영상으로 구성되어있으며, 각 영상들에서 추출한 대표 프레임 이미지의 수는 총 428개이고, 이를 이용하여 데이터베이스를 구축하였다. 다음의 표 1
제안한 멀티미디어 검색 시스템을 실험하기 위하여 Intel Pentium 4 2.00 GHz PC의 Microsoft Windows XP 환경에서 실험하였다. 그리고 Visual C++ 6.

이론/모형

사람과 가장 유사한 지각을 보여주는 H(Hue)의 값을 이용하여 객체 추출 알고리즘을 적용한다. 그림 4는 원형 필터링을 적용하는 예이다기]
우선 similar colorization 처리된 영상에서 H의 값을 이용하여 에지의 분포를 구하기 위하여 Canny edge detector를 사용한다. 일단 에지가 구해지면 이를 기반으로 9개의 같은 크기의 1st 영역으로 균등 분할한다.
분석하여 샷을 찾아낸다. 이 샷 프레임을 similar colorization 시 키고 ACE(Adaptive Circular filter and Edge) 알고리즘을 이용하여 객체를 추출한다. 그리고 IV장에서 제안하는 해마 신경망(HCNN : HippoCampus Neural Network) 학습 알고리즘을 이용하여 학습한 후 실시간으로 검색 가능한 멀티미디어 검색 시스템을 제안한다.
비교적 크게 증가 시켰다. 컬러 양자화는 J아m R. Smith와 Shih-Fu Chan增이 제안한 방법을 사용하여 hue 는 20도씩 18단계로 되었으며 saturation과 value는 그림 3과 같이 3단계로 양자화 하였다项

성능/효과

HSV 영역에서의 컬러 양자화는 유사하지 않은 컬러를 같은 bin으로 맵핑하는 것을 회피하고 대체로 인간 인지학적 관점으로 영상을 구분할 때 효율이 떨어지는 밝기와 채도영상의 명암도와 채도의 허용 오차에 대한 관용을 비교적 크게 증가 시켰다. 컬러 양자화는 J아m R.
임계치 T는 영역의 수가 30개 이하로 감소할 때까지 계속해서 반복함으로써 증가한다. 더군다나, 본 논문의 실험에서 같은 영역의 크기(픽셀의 수)가 영상의 0.3% 보다 적으면 그것은 또한 가장 큰 이웃한 영역으로 병합되었다. 이렇게 병합되고 인덱스 된 정보를 이용하여 다음 장

후속연구

이렇게 추출된 객체를 이용하여 앞에서 제안한 해마신경망을 이용하여 학습하여 효과적이고 속도가 향상된 검색 시스템을 제안하였다. 앞으로의 계획은 더 많은데이터베이스를 보유하여 보다 광범위한 범위에서 정확도 높은 검색 성능을 가지는 시스템을 구현할 것이며, 객체뿐만 아니라 컬러 상관도와 공간 좌표 등에 기반한 검색 알고리즘을 보충하여 동적인 다중 멀티미디어 검색시스템을 구현할 것이다.
인간의 시각은 이러한 고주파 정보에 민감하다. 이러한 상세한 에지의 보존과 강화 가능성은 이후의 객체 추출을 위한 알고리즘 적용 시 탁월한 성능의 개선을 제공한다.

참고문헌 (22)

Wei Xiong and Chung-Mong Lee, 'Efficient Scene Change Detection and Camera Motion Annotation for Video Classification', Computer Vision and Image Understanding Vol.71, No. 2/2, August, pp.l66-181, 1998

상세보기
Hong Heater Yu, 'A hierarchical Multiresolution Video shot Transition Detection Scheme', Computer Vision and Image Understanding Vol.75, No. 1/2, July/August, pp. 196-213, 1999

상세보기
A. Vailaya, A. K. Jain and H. J. Zhang, 'On Image Classification: City Images vs. Landscapes', Pattern Recognition, Vol.31, pp. 1921-1936, 1998

상세보기
B. Manjunath and W. Ma, 'Texture features for browsing and retrieval of image data,' IEEE Trans. Pattern Anal. Machine Intel, Vol.18, pp. 837-842, Aug. 1996

상세보기
R. Mehrotra and J. Gary, 'Similar-shape retrieval in shape data management, ' IEEE Computer, vol. 28, pp. 57-62 Sept. 1995

상세보기
후지와라 히로시 '그림으로 보는 최신 MPEG', 교보문고, 2001
John S. Boreczky and Lawrence A. Rowe, 'Comparison of Video Shot Boundary Detection Techniques', Storage and Retrieval Image and Video Database Ⅳ, Proc. of IS&T/SPIE 1996 Symp. on Elec. Imaging: Science and Technology, February 1996
Arun Hampapur, Ramesh Jain and Terry Weymouth, 'Digital video Segmentation', Proc. Second Annual ACM Multimedia Conference, October, 1994
R. C. Gonzalez, R. E.Woods, Digital image processing, Prentice-Hall, 200l
John R smith and Shih-Fu Chang, 'Tools and Techniques for Color Image Retrieval', IS&T/SPIE proceedings vol. 2670, Storage & Retrieval for Image and Video Database, 1995
Kishan Mehrotra, Chilukuri K. Mohan and Sanjay Ranka, Elements of Artificial Neural Networks, The MIT press, 1997
이케가야 유지, 이토이 시게사토, 해마, 은행나무, (2003)
Dayan, P. and Abbott, L.F., Theoretical Neuroscience, MIT press, 2001
Ventriglia, F. and Maio, V.D., 'Synaptic fusion pore structure and AMPA receptor activation according to Brownian simulation of glutamate diffusion, Biological Cybernetics', Vol. 88, No, 3, 2003

상세보기
D.G. Amaral and M. P. Witter. 'The three-dimensional organization of the hippocampal formation: A review of anatomical data,' Neuroscience, vol. 31, pp.571-591, 1989

상세보기
R. Miller, 'Cortico- Hippocampal interplay and the representation of contexts in the brain. Springer Verlag. 1991
technique for OFDM and MC-CDMA in a multipath fading channels,' in Proc. of IEEE Conf. on Acoustics, Speech and Signal Processing, pp. 2529-2532, Munich, Germany, May 1997
Serge Belongie, Chad Carson, Hayit greenspan, and Jitendra Malik, 'Color and Texture-Based Image Segmentation Using EM and Its Application to Content-based Image retrieval,' Sixth International Conference on Computer Vision, pp. 675-682, January. 1998
Abhijit. S. Pandy, Pattern Recognition With Neural Networks in C++, IEEE Press, 1995
J. Huang, S. R. Kumar, M. Mitra, W. J. Zhu, and R, Zabih, 'Image Indexing Using Color Correlograms,' Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 762-768, 1997
Jinshan Tang and Scott Acton, 'An Image Retrieval Algorithm using Multiple Query Images,' IEEE Proc. Signal Processing and Its Applications, vol. 1, pp. 193-196, 2003
B. Ko, H. Byun, 'FRIP:a region-based image retrieval tool using automatic Image segmentation and stepwise Boolean AND matching' IEEE Trans on Multimedia, Vol.07, No.01, pp.0105-0113, 2005.02

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증