초록 ▼

가. 시스템 구조
본 시스템은 다음 그림과 같이 4개의 모듈로 이루어져 있다. 음악 분석모듈, 영상 분석 모듈, DP매칭 모듈, 뮤직그래프 모듈이 있다.
나. 음악 특징점 분석
(1) MIDI 데이터 처리 및 분석 모듈 개발:
일반적인 사운드 파일보다는 미디파일을 배경음악의 소스로 사용하는 이유는 다양한 음악적 프로세싱(코드 분석, 비트분석, 멜로디 변형 등)을 위해서 디지털화 되어 있는 미디 신호가 적당하기 때문이다. 동기화가 끝난 미디데이터는 렌더링 라이브러리를 통해 적절한 품질의 웨이브 데이터로 변환된다.

가. 시스템 구조
본 시스템은 다음 그림과 같이 4개의 모듈로 이루어져 있다. 음악 분석모듈, 영상 분석 모듈, DP매칭 모듈, 뮤직그래프 모듈이 있다.
나. 음악 특징점 분석
(1) MIDI 데이터 처리 및 분석 모듈 개발:
일반적인 사운드 파일보다는 미디파일을 배경음악의 소스로 사용하는 이유는 다양한 음악적 프로세싱(코드 분석, 비트분석, 멜로디 변형 등)을 위해서 디지털화 되어 있는 미디 신호가 적당하기 때문이다. 동기화가 끝난 미디데이터는 렌더링 라이브러리를 통해 적절한 품질의 웨이브 데이터로 변환된다.
(2) 음악의 특징점 분석:
주어진 음악에서 음정, 음세기, 화성진행, 박자와의 유사도 등으로 많은 특징을 분석할 수 있다. 사용자가 지정하는 하나 이상의 특징을 분석하여 (그림 2)와 같이 특징점 시퀀스를 추출할 수 있다. 특징점 시퀀스는 주어진 음악데이터의 특징이 되는 부분의 시점과, 가중치를 저장하고 있다.
다. 영상의 특징점 분석
영상 데이터는 모션캡쳐 데이터와 비디오 데이터 두 가지 형태로 입력될 수 있다.
(1) 모션캡쳐 데이터에 대한 특징점 분석:
BVH파일로 입력되는 모션캡쳐 데이터에서 다양한 모션분석기법을 사용하여 모션 시그널을 분석한다. 분석되는 특징은 손/발의 속도변화, 운동에너지, 걸음걸이, 팔의 움직임 등이다. 음악의 특징점 분석과 유사하고, (그림 3)과 같이 특징점 시퀀스를 추출한다.
(2) 비디오 데이터에 대한 특징점 분석:
비디오의 특징 분석은 다양한 영상처리, 시각인식 기법을 사용한다. ITM기법을 사용하여 비디오에서의 샷의 경계 및 카메라 움직임을 분석할 수 있고, CamShift기법을 사용하여 각 샷 안에서의 원하는 물체의 움직임을 추적할 수 있다. 이렇게 분석된 정보를 바탕으로 (그림 4)와 같이 비디오의 특징점 시퀀스를 추출할 수 있다.
라. DP 매칭을 사용한 동기화
DP 매칭은 시간에 따라 변화하는 두 개의 데이터를 비교하여 유사도를 측정하는데 자주 사용되는 기법이다. DP 매칭을 사용하여 주어진 음악에서 영상과 특징점이 가장 어울리는 일부분을 추출함과 동시에 영상과 음악의 특징점을 대응시켜 쌍을 이루게 한다. 대응된 특징점을 동기화시키기 위하여, 음악에 큰 변형을 주지 않는 한도 내에서 음악을 수정한다. 특징점 사이의 거리는 다음과 같이 시간 차이와 가중치 차이의 합으로 나타내며, DP 매칭에 의해서 특징점이 대응된 모습은 (그림 5)와 같다.
마. 뮤직그래프를 사용한 동기화
뮤직그래프는 (그림 6)과 같이 여러 개의 음악 조각 간의 연결 관계를 저장하는 방향성 그래프(directed graph)이다. 뮤직그래프를 순회하면서 (traverse) 변환점(transition point)마다 멜로디 선율에 블렌딩(blending)을 적용하면 새로운 음악을 생성할 수 있다. 뮤직그래프의 목적은 원본 음악의 분위기를 살리면서도 수많은 새로운 음악을 생성하는 데에 있다. 본 과제에서는 뮤직그래프를 사용하여 원본 음악보다 영상에 동기화가 잘 되는 새로운 배경음악을 생성하는데 사용하였다.

Abstract ▼

3.1. System Overview
This system consists of 4 distinct modules: Music analysis module, scene analysis module, DP matching module and music graph module.
3.2. Music Feature Detection
(1) MIDI data treatment and analysis module: MIDI data is used instead of wave data due to its appropriatene

3.1. System Overview
This system consists of 4 distinct modules: Music analysis module, scene analysis module, DP matching module and music graph module.
3.2. Music Feature Detection
(1) MIDI data treatment and analysis module: MIDI data is used instead of wave data due to its appropriateness for various musical processing such as chord analysis, beat analysis and melody editing. MIDI files after synchronization process are rendered to WAV files with appropriate quality.
(2) Music feature analysis: We can detect various features from the given music such as pitch, velocity, chord or fitness to a certain division. The user selects more than one feature to be analyzed and the system returns a feature point sequence as seen in (figure 2). The feature point sequence contains the time and score of the feature points.
3.2. Scene Feature Detection
Scene data can be inputted as video data or motion capture data.
(1) Feature detection from motion capture data: Using various motion analysis techniques, we can detect end-effector velocity, kinetic energy, footstep points or arm swing points. The feature point detection procedure is similar to music analysis as seen in (figure 3).
(2) Feature detection from video data: Using various vision and image analysis techniques we could detect various features from the given video data. By using ITM technique, we could detect the shot boundaries and analyze the camera motion and using CamShift, we could detect features from moving objects. We extract a feature point sequence from these features as seen in (Figure 3).
3.3. Synchronization using DP Matching
DP matching is well known for retrieving similarities from two time-series data. We can extract the optimal match from the given music sequence using DP matching, and at the same time the feature points are paired. In order to synchronize the paired feature points, we time-scale the music with feature pairs that will not cause severe damage to the music. The distance between two feature points can be calculated with the following formula considering the score difference and the time distance:
3.4. Synchronization using Music Graph
Music Graph (Figure 6) is a directed graph which encapsulates connections between several music sequences.
By traversing the graph and blending the melody at transition points, a new music sequence is generated. We traverse the graph repeatedly and select the tune with the minimal feature distance to the scene data.

목차 Contents

• 표지 ...1
• 제출문 ...3
• 요약문 ...4
• SUMMARY ...14
• CONTENTS ...24
• 목차 ...27
• 제1장 서론 ...30
• 제1절 기술개발의 개요 ...32
• 1. 기술개발의 필요성 ...32
• 2. 국내외 관련기술의 현황 및 전망 ...37
• 3. 본 기술의 파급효과 ...38
• 제2장 시스템 개요 ...40
• 제3장 개발 내용 ...43
• 제1절 MIDI 데이터 처리 및 분석 모듈 개발 ...43
• 1. MIDI 파일 포맷 분석 및 load 기능 ...43
• 2. MIDI 데이터를 효율적인 데이터 구조로 변환하는 기능 ...45
• 3. 실시간 MIDI 데이터 play 기능 ...46
• 4. MIDI 데이터에서 chord 분석 기능 ...47
• 5. MIDI 데이터에서 특징점 분석 ...48
• 제2절 애니메이션 파일처리 및 분석기술 개발 ...53
• 1. 모션캡쳐 데이터(BVH)의 파일 포맷 분석 및 load기능 구현 ...53
• 2. BVH 파일의 구조 ...53
• 3. 모션캡쳐 데이터의 분석을 위한 특징 템플릿 개발 ...57
• 4. 모션캡쳐 데이터 분석을 통한 특징점 검출 ...62
• 제3절 동영상파일의 처리 및 분석기술 개발 ...65
• 1. 동영상의 분석 ...65
• 2. 동영상의 전체적인 변화율 계산을 통해 동영상의 특징 분석 ...66
• 3. 물체 움직임 분석을 위한 인터페이스 개발 ...70
• 4. 동영상 파일의 특징점 구성 ...76
• 제4절 DP매칭을 사용한 동기화 ...77
• 1. DP 매칭 (DP matching) ...78
• 2. DP 매칭을 사용한 동기화 ...81
• 제5절 뮤직 그래프를 사용한 동기화 ...83
• 1. 뮤직그래프의 개념 ...83
• 2. 음악 segmentation 기능 ...84
• 3. 뮤직그래프의 구성 ...85
• 4. 뮤직그래프를 사용한 동기화 ...88
• 제6절 음악 데이터베이스 ...89
• 1. 음악 데이터베이스 ...89
• 2. 하드웨어레벨에서의 데이터베이스 저장 ...89
• 3. 소프트웨어와의 연동처리 API 개발 ...95
• 4. 데이터베이스 업데이트 모듈 개발 ...96
• 5. 음악 제작 장비 ...96
• 제4장 경쟁 기술과의 비교 및 성능평가 ...97
• 제1절 기존 소프트웨어와의 비교 및 성능평가 ...97
• 제2절 유사 연구(기술)와의 비교 및 성능평가 ...101
• 1. Music-driven motion editing ...101
• 2. Rhythmic motion synthesis based on motion -beat analysis ...107
• 3. Automated home video editing ...110
• 4. Creating music videos using automatic media analysis ...112
• 5. Synchronizing computer graphics animation and audio ...118
• 6. Pivot vector space approach for audio-video mixing ...121
• 7. Cati dance: self-edited, self-synchronized music video ...127
• 8. Automatic background music generation based on actors mood and motions...129
• 9. 유사 연구(기술)와의 성능 비교표 ...134
• 제5장 결론 ...137
• 제1절 기술개발 결과 ...137
• 제2절 개발시스템의 활용 ...147
• 1. 활용분야 ...148
• 2. 기대 효과 ...149
• 제3절 상용화 계획 ...150
• 1. 적용시장 및 목표고객 ...150
• 2. 제품 판매 계획 ...151
• 3. 시장성 및 상품화 계획 ...152
• 참고 문헌 ...154