초록 ▼

3. 연구개발의 내용 및 범위
가. 3D 시뮬레이션 가속화 기능
(1) GPU 가속 기능
(가) 병렬처리에 강한 GPU를 이용하여 시뮬레이션의 속도를 가속화 시키는 기능
(나) 버텍스 쉐이딩을 사용하여 더욱 높은 퀄리티의 시뮬레이션을 생성함
나. 자동 시나리오 생성 기술 개선
(1) 온셋 트래킹 모듈
(가) 음악의 온셋을 분석하여 온셋의 시간과 세기를 측정하는 모듈
(나) 시그널의 온셋의 변화율을 이용하여 측정하기 때문에 입력으로 들어오는 음악은 어느 정도 온셋의 변화가 있는 음악이라고 가

3. 연구개발의 내용 및 범위
가. 3D 시뮬레이션 가속화 기능
(1) GPU 가속 기능
(가) 병렬처리에 강한 GPU를 이용하여 시뮬레이션의 속도를 가속화 시키는 기능
(나) 버텍스 쉐이딩을 사용하여 더욱 높은 퀄리티의 시뮬레이션을 생성함
나. 자동 시나리오 생성 기술 개선
(1) 온셋 트래킹 모듈
(가) 음악의 온셋을 분석하여 온셋의 시간과 세기를 측정하는 모듈
(나) 시그널의 온셋의 변화율을 이용하여 측정하기 때문에 입력으로 들어오는 음악은 어느 정도 온셋의 변화가 있는 음악이라고 가정함
(2) 음악 구조 분석 기능
(가) 음악의 긴 시간의 텀의 변화를 추출하기 위한 모듈
(나) 입력 음악의 구조에 따른 시나리오의 변화를 줄 수 있음
(3) 시나리오 조각 합성 방식 시나리오 생성 모듈
(가) 기존의 시나리오를 일정기기의 패턴으로 구분한 후, 이를 합성하는 방식으로 시나리오를 생성하는 방식
(나) 예제 시나리오를 사용하기 때문에 기존의 시나리오가 있음을 가정함
(4) 베이지안 네트워크 기반 시나리오 생성 모듈
(가) 기존의 시나리오를 기반으로 베이지안 네트워크를 구성한 후, 이를 이용하여 시나리오를 생성하는 방식
(나) 역시 예제 시나리오를 사용하기 때문에 기존의 시나리오가 있음을 가정함
다. 인터렉티브 시나리오 생성 기술 개발
(1) 실시간 온셋 트래킹 모듈
(가) 실시간으로 들어오는 음악의 온셋을 분석하여 이를 토대로 실시간으로 반응하는 분수를 생성하는 방식
(나) 입력되는 음악은 어느정도 온셋의 성분을 가진 음악이여야 하며, 사용자는 실시간으로 파라미터를 세팅하여 분수의 변화율등을 조정함
라. 사용자 친화 인터페이스 개발
(1) 프로그램 스킨의 다양화
(가) 다양한 종류의 스킨을 제공함으로써 더욱더 친화적인 프로그램을 생성
(2) 프로그램 기능 단순화
(가) 필요없는 기능을 줄이고 좀 더 단순화 함으로써 프로그램 사용성 개선
(3) 부분 시나리오 생성 기능
(가) 음악의 특정부분만 시나리오를 생성할 수 있는 기능 제공
마. 2D 비실사 출력 모드 개발
(1) 분수 이미지를 비실시적인 렌더링을 통하여 출력하는 기능
(가) 사용자에게 더욱 친숙하며 재미있는 느낌을 주기 위하여 분수 이미지를 비실사적으로 출력하는 기능
(나) 기존의 분수 이미지 혹은 렌더링된 비디오에서 추출된 이미지 모두 사용가능
바. 하드웨어 제어 기술 개선
(1) TCP/IP 기반 PLC 제어 기술
(가) 더욱 다양한 PLC를 제어하기 위하여 TCP/IP 기반으로 PLC와 통신하는 모듈 개발
(나) 싸이먼사의 PLC를 기반으로함

Abstract ▼

Intelligent Musical Fountain Authoring System has three features : 1) It generates musical fountain scenario automatically according to the input music. 2) It simulates virtual musical fountain according to generated scenario. 3) It controls actual musical fountain hardwares.
The aims of third ye

Intelligent Musical Fountain Authoring System has three features : 1) It generates musical fountain scenario automatically according to the input music. 2) It simulates virtual musical fountain according to generated scenario. 3) It controls actual musical fountain hardwares.
The aims of third year development are implementations of advanced musical fountain scenario generation modules and enhancement of simulation and program quality. To acquire these aims, we first implemented two example-based scenario generation module: 1) synthesis method using scenario elements. 2) synthesis method based on Bayesian network. Using this method, the quality of generated scenario became more elaborated than previous method. Also our system incorporated an onset detection module in these generation processes. As a result, the basic processing time is faster. In addition, our system can detect the changing time of musical structure of input music and generate different scenarios according the musical structure.
Second, we implemented GPU-based simulation module for faster and high-quality simulation. Because particle simulation can be executed more efficiently with parallel processing, we use GPU-based operations in calculating particle dynamic simulation. Because we implemented thesimulation using shaders, the quality of simulation became also higher.
Third, we implemented real-time onset tracking module to make fountain change along the input music in real-time. Our system use the spectral flux to detect onsets in input music because the technique is faster and efficient.
Next, we enhanced PLC hardware control module. We implemented TCP/IP-based PLC control module with RS 232-based control module. Because it supports both the global control using the internet network and local control using local LAN connection, the usability of our system can be improved.
Finally, we provide non-photo realistic rendering of fountain image using several advanced image processing techniques. Because this image is interesting and peculiar it can be used in commercialpurpose.
In conclusion, with our system musical fountain scenario of any type of fountain can be generated automatically and control actual fountain hardware according to the generated fountain scenario. The fountain show driven by the generated scenario also can be exported as non-photo realistic images and the scenarios also can be generated by input music in real-time.

목차 Contents

• 표지 ... 1
• 제출문 ... 3
• 요약문 ... 4
• SUMMARY ... 9
• CONTENTS ... 10
• 목차 ... 14
• 제 1 장 서 론 ... 18
• 제 1 절 전체 시스템의 개요 ... 18
• 1. ‘지능형 음악분수 제작시스템’의 정의 ... 18
• 2. ‘지능형 음악분수 제작시스템’의 특징 ... 18
• 가. 지능형 분수 시나리오 제작 ... 18
• 나. 분수 시뮬레이션 ... 18
• 다. 하드웨어 맵핑 ... 19
• 제 2 절 3차년도의 기술개발의 개요 ... 19
• 1. 3차년도의 목표 ... 19
• 2. 수행계획서 내의 3차년도의 목표 ... 19
• 3. 실제 진행된 3차년도의 결과 ... 20
• 제 2 장 기술 개발의 목적 및 중요성 ... 21
• 제 1 절 3차년도의 기술 개발의 개요 ... 21
• 제 2 절 기술개발의 목적 및 중요성 ... 21
• 1. 3D 시뮬레이션 가속화 ... 21
• 2. 자동 시나리오 생성 기술 개선 ... 21
• 3. 인터렉티브 시나리오 생성 기술 개발 ... 22
• 4. 사용자 친화 인터페이스 개발 ... 22
• 5. 2D 비실사 출력 모드 개발 ... 22
• 6. 하드웨어 제어 기술 개선 ... 22
• 제 3 장 연구개발의 내용 및 범위 ... 23
• 제 1 절 3D 시뮬레이션 가속화 기능 ... 23
• 1. GPU 가속 기능 ... 23
• 제 2 절 자동 시나리오 생성 기술 개선 ... 23
• 1. 온셋 트래킹 모듈 ... 23
• 2. 음악 구조 분석 기능 ... 24
• 3. 시나리오 조각 합성 방식 시나리오 생성 모듈 ... 24
• 4. 베이지안 네트워크 기반 시나리오 생성 모듈 ... 25
• 제 3 절 인터렉티브 시나리오 생성 기술 개발 ... 25
• 1. 실시간 온셋 트래킹 모듈 ... 25
• 제 4 절 사용자 친화 인터페이스 개발 ... 25
• 1. 프로그램 스킨의 다양화 ... 25
• 2. 프로그램 기능 단순화 ... 26
• 3. 부분 시나리오 생성 기능 ... 26
• 제 5 절 2D 비실사 출력 모드 개발 ... 26
• 1. 비실시적 렌더링 출력 기능 ... 26
• 제 6 절 하드웨어 제어 기술 개선 ... 26
• 1. TCP/IP 기반 PLC 제어 기술 ... 27
• 제 4 장 연구개발 결과 ... 28
• 제 1 절 3D 시뮬레이션 가속화 기능 ... 28
• 1. 파티클 다이나믹 엔진 병렬처리 구현 ... 28
• 2. 노즐 제어 연산 병렬처리 구현 ... 30
• 3. 파티클 정보 갱신 방법 ... 31
• 4. 쉐이더를 이용한 렌더링 구현 ... 32
• 5. 가속화 결과 ... 32
• 제 2 절 자동 시나리오 생성 기술 개선 ... 33
• 1. 온셋 트래킹 모듈 개발 ... 33
• 2. 음악 구조 분석 기능 개발 ... 35
• 3. 시나리오 조각 합성 방식 시나리오 생성 모듈 개발 ... 36
• 4. 베이지안 네트워크 기반 시나리오 생성 모듈 개발 ... 36
• 제 3 절 인터렉티브 시나리오 생성 기술 개발 ... 36
• 1. 실시간 온셋 트래킹 모듈 ... 36
• 제 4 절 사용자 친화 인터페이스 개발 ... 36
• 1. 프로그램 스킨의 다양화 ... 36
• 2. 기능 및 인터페이스의 단순화 ... 36
• 3. 특정 부분 시나리오 생성 기능 ... 37
• 제 5 절 2D 비실사 출력 모드 개발 ... 37
• 1. 플로우 기반 비실사 이미지 출력 ... 37
• 제 6 절 하드웨어 제어 기술 개선 ... 37
• 1. TCP/IP 기반 PLC제어 기술 ... 37
• 제 7 절 그 밖의 결과 ... 38
• 1. 음악분수저작과 시뮬레이션 시스템 ... 38
• 2. 자동화된 뮤직비디오 생성 기법 ... 39
• 3. 허밍 질의 처리 시스템 상에서의 효과적인 인덱싱 방법 ... 40
• 4. 피아노 연습곡 추출 시스템 ... 42
• 5. 오디오 바이레터럴 필터 ... 44
• 6. 강화 학습을 통한 자동 반주 생성 ... 45
• 7. 공간 채움 곡선을 이용한 자동 음열음악 작곡 방법 ... 46
• 8. 최적화 기반의 음열 음악 생성 및 제어 기법 ... 49
• 9. 프랙탈 트리를 이용한 자동 작곡 방법 ... 50
• 10. 음악 장르 구분을 위한 대표 샘플 추출 방법 ... 52
• 11. 감성적 음악 탐색을 위한 네비게이션 시스템 ... 53
• 12. 모션 데이터 필터 프로세싱 인터페이스 ... 54
• 13. 이순명씨 초청 설치공간 세미나 개최 ... 56
• 14. 김마리나씨 초청 현대음악 세미나 개최 ... 56
• 15. CCRMA 여름 워크샵 개최 ... 57
• 제 5 장 결론 ... 58
• 제 1 절 활용에 대한 건의 ... 58
• 1. 음악 분수 시스템 ... 58
• 2. PLC 하드웨어 콘트롤 기능 ... 58
• 3. 인터렉티브 음악분수 ... 58
• 4. GPU 기반 프로세싱 ... 59
• 5. 비실사적 이미지 처리 ... 59
• 제 2 절 3차년도 최종 보고서까지의 정리 ... 59
• 1. 수행계획서 내에 WBS와 비교한 3차년도 최종 보고서까지의 결과 ... 59
• 2. 현재 과정까지 나온 주요 과제 수행 결과물 ... 60
• 가. 프로그래밍 결과물 ... 60
• 나. 논문 결과물 ... 61
• 다. 특허 결과물 ... 62
• 라. 기술 문서 결과물 ... 63
• 참고문헌 ... 64