선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 사운드 정보와 컬러 정보사이의 공감각 지각현상을 기초로 하여 사운드에서 컬러이미지를 생성하는 기본 시스템의 구현을 최종 목표로 하였다. WAVE 형식의 오디오 데이타에서 기본주파수를 추출하고 이를 다시 12 음계 및 10 옥타브 범위를 정하여 음계와 옥타브 성분을 추출하였다.
- 본 논문은 청각의 감각신경을 통해 입력되는 사운드 신호에서 시각적인 컬러 속성들로 변환한 후 이들을 합성, 최종적으로 컬러이미지를 생성하는 것을 목표로 하고 있다. 사운드-컬러이미지 변환 시스템의 구현을 위한 첫 번째 단계로서, 소리의 입력신호에서 기본주파수를 추출하고, 이를 이용하여 음계 및 옥타브 성분으로 변환하여 HSI 컬러모델인 색상, 채도 및 명도 성분으로 대응시킨다.
제안 방법
- lib) 및 링커 커맨드파일(*cmd) 등으로 구성된다. SDRAM을 사용하기 위해 Code Builder 프로젝트에 어셈블리 파일과 링커커맨드 파일을 포함하여 작성하였으며, 출력으로는 TFT LCD 비디오모듈을 사용하였다. LCD 패널은 320×240 크기의 RGB565 픽셀 표현을 사용하였으며, 패널의 R, G, B는 각각 5, 6, 5비트 픽셀 배열에 맞추어 주기적으로 픽셀 데이터를 공급해 주었다.
- 제안된 사운드-컬러이미지 변환시스템의 기본주파수 추출에 있어서는 전술한 바와 같이 2가지 방법, 즉 Autocorrelation 함수와 AMDF 함수를 이용하여 시뮬레이션을 하였다. WAVE 포맷의 입력 사운드의 샘플링율(Sampling Rate)은 11kHz, 양자화는 8bit, 그리고 모노 채널의 오디오데이터를 이용하여 20ms 길이의 프레임 구간을 설정하고 필터링 및 클리핑 단계를 거쳐 마지막으로 2가지 함수(Autocorrelation함수, AMDF 함수)를 적용하여 사운드의 특징정보인 기본주파수를 추출하였다. 추출된 기본주파수에서 음의 요소인 음계 및 옥타브를 전술한 변환 공식을 이용하여 구하였다.
- 본 논문은 사운드 정보와 컬러 정보사이의 공감각 지각현상을 기초로 하여 사운드에서 컬러이미지를 생성하는 기본 시스템의 구현을 최종 목표로 하였다. WAVE 형식의 오디오 데이타에서 기본주파수를 추출하고 이를 다시 12 음계 및 10 옥타브 범위를 정하여 음계와 옥타브 성분을 추출하였다. 추출된 음의 요소인 음계와 옥타브 성분은 HSI 컬러모델인 색상 및 명도 성분에 각각 매핑하였다.
- 즉, HSI 컬러모델의 색상은 12 음계와 대응시키기 위해 360º를 12등분하여 분리하였다. 또한, 옥타브 변화는 동일음계를 기준으로 가볍고 무거운 느낌으로 들리므로 밝고 어두운 명도와 대응시키기 위해 10 옥타브 단계로 나누어 정의하였다.
- 5로 고정시켜 사운드-컬러이미지 변환을 하였다. 마지막 단계로서, HSI 컬러모델은 RGB 컬러모델로의 변환 공식을 이용, 변환한 후 BMP 형식으로 최종 컬러이미지를 생성하였다.
- 음계는 색상으로 옥타브는 명도로 대응시키고 채도는 고정값을 이용하였다. 변환된 HSI 컬러모델은 RGB 컬러모델로 변환한 후, 최종 BMP 형식으로 컬러이미지를 생성함을 시뮬레이션 및 DSP Board에 포팅한 결과를 비교하여 확인하였다.
- 우선, 소리의 물리적 속성인 기본주파수를 추출하고 이를 음계와 옥타브 성분으로 변환한 후, HSI 컬러모델의 색상, 명도 및 채도에 각각 대응시킨다. 변환된 HSI 컬러모델은 다시 RGB 컬러모델로 변환하여 최종 BMP 형식의 컬러이미지를 생성하는 방법에 주안점을 두었다. 소리의 요소인 음계는 12 단계로 나누었으며, 옥타브는 가청주파수 대역을 10 단계로 나누어 10 옥타브로 정의하였다.
- 본 연구에서는 입력 사운드에서 피치성분, 즉 기본 주파수를 추출하고, 추출된 피치성분에서 소리의 요소로 매핑한다. 매핑된 소리의 요소는 HSI 컬러 모델로 변환하고 그림 2에서 보여 지는 바와 같은 변환 식(Reinhard et al.
- 본 논문은 청각의 감각신경을 통해 입력되는 사운드 신호에서 시각적인 컬러 속성들로 변환한 후 이들을 합성, 최종적으로 컬러이미지를 생성하는 것을 목표로 하고 있다. 사운드-컬러이미지 변환 시스템의 구현을 위한 첫 번째 단계로서, 소리의 입력신호에서 기본주파수를 추출하고, 이를 이용하여 음계 및 옥타브 성분으로 변환하여 HSI 컬러모델인 색상, 채도 및 명도 성분으로 대응시킨다. 그리고 대응 변환시킨 HSI 컬러 모델은 다시 RGB 컬러 모델로 변환하여 최종 컬러이미지를 생성한다.
- 우리는 실험을 통해 앞 장에서 서술한 사운드-컬러이미지 변환의 개념을 C언어로 코딩하여 기본시스템을 구현하였으며, 컬러이미지 출력을 위해 BMP 형식으로 컬러이미지를 생성하였다. 제안된 사운드-컬러이미지 변환시스템의 기본주파수 추출에 있어서는 전술한 바와 같이 2가지 방법, 즉 Autocorrelation 함수와 AMDF 함수를 이용하여 시뮬레이션을 하였다.
- 우선, 소리의 물리적 속성인 기본주파수를 추출하고 이를 음계와 옥타브 성분으로 변환한 후, HSI 컬러모델의 색상, 명도 및 채도에 각각 대응시킨다. 변환된 HSI 컬러모델은 다시 RGB 컬러모델로 변환하여 최종 BMP 형식의 컬러이미지를 생성하는 방법에 주안점을 두었다.
- )를 사용하였다. 제안된 방식을 코딩한 프로그램 소스를 작성하여 DSP STAR Board에 포팅하고 컴파일, 링크 및 디버깅하여 실행파일을 만들었다. 본 DSP Board의 통합 소프트웨어 환경으로 Code Builder를 사용하였다.
- 우리는 실험을 통해 앞 장에서 서술한 사운드-컬러이미지 변환의 개념을 C언어로 코딩하여 기본시스템을 구현하였으며, 컬러이미지 출력을 위해 BMP 형식으로 컬러이미지를 생성하였다. 제안된 사운드-컬러이미지 변환시스템의 기본주파수 추출에 있어서는 전술한 바와 같이 2가지 방법, 즉 Autocorrelation 함수와 AMDF 함수를 이용하여 시뮬레이션을 하였다. WAVE 포맷의 입력 사운드의 샘플링율(Sampling Rate)은 11kHz, 양자화는 8bit, 그리고 모노 채널의 오디오데이터를 이용하여 20ms 길이의 프레임 구간을 설정하고 필터링 및 클리핑 단계를 거쳐 마지막으로 2가지 함수(Autocorrelation함수, AMDF 함수)를 적용하여 사운드의 특징정보인 기본주파수를 추출하였다.
- 추출된 음의 요소인 음계와 옥타브를 HSI 컬러모델 요소인 색상과 명도에 각각 대응시켰다. 즉, 음계는 색상에, 옥타브는 명도에 대응시키고 채도성분은 중간값인 0.5로 고정시켜 사운드-컬러이미지 변환을 하였다. 마지막 단계로서, HSI 컬러모델은 RGB 컬러모델로의 변환 공식을 이용, 변환한 후 BMP 형식으로 최종 컬러이미지를 생성하였다.
- WAVE 포맷의 입력 사운드의 샘플링율(Sampling Rate)은 11kHz, 양자화는 8bit, 그리고 모노 채널의 오디오데이터를 이용하여 20ms 길이의 프레임 구간을 설정하고 필터링 및 클리핑 단계를 거쳐 마지막으로 2가지 함수(Autocorrelation함수, AMDF 함수)를 적용하여 사운드의 특징정보인 기본주파수를 추출하였다. 추출된 기본주파수에서 음의 요소인 음계 및 옥타브를 전술한 변환 공식을 이용하여 구하였다.
- WAVE 형식의 오디오 데이타에서 기본주파수를 추출하고 이를 다시 12 음계 및 10 옥타브 범위를 정하여 음계와 옥타브 성분을 추출하였다. 추출된 음의 요소인 음계와 옥타브 성분은 HSI 컬러모델인 색상 및 명도 성분에 각각 매핑하였다. 음계는 색상으로 옥타브는 명도로 대응시키고 채도는 고정값을 이용하였다.
- 추출된 음의 요소인 음계와 옥타브를 HSI 컬러모델 요소인 색상과 명도에 각각 대응시켰다. 즉, 음계는 색상에, 옥타브는 명도에 대응시키고 채도성분은 중간값인 0.
대상 데이터
- LCD 패널은 320×240 크기의 RGB565 픽셀 표현을 사용하였으며, 패널의 R, G, B는 각각 5, 6, 5비트 픽셀 배열에 맞추어 주기적으로 픽셀 데이터를 공급해 주었다.
- 본 연구의 입력 사운드로 사용한 WAVE 파일형식은 RIFF chunk, Format chunk 그리고 Data chunk로 구성된다. 본 파일형식의 오디오 데이타로부터 피치 성분, 즉 기본주파수의 추출이 가능하다.
- 제안된 시스템의 하드웨어적 구현을 위해 본 실험에서는 범용 DSP 프로세서인 TMS320C6000에 기반한 DSP STAR Personal 6713 Board(ND-Tech Co. Ltd.)를 사용하였다. 제안된 방식을 코딩한 프로그램 소스를 작성하여 DSP STAR Board에 포팅하고 컴파일, 링크 및 디버깅하여 실행파일을 만들었다.
데이터처리
- 그림 6은 입력 음성으로서 감정이 개입되지 않은 평이한 톤으로 발성된 여자 음성과 남자 음성을 녹음하여 생성한 WAVE 파일을 컬러이미지로 변환한 결과를 보여주고 있다. 그림 7은 기본주파수 추출의 두번째 방법인 AMDF 함수를 이용하여 사운드-컬러이미지 변환하고 Autocorrelation 함수와 비교하였다. 비교를 위해 그림 6, 7에서 사용한 동일한 입력 파일을 사용하였다.
- 그림 8에서 보여 지는 것처럼, Autocorrelation 함수를 이용한 시스템의 DSP Board에 포팅한 후 TFT LCD 비디오 모듈로 출력한 화면을 시뮬레이션 결과와 비교하였다. 컬러이미지를 확인한 결과, 제안된 시스템과 동일한 결과를 확인할 수 있었다.
이론/모형
- 본 파일형식의 오디오 데이타로부터 피치 성분, 즉 기본주파수의 추출이 가능하다. 기본주파수 추출은 오디오 데이타에 윈도우 함수(Window Function)를 씌어 프레임(Frame) 구간을 설정한 후 필터링 및 클리핑(Clipping)을 적용하였으며, 기본주파수를 얻기 위해 Autocorrelation 함수 및 AMDF(Average Magnitude Difference Function) 함수를 사용하였다.
- 본 연구에서는 입력 사운드에서 피치성분, 즉 기본 주파수를 추출하고, 추출된 피치성분에서 소리의 요소로 매핑한다. 매핑된 소리의 요소는 HSI 컬러 모델로 변환하고 그림 2에서 보여 지는 바와 같은 변환 식(Reinhard et al., 2008)을 이용하여 최종 RGB 컬러 모델로 변환하여 BMP파일 형식으로 컬러 이미지를 생성한다.
성능/효과
- 비교를 위해 그림 6, 7에서 사용한 동일한 입력 파일을 사용하였다. Autocorrelation 함수와 AMDF 함수는 기본주파수 추출에 있어 약간의 상이성으로 인해 출력된 결과 역시 영향을 받았으나 전체적으로 색상의 변화에 있어 큰 차이는 보이지 않았다. 또한, 남자와 여자 목소리 사이의 기본주파수 성분의 차이로 인해 출력된 이미지의 주요한 색상이 서로 상이함을 알 수 있었다.
- 컬러이미지를 확인한 결과, 제안된 시스템과 동일한 결과를 확인할 수 있었다. LCD 비디오모듈의 결과화면을 디지털 카메라로 다시 캡쳐한 화면이므로 색상에 있어 약간 상이할 수 있으나 육안 확인결과 동일함을 확인하였다.
- Autocorrelation 함수와 AMDF 함수는 기본주파수 추출에 있어 약간의 상이성으로 인해 출력된 결과 역시 영향을 받았으나 전체적으로 색상의 변화에 있어 큰 차이는 보이지 않았다. 또한, 남자와 여자 목소리 사이의 기본주파수 성분의 차이로 인해 출력된 이미지의 주요한 색상이 서로 상이함을 알 수 있었다.
- 그림 8에서 보여 지는 것처럼, Autocorrelation 함수를 이용한 시스템의 DSP Board에 포팅한 후 TFT LCD 비디오 모듈로 출력한 화면을 시뮬레이션 결과와 비교하였다. 컬러이미지를 확인한 결과, 제안된 시스템과 동일한 결과를 확인할 수 있었다. LCD 비디오모듈의 결과화면을 디지털 카메라로 다시 캡쳐한 화면이므로 색상에 있어 약간 상이할 수 있으나 육안 확인결과 동일함을 확인하였다.
후속연구
- 차후 대응요소로서 하모닉 성분으로의 대응 등 추가 연구가 필요하다. DSP 프로세서 기반 H/W 구현에 있어서, 본 연구에서는 비교 실험을 위하여 WAVE 파일을 사용하였으나 차후 실시간 변환을 위한 데이터 출력 방법 등을 고려하여야 할 것이다.
- 시청각 정보에서 취득되는 공감각 지각현상에 기반한 응용분야의 하나로서, 우선 시각장애인 또는 청각장애인을 위한 새로운 형태의 보조지원장비의 개발 등을 들 수 있고, 이를 통해 시청각 장애인의 삶의 질을 향상시키는 효과를 기대할 수 있다. 또한 스마트폰, 모바일기기 및 스마트TV 등 다양한 디지털기기 기반 응용 어플리케이션 개발이 가능할 것으로 기대하며, 온/오프라인 광고 산업, 게임산업 및 교육적 학습효과 증대를 위한 에듀테인먼트 산업분야 등 실로 다양한 분야의 응용이 가능할 것으로 기대한다.
- 즉, 음계는 HSI 컬러모델의 색상과 대응시켰으며 옥타브는 명도로 각각 대응시켰다. 본 연구에서 채도는 0.5의 값으로 고정하였으나, 차후 연구에서는 음색에 연관된 사운드 특징성분을 추출하여 이에 대응시킬 예정이다.
- 제안된 시스템의 보완점으로서, 본 연구에서는 입력사운드의 추출정보로서 피치신호, 즉 기본주파수만을 고려하였으나 차후 좀 더 다양한 요소를 추출, 변환 및 비교실험을 추가적으로 진행할 예정이다. 또한 채도 성분은 고정값을 이용함으로써 입력 사운드의 다양한 소리를 컬러이미지의 색채로 표현하기에는 부족한 점을 들 수 있다.
- 또한 채도 성분은 고정값을 이용함으로써 입력 사운드의 다양한 소리를 컬러이미지의 색채로 표현하기에는 부족한 점을 들 수 있다. 차후 대응요소로서 하모닉 성분으로의 대응 등 추가 연구가 필요하다. DSP 프로세서 기반 H/W 구현에 있어서, 본 연구에서는 비교 실험을 위하여 WAVE 파일을 사용하였으나 차후 실시간 변환을 위한 데이터 출력 방법 등을 고려하여야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.