리듬 게임 노트 자동 생성에 적합한 합성곱 신경망 설계 및 구현에 관한 연구 A study on the design and implementation of convolutional neural network suitable for rhythm game note generation원문보기
리듬 액션 게임은 90년대부터 꾸준히 사랑받는 장르의 게임이었으며, 오락 기기부터 콘솔 게임기, 휴대용 게임기, 모바일, PC 등 다양한 기기로 이식되고 발전되어 왔고 2018년 현재에는 VR기기로 나온 리듬 액션 게임 ‘비트 세이버’가 인기를 끌고 있다. 이처럼 리듬 게임은 현재까지도 출시되는 장르의 게임이지만, 아직도 리듬 게임 노트는 사람이 직접 음악에 맞춰 수작업으로 만들고 있다. 최근 기계학습 알고리즘의 발전으로 ...
리듬 액션 게임은 90년대부터 꾸준히 사랑받는 장르의 게임이었으며, 오락 기기부터 콘솔 게임기, 휴대용 게임기, 모바일, PC 등 다양한 기기로 이식되고 발전되어 왔고 2018년 현재에는 VR기기로 나온 리듬 액션 게임 ‘비트 세이버’가 인기를 끌고 있다. 이처럼 리듬 게임은 현재까지도 출시되는 장르의 게임이지만, 아직도 리듬 게임 노트는 사람이 직접 음악에 맞춰 수작업으로 만들고 있다. 최근 기계학습 알고리즘의 발전으로 Deep Learning 중 Convolutional Neural Network가 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)에서 AlexNet이 2012년 우승한 이후로 계속 발전해오면서 영상 처리계의 기계학습 알고리즘으로 주목받고 있다. 기존에는 이미지 분류 또는 인식 알고리즘 정도였지만, 지금까지 발전해오면서 현재는 Generative Adversary Network와 같이 학습한 그림을 바탕으로 기계가 유사한 그림을 그려내는 기술까지 나왔다. 또한 영상처리 뿐 만 아니라 Onset Detection과 같은 신호처리 분야에도 응용되고 있다. 대표적으로 GoogLeNet, ResNet, DenseNet과 같은 모델들이 있으며, 기존 합성곱 신경망에서 발생하는 문제들을 개선한 모델들이 아직도 나오고 있다. 본 논문에서는 Deep Learning 라이브러리인 “Keras”를 사용해 리듬 게임 노트를 학습할 4개의 합성곱 신경망 모델을 선택해 구현하였다. 합성곱 신경망에 학습시키기 위해 리듬 게임 노트에 사용된 음원을 노트 최소 간격인 0.1초 단위로 잘라 Spectrogram 이미지로 만들었으며, 이 이미지를 분류하기 위한 Label은 4 key 기준 노트를 Parsing 하여 16개의 Label로 만들었다. 4개의 합성곱 신경망 모델은 AlexNet, GoogLeNet, ResNet, DenseNet으로 선정했으며, ILSVRC에서 우승했거나 우승한 모델을 개선한 모델로 선정하였다. 4개의 모델 중 리듬 게임 노트 학습에 적합한 모델을 선정하기 위해 Accuracy, Loss, Validation Accuracy, Validation Loss를 비교하여 정확도가 80% 넘는 모델 3개를 채택하였다. 그 후, 임의의 5곡의 리듬 게임 노트를 선정해 학습된 모델에 입력해 리듬 게임 노트를 생성하였으며, 생성한 노트와 기존 노트와의 유사도를 측정해 어떤 모델이 가장 적합한지 검증하였다.
리듬 액션 게임은 90년대부터 꾸준히 사랑받는 장르의 게임이었으며, 오락 기기부터 콘솔 게임기, 휴대용 게임기, 모바일, PC 등 다양한 기기로 이식되고 발전되어 왔고 2018년 현재에는 VR기기로 나온 리듬 액션 게임 ‘비트 세이버’가 인기를 끌고 있다. 이처럼 리듬 게임은 현재까지도 출시되는 장르의 게임이지만, 아직도 리듬 게임 노트는 사람이 직접 음악에 맞춰 수작업으로 만들고 있다. 최근 기계학습 알고리즘의 발전으로 Deep Learning 중 Convolutional Neural Network가 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)에서 AlexNet이 2012년 우승한 이후로 계속 발전해오면서 영상 처리계의 기계학습 알고리즘으로 주목받고 있다. 기존에는 이미지 분류 또는 인식 알고리즘 정도였지만, 지금까지 발전해오면서 현재는 Generative Adversary Network와 같이 학습한 그림을 바탕으로 기계가 유사한 그림을 그려내는 기술까지 나왔다. 또한 영상처리 뿐 만 아니라 Onset Detection과 같은 신호처리 분야에도 응용되고 있다. 대표적으로 GoogLeNet, ResNet, DenseNet과 같은 모델들이 있으며, 기존 합성곱 신경망에서 발생하는 문제들을 개선한 모델들이 아직도 나오고 있다. 본 논문에서는 Deep Learning 라이브러리인 “Keras”를 사용해 리듬 게임 노트를 학습할 4개의 합성곱 신경망 모델을 선택해 구현하였다. 합성곱 신경망에 학습시키기 위해 리듬 게임 노트에 사용된 음원을 노트 최소 간격인 0.1초 단위로 잘라 Spectrogram 이미지로 만들었으며, 이 이미지를 분류하기 위한 Label은 4 key 기준 노트를 Parsing 하여 16개의 Label로 만들었다. 4개의 합성곱 신경망 모델은 AlexNet, GoogLeNet, ResNet, DenseNet으로 선정했으며, ILSVRC에서 우승했거나 우승한 모델을 개선한 모델로 선정하였다. 4개의 모델 중 리듬 게임 노트 학습에 적합한 모델을 선정하기 위해 Accuracy, Loss, Validation Accuracy, Validation Loss를 비교하여 정확도가 80% 넘는 모델 3개를 채택하였다. 그 후, 임의의 5곡의 리듬 게임 노트를 선정해 학습된 모델에 입력해 리듬 게임 노트를 생성하였으며, 생성한 노트와 기존 노트와의 유사도를 측정해 어떤 모델이 가장 적합한지 검증하였다.
Rhythm action games have been steadily loved since the 90s and have been ported and developed into a variety of devices such as entertainment devices, console games, portable game machines, mobile devices and PCs. In 2018, rhythm action game ‘Beat Saber’ is becoming popular. The rhythm game is a gen...
Rhythm action games have been steadily loved since the 90s and have been ported and developed into a variety of devices such as entertainment devices, console games, portable game machines, mobile devices and PCs. In 2018, rhythm action game ‘Beat Saber’ is becoming popular. The rhythm game is a genre released until now, but the rhythm game notes are still made manually by the person in accordance with the music. Recently, as the development of machine learning algorithms, Convolutional Neural Network among Deep Learning has been attracting attention as a machine learning algorithm of image processing system, especially since AlexNet won the 2012 award in ILSVRC (ImageNet Large-Scale Visual Recognition Challenge). In the past, it was about image classification or recognition algorithms. However, until now, even the technique of generating similar pictures based on learned pictures like Generative Adversary Network has come out. In addition to image processing, it is also applied to signal processing such as Onset Detection. Models such as GoogLeNet, ResNet, and DenseNet are some models that have been developed to solve the problems of existing convolutional neural networks. In this paper, I have implemented four neural network models to learn rhythm game notes using "Keras" which is a Deep Learning library. For the purpose of learning in the convolutional neural network, the sound source used in the rhythm game note was cut into a spectrogram image with a minimum interval of 0.1 second, and the label for classifying this image was formed into 16 labels by parsing 4 key reference notes. Four convolutional neural network models were chosen as AlexNet, GoogLeNet, ResNet, DenseNet that ILSVRC winning models. Three models with accuracy over 80% were selected by comparing Accuracy, Loss, Validation Accuracy, and Validation Loss in order to select a model suitable for creating rhythm game note learning among four models. Then, random rhythm game notes were selected, and rhythm game notes were created by inputting them into the learned model. And I verified which models are most suitable by measuring the similarity between the generated notes and existing notes.
Rhythm action games have been steadily loved since the 90s and have been ported and developed into a variety of devices such as entertainment devices, console games, portable game machines, mobile devices and PCs. In 2018, rhythm action game ‘Beat Saber’ is becoming popular. The rhythm game is a genre released until now, but the rhythm game notes are still made manually by the person in accordance with the music. Recently, as the development of machine learning algorithms, Convolutional Neural Network among Deep Learning has been attracting attention as a machine learning algorithm of image processing system, especially since AlexNet won the 2012 award in ILSVRC (ImageNet Large-Scale Visual Recognition Challenge). In the past, it was about image classification or recognition algorithms. However, until now, even the technique of generating similar pictures based on learned pictures like Generative Adversary Network has come out. In addition to image processing, it is also applied to signal processing such as Onset Detection. Models such as GoogLeNet, ResNet, and DenseNet are some models that have been developed to solve the problems of existing convolutional neural networks. In this paper, I have implemented four neural network models to learn rhythm game notes using "Keras" which is a Deep Learning library. For the purpose of learning in the convolutional neural network, the sound source used in the rhythm game note was cut into a spectrogram image with a minimum interval of 0.1 second, and the label for classifying this image was formed into 16 labels by parsing 4 key reference notes. Four convolutional neural network models were chosen as AlexNet, GoogLeNet, ResNet, DenseNet that ILSVRC winning models. Three models with accuracy over 80% were selected by comparing Accuracy, Loss, Validation Accuracy, and Validation Loss in order to select a model suitable for creating rhythm game note learning among four models. Then, random rhythm game notes were selected, and rhythm game notes were created by inputting them into the learned model. And I verified which models are most suitable by measuring the similarity between the generated notes and existing notes.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.