초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Image-to-image 변환에서 인상적인 성능을 보이는 StarGAN 은 모델의 성능에 중요한 영향을 끼치는 adversarial weight, classification weight, reconstruction weight 라는 세가지 하이퍼파라미터의 결정을 전제로 하고 있다. 본 연구에서는 이 중 conditional GAN loss 인 adversarial loss 와 classification loss 를 대치할 수 있는 attribute loss를 제안함으로써, adversarial weight와 classification weight 를 최적화하는 데 걸리는 시간을 attribute weight 의 최적화에 걸리는 시간으로 대체하여 하이퍼파라미터 탐색에 걸리는 시간을 획기적으로 줄일 수 있게 하였다. 제안하는 attribute loss 는 각 특징당 GAN 을 만들 때 각 GAN 의 loss 의 합으로, 이 GAN 들은 hidden layer 를 공유하기 때문에 연산량의 증가를 거의 가져오지 않는다. 또한 reconstruction loss 를 단순화시켜 연산량을 줄인 simplified content loss 를 제안한다. StarGAN 의 reconstruction loss 는 generator 를 2 번 통과하지만 simplified content loss 는 1 번만 통과하기 때문에 연산량이 줄어든다. 또한 이미지 Framing 을 통해 배경의 왜곡을 방지하고, 양방향 성장을 통해 학습 속도를 향상시킨 아키텍쳐를 제안한다.

Image-to-image 변환에서 인상적인 성능을 보이는 StarGAN 은 모델의 성능에 중요한 영향을 끼치는 adversarial weight, classification weight, reconstruction weight 라는 세가지 하이퍼파라미터의 결정을 전제로 하고 있다. 본 연구에서는 이 중 conditional GAN loss 인 adversarial loss 와 classification loss 를 대치할 수 있는 attribute loss를 제안함으로써, adversarial weight와 classification weight 를 최적화하는 데 걸리는 시간을 attribute weight 의 최적화에 걸리는 시간으로 대체하여 하이퍼파라미터 탐색에 걸리는 시간을 획기적으로 줄일 수 있게 하였다. 제안하는 attribute loss 는 각 특징당 GAN 을 만들 때 각 GAN 의 loss 의 합으로, 이 GAN 들은 hidden layer 를 공유하기 때문에 연산량의 증가를 거의 가져오지 않는다. 또한 reconstruction loss 를 단순화시켜 연산량을 줄인 simplified content loss 를 제안한다. StarGAN 의 reconstruction loss 는 generator 를 2 번 통과하지만 simplified content loss 는 1 번만 통과하기 때문에 연산량이 줄어든다. 또한 이미지 Framing 을 통해 배경의 왜곡을 방지하고, 양방향 성장을 통해 학습 속도를 향상시킨 아키텍쳐를 제안한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 방법
• 연구 결과

제안 방법

• 학습 초기에는 Real A 와 Generated A의 분포가 서로 멀리 떨어져 있어 classification loss는 의미 있는 gradient 를 생성하지 못한다. LSGAN, WGAN-GP 등의 경우와 같이 두 분포의 거리가 멀어도 의미 있는 adversarial loss 만이 의미 있는 gradient 를 생성하여 학습이 진행된다.
• 이렇게 학습 초기에 classification loss 가 의미 있는 gradient 를 생성하지 못하는 문제를 해결하기 위해 attribute loss 를 제안한다. Attribute loss 는 그림 3 과 같이 각 Attribute 별로 GAN 을 만들 때, 각 GAN 들의 loss 의 합이다.

성능/효과

• 본 논문에서는 Image-to-Image 변환 GAN 에서, adversarial loss, reconstruction loss 와 classification loss 의 세가지 loss를 조합하는 대신, adversarial loss 와 classification loss 를 대치할 수 있는 attribute loss 를 제안하여, 결정하여야 하는 하이퍼파라메터의 수를 하나로 줄여, 최적화된 loss 들의 가중치, 즉, 최적화된 하이퍼파라메터를 구하는 작업이 매우 간단하게 변화되었다. 추가로 영상의 배경을 고정시키는 image framing 과 마스크 기법을 적용하여, 빠른 시간에 기존의 연구들 보다 우수한 결과를 얻을 수 있었다.
• 따라서 생성된 GAN 의 용도가 변경되는 경우 이 세가지 하이퍼파라메터의 결정을 위한 실험 작업이 네트워크의 훈련 전, 또는 훈련 도중에 큰 비중을 갖게 되고 그 시간도 적지 않게 차지하게 된다. 이러한 단점을 해결하기 위하여 본 논문에서는 adversarial loss 와 classification loss 를 대치할 수 있는 attribute loss 를 제안하여 결정하여야 하는 하이퍼파라메터의 수를 하나로 줄여, 성능의 손실 없이, 최적화된 loss 들의 가중치를 구하는 작업이 매우 간단하게 변화되었다.
• 본 논문에서는 Image-to-Image 변환 GAN 에서, adversarial loss, reconstruction loss 와 classification loss 의 세가지 loss를 조합하는 대신, adversarial loss 와 classification loss 를 대치할 수 있는 attribute loss 를 제안하여, 결정하여야 하는 하이퍼파라메터의 수를 하나로 줄여, 최적화된 loss 들의 가중치, 즉, 최적화된 하이퍼파라메터를 구하는 작업이 매우 간단하게 변화되었다. 추가로 영상의 배경을 고정시키는 image framing 과 마스크 기법을 적용하여, 빠른 시간에 기존의 연구들 보다 우수한 결과를 얻을 수 있었다. 그림 4 는 좌측의 영상을 갈색머리, 입을 약간 벌리고, 웃는 모습으로 변환한 결과이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기