이번 학기 캡스톤 설계로 진행한 Webtoon style transfer using GANs 최종 발표물입니다. 1

Intro

1

1

본 캡스톤 설계는, 우리의 얼굴을 웹툰 도메인으로 생성하면 어떨까? 그리고 생성한 이미지에 대해 표정변화를 진행하면 어떨까? 라는 아이디어에서 시작된 프로젝트이다.

사용한 네트워크는 StyleGAN2 ada, 그리고 후처리로는 StarGAN, SR, sharpening등을 사용하였다.

Progress

1 1 1 1 1

Progress 1. StyleGAN2 ada구조를 이용하여 복학왕 도메인의 이미지를 생성할 수 있도록 weight를 pkl파일로 학습시켰다.

Progress 2. 우리의 얼굴을 latent vector로 잘 compress될 수 있도록 GAN inversion을 진행했다.

이 과정에서 K mean clustering을 사용하였고 optimal한 vector를 찾았다.

Progress 3. 이후 생성된 이미지를 StarGAN(표정변화), SR(Upscaling), Sharpening(품질 향상) 네트워크에 feed했다.

Result

1 1 1 1 1

생성된 결과물들은 다음과 같다.

FID를 구하는 과정 역시 진행하였는데, 이미지 수가 워낙 적어서 믿을많나 수치라고는 볼 수 없을 것 같다.