Making a trial music video by text-to-image AI, Diffusion

Sep 3, 2022 » GAN

Making a trial Music Video by text-to-image AI, Diffusion

AI(text-to-image)로 시험적 뮤직 비디오 만들어 보기

얼마전 AI로 Music Video를 만들었다는 해외 글을 보고 내용을 참조하여 시험적으로 BLACKPINK 와 IVE 뮤직비디오를 만들어 보았습니다.

첫번째 BLACKPINK 의 노래 제목 “PINK VENOM”를 주제로 AI 에게 Text (Pink Venom in Desert, Pink Venom in Forest, Pink Venom in City)를 주고 Image를 만들게 하고 이중 잘 나온 이미지를 선별하여 AI에게 inpainting으로 이동시키면서 여러장을 만들어 3개의 씬 Animation 배경 연상을 만들게 하였습니다.
BLACKPINK Dance Practice 영상을 가져와 노래와 댄스영상을 영상 편집 SW를 통해 혼합 편집하여 Music Video 를 만들었습니다.
비슷한 방식으로 IVE 의 “After Like” 도 Forest, Sky, Sea TEXT 로 Image를 만들게하고 다시 3개의 씬 배경 영상용 Animation을 만들게 한후 편집 합성하여 만들었습니다.
배경을 깔끔하게 합성하기 좋은 크로마키 배경 댄스 영상이 있었으면 좀 더 합성이 깔끔하게 좋았을 텐데 단순 색깔 배경의 댄스 연습 영상으로 합성을 하였습니다.
AI 모델은 Text-to-Image Diffusion Model 을 이용하였으며 댄스 영상을 제외한 모든 이미지 및 영상은 모두 AI로 제작되엇습니다.
짧은 시간(주말 동안)과 넉넉하지 못한 GPU 장비로 시험적으로 만들었기에 많은 중간 frame 들을 생성하지 못하고 만들어 영상이 다소 매끄럽지 않고
크로마키 배경 영상을 사용한 것도 아니고 편집도 어수룩한 점은 이해해 주시고, Music Video 제작 활용 가능성을 생각해 볼 수 있는 작은 하나가 될 수 있었으면 합니다.