Deepfake(3): Wav2lip 동영상 Deepfake 기술

음악 오디오 파일과  동영상을 같이 처리하여 음악 오디오에 맞추어 동영상의 인물이 립싱크를 가능하게 하는 것이 Wav2lip 프로그램의 기능입니다.

Google Colab을 사용하여 복제를 하고 프로그램을 실행하면 됩니다. 아래와 같이 실행 디렉토리에서 inference.py 프로그램을 실행하면 DeepfakeTest01.mp4와 DeepfakeTest01.wav 파일을 연결하여 (두개 파일의 실행 시간은 동일해야 함) result_voice.mp4의 결과물을 만들어 냅니다. 업로드를 없애고 연결한 google 드라이브에 직접 작업할 파일을 올리고 결과 파일을 다운로드 하는 방식으로 작업을 진행하였습니다.

!cd /content/gdrive/MyDrive/Wav2lip && python inference.py –checkpoint_path checkpoints/wav2lip_gan.pth –face “/content/gdrive/MyDrive/Wav2lip/DeepfakeTest01.mp4” –audio “/content/gdrive/MyDrive/Wav2lip/DeepfakeTest01.wav”

파일의 길이가 5분을 넘어가면 작동이 안되는 군요. 그래서 주어진 파일을 5분단위로 잘라서 작업하는 프로그램을 만들었습니다. 두가지 방법이 가능한데, 원본 mp4파일에 더빙할 음성을 첨부하여 (원본 mp4의 음성은 제거함) 업로드한 파일을 기준으로 작업하는 것이 첫번째 방법이고 두번째 방법으로는 강의 동영상에서 움직임이 많지 않으므로 해당 영상을 임의의 강의 동영상의 강사 동영상을 실제로 작업할 음성 파일의 길이만큼 자른 다음 이 음성과 영상을 5분간격으로 자른 후에 첫번째 방식으로 계속 진행하는 것입니다.

아래의 동영상에 그 내용을 상세히 소개하였습니다.

Leave a Reply

Your email address will not be published.