요약개시된 발명의 일 실시예에 따른 발화 음성 기반 얼굴 합성 시스템은, 발화를 하고 있는 발화 객체의 얼굴 이미지인 제1 발화자 이미지, 제2 발화자 이미지 및 오디오 음성 데이터를 기초로, 제1 기계 학습 모델을 이용하여 상기 오디오 음성 데이터에 대응되는 얼굴을 하는 상기 발화 객체의 이미지인 음성 대응 출력 이미지 및 상기 발화 객체의 이미지에서 상기 발화 객체가 발화할 때 움직이는 얼굴 영역인 마스크 영역을 생성하도록 구성되는 중간 출력 데이터 생성 모듈을 포함하고, 상기 제2 발화자 이미지는, 상기 제1 발화자 이미지의 하단 절반 영역이 제거되고 남은 상단 절반 영역의 이미지일 수 있다.
대표 청구항발화를 하고 있는 발화 객체의 얼굴 이미지인 제1 발화자 이미지, 제2 발화자 이미지 및 오디오 음성 데이터를 기초로, 제1 기계 학습 모델을 이용하여 상기 오디오 음성 데이터에 대응되는 얼굴을 하는 상기 발화 객체의 이미지인 음성 대응 출력 이미지 및 상기 발화 객체의 이미지에서 상기 발화 객체가 발화할 때 움직이는 얼굴 영역인 마스크 영역을 생성하도록 구성되는 중간 출력 데이터 생성 모듈을 포함하고,상기 제2 발화자 이미지는, 상기 제1 발화자 이미지의 하단 절반 영역이 제거되고 남은 상단 절반 영역의 이미지인, 발화 음성 기반 얼굴 합성 시스템.
