El código se puede bajar y probar aquí: Real Time Voice Cloning y es el sistema descrito en este trabajo de varios investigadores de Google

https://www.microsiervos.com/archivo/ia/clonar-voz-muestra-5-segundos-facil-increible-terrorifico.html