New technologies in virtual higher education
The deepfake and the face-to-face translation technologies
DOI:
https://doi.org/10.37467/revhuman.v11.3967Keywords:
Deepfake, Deepfake face, Deepfake voice, Face swap, Face-to-face translation, Lip synchronization, Voice swapAbstract
In the field of virtual higher education at the University of Vigo (UVigo, Spain) there is a massive videoconference service, integrated into the Remote Campus, which can be used for virtual teaching; and, optionally, also for the automatic recording of these classes in videos. The appearance of new technologies such as deepfake and face-to-face translation will allow, in addition to the translation/dubbing of the audio in these video classes, the manipulation of the image so that the change of language is not noticed when speaking; so that lip synchronization is also done automatically.
References
AWS Events. (2022, 23 de junio). Amazon re:MARS 2022 - Day 2 – Keynote [vídeo]. YouTube. https://cutt.ly/zLk78pc
Ballantine, M. (2019, 3 de julio). Are Deepfakes Invading The Office? Forbes. https://cutt.ly/HK0GY8K
Benítez, S. (2022, 5 de julio). Disney: ‘Blancanieves y los siete enanitos’, de David Hand. Espinof. https://cutt.ly/bL5Sdha
Bmotion (2022). ¿Qué es un fotograma? Glosario audiovisual. https://cutt.ly/ILk5MQR
Branding. (15 de marzo de 2022). En Wikipedia. https://cutt.ly/WL2RMVV
Brown, D. (2019, 13 de mayo). Wait, is that video real? The race against deepfakes and dangers of manipulated recordings. USA Today Tech. https://cutt.ly/kK0FQmE
Cámara, N. (2022, 27 de junio). ‘Los Borbones: una familia real’: dónde ver la serie documental completa. Diezminutos. https://cutt.ly/xK60O5x
Chung, J. S. & Zisserman, A. (2016). Lip reading in the wild. En Asian Conference on Computer Vision. Springer, 87–103. https://cutt.ly/4LjVQgs
Cole, S. (2017, 11 de diciembre). AI-Assisted Fake Porn Is Here and We’re All Fucked. Motherboard, Vice. https://cutt.ly/HK8LVye
Costa, E.- (2022, 26 de abril). Snapchat: número de usuarios sigue creciendo al igual que sus ingresos en anuncios. Noticias MetroCr. https://cutt.ly/TK5zdrk
CruzcampoTV. (2021a, 21 de enero). Cruzcampo. Así se hizo #ConMuchoAcento [vídeo]. YouTube. https://cutt.ly/7Lk5eJl
CruzcampoTV. (2021b, 21 de enero). Cruzcampo. Con mucho acento [vídeo]. YouTube. https://cutt.ly/CLk5kbk
DeepFaceLab. (2022). DeepFaceLab [software]. https://cutt.ly/oLk6NFY
Deepfake. (21 de junio de 2022). En Wikipedia. https://cutt.ly/8L2Tyku
Del Barco, L. (2020, 3 de junio). Spotify “resucita” a Franco creando un ‘deepfake’ de la voz del dictador para su nuevo podcast. Hipertextual. https://cutt.ly/ZK62sTV
Dickson, B. (2018, 7 de junio). When AI Blurs the Line Between Reality and Fiction. PCMag. https://cutt.ly/OK0O1rc
Ebert, R. (2009, 12 de agosto). Finding my own voice. RogerEbert. https://cutt.ly/AK0Appi
Entrepelis (2022, 31 de mayo). Los Borbones: una familia real. 1x1 online y en castellano [vídeo]. Netu TV. https://cutt.ly/1Lqybnu
Euskal Encouter. (2020, 5 de diciembre). #AE07. DeepFakes y el Face Swap. ¿Cómo funcionan los algoritmos de suplantación? [vídeo]. YouTube. https://cutt.ly/BLk5n6S
FaceSwap. (2022). FaceSwap [software]. https://faceswap.dev/
FakeYou. (s.f.). FakeYou [software]. https://fakeyou.com/
Figueira, A., & Oliveira, L. (2017). The current state of fake news: challenges and opportunities. Procedia Computer Science, 121: 817–825. https://doi.org/10.1016/j.procs.2017.11.106
Fotogramas por segundo. (18 de marzo de 2022). En Wikipedia. https://cutt.ly/dL2Yj48
Francisco Franco. (20 de julio de 2022). Wikipedia. https://cutt.ly/VL2Y8Tn
García Nieto, J. (2020, 19 de febrero). Este software es capaz de generar vídeos deepfake traducidos a diferentes idiomas con los labios sincronizados. Xataka. https://cutt.ly/BLrg9aa
Harding, S. (2022, 23 de junio). Amazon uses kid’s dead grandma in morbid demo of Alexa audio deepfake. ArsTechnica. https://cutt.ly/aK2HKZR
Ion, F. (2022, 22 de junio). Amazon’s Latest Trick: Pipe In a Dead Person’s Voice Through Alexa’s Speakers. Gizmodo. https://cutt.ly/4K2Llti
KULTT [@kultt_fr]. (22 de abril de 2016). Dans mon quartier, affichage @NetflixFR pour réaliser des Face Swap avec ses héros #NetflixSwap [tuit]. Twitter. https://cutt.ly/hK2I5Ma
Kuper, S. (2018, 18 de octubre). The age of scepticism: from distrust to ‘deepfake’. Financial Times. https://cutt.ly/QK0HrYk
La Región (7 de noviembre de 2021). O Campus Remoto da UVigo suma 2,5 millóns de conexión. La Región. https://cutt.ly/YLrbYVP
Lacort, J. & Tones, J. (2021, 21 de enero). Hablan los creadores del ‘deepfake’ de Lola Flores: “Pese a usar Inteligencia Artificial fue un proceso bastante artesanal”. Xataka. https://cutt.ly/YK0A3I5
Lola Flores. (12 de julio de 2022). En Wikipedia. https://cutt.ly/rL2UGUW
López Ardao, C. (2017, 16 de octubre). ¿Cuál debería ser la longitud del vídeo educativo? The Flipped Classroom. https://cutt.ly/sLlwvdQ
López Lafuente, J. M. (2020, 10 de octubre). El lado bueno del ‘deepfake’: el doblaje perfecto para series y películas. Hipertextual. https://cutt.ly/zLwNLjj
Marr, B. (2019, 22 de julio). The Best (And Scariest) Examples Of AI-Enabled Deepfakes. Forbes. https://cutt.ly/vK0OcsP
Metropolitana (2022). Metropolitana. Post producción VFX, publicidad, cine y televisión. Metropolitana. https://cutt.ly/vLlwWNq
Miquel-Vergés, J. (2022a) Enseñanza-aprendizaje virtual en el ámbito universitario en tiempos de pandemia: estudio de caso de la Universidade de Vigo (UVigo), en España. En AA.VV. (Eds.) La COVID-19 llega a las aulas. Colección Estudios Aranzadi. Thomson Reuters-Aranzadi. En prensa.
Miquel-Vergés, J. (2022b) La docencia universitaria en tiempos de pandemia. Estudio de caso. En AA.VV. (Eds.) COVID-19: Imperativo para el cambio. Colección Comunica. Tirant lo Blanch. En prensa.
Nelson, D. (2020, 16 de septiembre). Game Developers Look To Voice AI For New Creative Opportunities. Unite.AI. https://cutt.ly/iK0SRxO
Olivas, O. (2016, 3 de mayo). ¿Qué es el face swap y cómo lo usan las marcas? Merca2.0. https://cutt.ly/NLlwPeW
Panorama Audiovisual. (2021, 9 de febrero). Así se hizo el deepfake de Lola Flores para el spot ‘Con mucho acento’. Panorama Audiovisual. https://cutt.ly/YK687kU
Pérez Navarro et al. (2020, 27 de noviembre). El uso de vídeos en la educación puede mejorar el volumen de aprobados. Blog del eLearning Innovation Center - UOC. https://cutt.ly/xLrxLOF
Prajwal, K. R. et al. (2019a). Towards Automatic Face-to-Face Translation. CVIT. https://cutt.ly/jLf2AFa
Prajwal, K. R. et al. (octubre de 2019b). Towards Automatic Face-to-Face Translation. MM ‘19: Proceedings of the 27th ACM International Conference on Multimedia, octubre 2019, pp. 1428-1436. https://doi.org/10.48550/arXiv.2003.00418
Real Academia Española. (s.f.). Doblaje. En Diccionario de la lengua española. Recuperado el 23 de julio de 2022, de https://dle.rae.es/doblaje?m=form
Rudrabha Mukhopadhyay (2019). Face to Face Translation [video]. YouTube https://cutt.ly/MLk5U8L
Snapchat. (13 de abril de 2022). En Wikipedia. https://cutt.ly/PL2IM9x
Snow White and the Seven Dwarfs. (19 de julio de 2022). En Wikipedia. https://cutt.ly/bL2OrUG
Solsman, J. (2019, 12 de julio). Deepfakes freak YouTubers out. Vidcon offers a way to prepare. CNET. https://cutt.ly/LK0Gdic
Spotify. (Junio de 2020a). Cómo la Inteligencia Artificial recreó la voz de Franco (Nº EXTRA) [Episodio de Podcast]. En XRey. Spotify. https://cutt.ly/kK69GF1. También disponible en XRey: el caudillo digital [video]. YouTube https://cutt.ly/VL30MOM
Spotify. (Junio de 2020b). El temblor (Nº 4) [Episodio de Podcast]. En XRey. Spotify. https://cutt.ly/kLqsiT3
Suárez Iglesias, D. (2019). Diccionario de anglicismos y otros extranjerismos. Defensadelidioma. https://cutt.ly/fLrgw0e
The Dalí Museum (2019, 8 de mayo). Behind the Scenes: Dali Lives [vídeo]. YouTube. https://cutt.ly/MLk5SUr
Veritone. (2022) Deepfake voice: everything you need to know about deepfake voice. Veritone. https://cutt.ly/SK8icMm
Vicomtech (2022a). Clonación de voz. https://cutt.ly/yK8De99
Vicomtech (2022b, 6 de abril). Vicomtech expone las claves de las tecnologías de IA aplicadas a la generación y detección de DeepFakes. https://cutt.ly/lK09sbL
Vicomtech (2022c, 8 de abril). Casos reales de Deep Fake. Generación y detección de imagen y voz sintéticas a través de IA [vídeo]. YouTube. https://cutt.ly/dLkGE3a
Vilardi, R. (2019, 29 de agosto). El tono de voz en branding: la siguiente frontera. Wearemarketing. https://cutt.ly/tLlgQBO
Westerlund, M. (2019). The Emergence of Deepfake Technology: A Review. Technology Innovation Management Review, 9(11): 40-53. http://doi.org/10.22215/timreview/1282
YouMoretv-Espectáculo. (2014, 16 de diciembre). Los del Río “Macarena” [vídeo]. YouTube. https://cutt.ly/fLwF0Z2
Downloads
Published
How to Cite
Issue
Section
License
Those authors who publish in this journal accept the following terms:
- Authors will keep the moral right of the work and they will transfer the commercial rights.
- After 1 year from publication, the work shall thereafter be open access online on our website, but will retain copyright.
- In the event that the authors wish to assign an Creative Commons (CC) license, they may request it by writing to publishing@eagora.org
