Zoom está a punto de lanzar la tan esperada función de avatar digital impulsada por IA, que revolucionará la forma en que los usuarios se comunican de forma asincrónica. Esta característica permite a los usuarios crear avatares digitales realistas y generar audio sincronizado con los labios con el avatar ingresando texto, mejorando la eficiencia de la comunicación. Sin embargo, la aparición de esta tecnología también ha generado preocupación sobre los riesgos de los deepfakes. El editor de Downcodes lo llevará a comprender en profundidad esta nueva característica de Zoom, analizar sus riesgos potenciales y las medidas de seguridad que Zoom ha tomado para hacer frente a estos riesgos.
Zoom se está preparando para ofrecer una nueva característica sorprendente a sus usuarios, pero es posible que tengamos que esperar hasta el próximo año para echarle un vistazo. El gigante de las videoconferencias anunció en su conferencia anual de desarrolladores que lanzará una función que transformará los vídeos de los usuarios en avatares digitales realistas impulsados por IA.
Este avatar digital incluye no sólo la cabeza, sino también la parte superior de los brazos y los hombros, lo que lo convierte en un clon digital. Los usuarios simplemente ingresan lo que quieren que diga su avatar digital y Zoom genera audio sincronizado con los labios del avatar. Suena increíble, ¿verdad?
Smita Hashim, directora de productos de Zoom, dijo que la función está diseñada para ayudar a las personas a comunicarse de forma asincrónica con sus colegas de una manera más rápida y eficiente. Enfatizó que este tipo de avatar puede ahorrar a los usuarios tiempo y energía valiosos y al mismo tiempo mejorar la eficiencia de la creación de videos.
Sin embargo, la aparición de esta tecnología también ha generado algunas preocupaciones. Tenemos que pensar si esto traerá el riesgo de deepfake.
De hecho, muchas empresas han desarrollado tecnología de inteligencia artificial similar que puede clonar digitalmente el rostro de una persona y combinarlo con una voz sintetizada bastante natural. Por ejemplo, Tavus ayuda a las marcas a crear avatares para anuncios de video personalizados, mientras que Microsoft lanzó el año pasado un servicio que puede generar avatares digitales convincentes.
Pero estas herramientas suelen contar con protecciones estrictas para evitar abusos. Tavus requiere una declaración de consentimiento verbal y Microsoft requiere que sus clientes obtengan el permiso y el consentimiento por escrito de todos los talentos avatar involucrados.
En comparación, la descripción que hace Zoom de sus medidas de seguridad parece vaga. Hashim dijo que la compañía está creando múltiples salvaguardas para la función de avatar personalizado, incluida la autenticación avanzada y la marca de agua. Prometió continuar revisando y agregando medidas de seguridad según sea necesario en el futuro.
Este movimiento de Zoom coincide con la gran visión del director ejecutivo Yuan Zheng. En el futuro, espera crear una IA que pueda participar en reuniones de Zoom, responder correos electrónicos e incluso contestar llamadas telefónicas en su nombre.
Sin embargo, el surgimiento de esta tecnología llega en un momento en que los deepfakes se están extendiendo como la pólvora en las redes sociales, lo que hace cada vez más difícil distinguir la verdad de la desinformación. Los videos deepfake que involucran al presidente Joe Biden, Taylor Swift y la vicepresidenta Kamala Harris han recibido millones de visitas y se han compartido en línea este año. Recientemente, tras el huracán Helene, una avalancha de imágenes falsas generadas por IA inundó la web, mostrando escenas ficticias de destrucción y sufrimiento humano.
La tecnología deepfake también se ha utilizado para atacar a personas individuales, haciéndose pasar por familiares para cometer fraude. Según la Comisión Federal de Comercio, las pérdidas relacionadas con estafas de suplantación de identidad superaron los mil millones de dólares el año pasado.
Entonces, ¿cómo evita exactamente Zoom que los estafadores utilicen sus herramientas para generar vídeos falsos maliciosos? Una maqueta proporcionada por la empresa muestra una marca de agua visible en la esquina superior derecha del vídeo de avatar personalizado. Pero esta marca de agua se recorta fácilmente con herramientas de grabación de pantalla.
Esperamos conocer más detalles cuando Zoom planee lanzar esta función en la primera mitad de 2025. En ese momento, los usuarios tendrán que pagar 12 dólares adicionales al mes para usar avatares personalizados en Zoom Clips, su herramienta de vídeo asincrónico.
Independientemente de las medidas que tome Zoom en última instancia, se están realizando esfuerzos regulatorios para tratar de frenar la proliferación de deepfakes. En ausencia de leyes que penalicen los deepfakes a nivel federal, más de 10 estados han promulgado regulaciones dirigidas a la suplantación de identidad asistida por IA. La ley de California, que actualmente está en suspenso, sería la primera en otorgar a los jueces el poder de ordenar a los editores de contenido deepfake que lo eliminen o enfrentar posibles multas.
Mientras Zoom lanza esta nueva función, no podemos evitar preguntarnos: ¿el progreso tecnológico siempre tiene un impacto positivo? Mientras disfrutamos de la comodidad, ¿hemos abierto sin darnos cuenta la Caja de Pandora?
Aunque la función de avatar digital con IA de Zoom es prometedora, también tiene riesgos potenciales. Cómo lograr un equilibrio entre el progreso tecnológico y los riesgos de seguridad será una cuestión que Zoom y toda la industria tecnológica deberán considerar seriamente en el futuro. El editor de Downcodes seguirá prestando atención al progreso de esta tecnología y les brindará más informes relacionados.