OpenAI ha lanzado su nueva herramienta de generación de vídeos, Sora, pero ha decidido no liberar una característica clave para la mayoría de los usuarios hasta realizar más pruebas. La función en cuestión permite generar un vídeo usando una foto o un vídeo subido de una persona real como referencia.
La empresa ha decidido otorgar acceso a esta capacidad solo a un «subconjunto» de usuarios de Sora, y no ampliará su disponibilidad hasta que no perfeccione su «enfoque de seguridad». «La capacidad de generar un vídeo utilizando una foto o vídeo subido de una persona real como ‘semilla’ es un vector de posible mal uso que estamos abordando de manera especialmente incremental para aprender de los primeros patrones de uso», explicó OpenAI en una publicación de blog.
Además, OpenAI ha decidido no permitir que los usuarios compartan vídeos generados que contengan clips o imágenes de personas reales en el feed de descubrimiento de la página principal de Sora. «Obviamente tenemos un gran objetivo sobre nosotros como OpenAI, por lo que queremos prevenir actividades ilegales con Sora, pero también queremos equilibrar eso con la expresión creativa», comentó Rohan Sahai, líder de producto de Sora, durante una presentación, tal como recoge Techcrunch.
El vídeo generativo es una herramienta poderosa y controvertida, con preocupaciones significativas como los deepfakes y la desinformación. Según datos del servicio de verificación de identidad Sumsub, el fraude con deepfakes a nivel mundial aumentó más de diez veces de 2022 a 2023.
Entre otras medidas que OpenAI dice estar tomando para prevenir el mal uso, Sora cuenta con un filtro para detectar si un vídeo generado muestra a alguien menor de 18 años. Si es así, OpenAI aplica un «umbral más estricto» para la moderación relacionada con contenido sexual, violento o de autolesión, afirma la empresa.
Todos los vídeos generados por Sora contienen metadatos que muestran su procedencia, específicamente metadatos que cumplen con el estándar técnico C2PA. Los metadatos pueden eliminarse, concedido, pero OpenAI los presenta como una forma para que las plataformas que soportan C2PA detecten rápidamente si un vídeo se originó en Sora.
En un intento de evitar quejas por derechos de autor, OpenAI también indica que está utilizando «reescritura de prompts» para evitar que Sora genere vídeos al estilo de un creador vivo. «Hemos añadido reescrituras de prompts diseñadas para activarse cuando un usuario intenta generar un vídeo al estilo de un artista vivo», escribió la compañía.
