San Francisco Ordena a Apple y Google Eliminar Apps de "Desnudez" con IA

Puntos clave

• El fiscal de la ciudad de San Francisco, David Chiu, envió notificaciones legales a Apple y Google el jueves exigiendo la eliminación de 13 aplicaciones específicas de sus tiendas.
• Las aplicaciones objetivo incluyen 8 en la App Store de Apple y 5 en Google Play Store, todas comercializadas ampliamente como herramientas de "intercambio de rostros".
• Investigadores de las universidades de Cornell y Georgetown descubrieron en mayo de 2025 que el 70 por ciento de las aplicaciones de intercambio de rostros que probaron podían producir deepfakes desnudos sin controles de seguridad.
• Las aplicaciones señaladas por el Tech Transparency Project a principios de 2025 habían sido descargadas aproximadamente 480 millones de veces y ganaron un estimado de $120 millones combinados.
• Google confirmó que eliminó las cinco aplicaciones de Android nombradas en la carta; Apple no había comentado en el momento de la publicación.

Imagina subir una foto de alguien que conoces y, en segundos, recibir una imagen falsa desnuda de esa persona. Eso es lo que hacen estas aplicaciones. No se necesita habilidad técnica. Solo una foto y un par de toques.

El jueves, el fiscal de la ciudad de San Francisco, David Chiu, envió cartas de cese y desistimiento, demandas legales formales para detener comportamientos específicos, a Apple y Google. Quiere que ambas empresas retiren inmediatamente 13 aplicaciones de sus tiendas. Las aplicaciones se anuncian a sí mismas como herramientas de intercambio de rostros pero, una vez abiertas, permiten a los usuarios crear imágenes íntimas no consensuadas generadas por IA, que son fotos sexuales falsas de personas reales hechas sin su conocimiento o acuerdo.

La oficina de Chiu dice que Apple y Google probablemente han "ganado millones de dólares en comisiones" de estas aplicaciones, porque ambas empresas se llevan un porcentaje de las compras dentro de la aplicación. La ley de California prohíbe apoyar servicios que crean pornografía deepfake, y las cartas dicen que las empresas están "facilitando y ayudando" ese daño.

"Estas imágenes se usan para acosar, humillar y amenazar a mujeres y niñas", le dijo Chiu a Wired AI, que fue el primero en reportar la historia. "Ha habido víctimas que han sido suicidas".

El vocero de Google, Dan Jackson, confirmó que la empresa eliminó las cinco aplicaciones de Android nombradas en la carta, más "cientos" de otras similares, e ha restringido términos de búsqueda como "nudify" dentro de su tienda. Apple no respondió antes de la publicación.

¿Por qué las tiendas no han atrapado estas aplicaciones ya?

Tanto Apple como Google tienen políticas escritas que prohíben la pornografía y el acoso, pero las aplicaciones consistentemente se cuelan al disfrazarse como herramientas de edición inocentes. Un documento de investigación de mayo de 2025 de la Universidad de Cornell y la Universidad de Georgetown probó 155 aplicaciones de intercambio de rostros y encontró que el 70 por ciento de ellas podían producir deepfakes desnudos sin características de seguridad para evitarlo. Los investigadores llamaron a estos "aplicaciones de doble uso", lo que significa software que se ve inofensivo en la superficie pero puede causar daño grave debajo.

El Tech Transparency Project, un grupo de vigilancia independiente, reportó haber encontrado alrededor de 100 tales aplicaciones en ambas tiendas en enero y abril de 2025. La directora Katie Paul lo expresó claramente: "Apple y Google hacen muchas promesas sobre cuán confiables y seguras son sus tiendas de aplicaciones. Simplemente no es lo que está sucediendo en la realidad".

Reportajes anteriores descubrieron imágenes sexuales deepfake de menores creadas en al menos 90 escuelas.

Chiu dice que su oficina perseguirá acciones legales adicionales si Apple y Google no actúan. "Si no hacen lo correcto, tendremos que considerar todas nuestras opciones legales", dijo.