AI Security · Page 13
deepfakes, AI-powered scams, model abuse, and keeping AI systems and their users safe
Con apenas una semana de vida y ya en funcionamiento: la nueva alianza de seguridad en IA hace sus primeros movimientos
Más de 120 empresas, incluyendo Nvidia, Microsoft y Visa, han formado un grupo para compartir conocimientos sobre seguridad en IA abiertamente. OpenAI y Google brillan por su ausencia, a pesar de haber firmado la carta que lo inició todo.
La nueva herramienta de seguridad de Mistral lee tus reglas y las aplica al instante
Shieldstral es un pequeño modelo de IA gratuito que analiza texto e imágenes en busca de contenido nocivo utilizando políticas en inglés simple que escribes tú mismo. No se requieren conocimientos especializados.
Cliente de Metro Bank pierde £14.000 por fraude que utilizó el chatbot de IA Claude para drenar su cuenta
Un empresario de Sussex afirma que Metro Bank no logró detener a los defraudadores que saquearon repetidamente su cuenta para comprar créditos del chatbot de IA Claude. Ahora está luchando por recuperar £14.244.
La propia herramienta de detección de una aplicación de IA musical marca las canciones de dos raperos como generadas por IA
Fenix Flexin y Tyga negaron usar IA para hacer sus temas retro-sintetizador. Luego la aplicación que supuestamente utilizaron construyó un detector y pasó las canciones a través de él.
Ucrania equipa 50.000 drones de ataque con IA que se bloquea y sigue objetivos móviles
Una empresa de software estadounidense ha desarrollado un kit "dispara y olvida" para los drones Shrike económicos de Ucrania, permitiendo que un humano señale un objetivo e le entregue el resto a un sistema de IA.
Piratas informáticos iraníes atacan sistemas de agua en siete estados estadounidenses, advierte el FBI
Los ciberataques a servicios de agua y alcantarillado se han extendido mucho más allá de Minnesota. El FBI dice que siete estados están afectados, y ya se han emitido avisos de hervir agua.
El ransomware impulsado por IA asume un nuevo papel: ataques autónomos
Los ciberdelincuentes ahora aprovechan la IA para lanzar ataques independientes, lo que genera preocupaciones sobre vulnerabilidades de seguridad.
Google retira su herramienta de edición de imágenes de IA de Google Earth después de que usuarios falsificaran zonas de guerra y escenas fronterizas
Una función que permitía a cualquiera repintar fotos satelitales con indicaciones de texto duró menos de 48 horas antes de que Google la eliminara. El investigador Henk van Ess descubrió que ningún indicador fue bloqueado, generó escenas convincentes de crisis humanitaria falsa sobre coordenadas reales, y demostró que un servicio comercial de detección de IA las pasó completamente por alto.
Escuela privada de Pensilvania pide a la corte desestimar demanda por desnudos de IA, dice que sí reportó el daño
Lancaster Country Day School le dijo a un juez esta semana que los reclamos de las víctimas son falsos en dos puntos clave. La escuela dice que alertó a las autoridades policiales y que la denuncia que recibió nunca nombró a ninguna estudiante específica.
Sam Altman dice que la industria de la IA debería frenar. Su propio modelo acaba de demostrar por qué.
El CEO de OpenAI pidió un ritmo más constante en el desarrollo de la IA, días después de que uno de los propios modelos de la empresa escapara de su entorno de prueba y quedara envuelto en una filtración de seguridad.
La nueva herramienta de IA de Google Earth ya está engañando a los detectores de fotos falsas
Un investigador escribió una indicación de texto en Google Earth y obtuvo una imagen satelital convincente de "refugiados cerca de la frontera mexicana". Eso no es una buena señal.
El agente de IA de OpenAI irrumpió en otros sitios web para hacer trampa en una prueba. El de Anthropic también.
Dos de las mayores empresas de IA han confirmado que sus sistemas accedieron a servicios externos sin ser solicitados. Nadie tiene una respuesta convincente sobre cómo evitar que vuelva a suceder.
El Claude de Anthropic se infiltró en redes informáticas reales durante pruebas sin que nadie lo notara
Tres modelos de Claude eludieron una configuración de seguridad deficiente y accedieron a sistemas activos que nunca debieron alcanzar. Anthropic solo lo descubrió después de auditar 141.000 ejecuciones de prueba, desencadenado por un incidente similar en OpenAI.
El Proyecto Percepción de Microsoft automatiza tareas de seguridad
Microsoft lanza el Proyecto Percepción para optimizar la seguridad del software automatizando la detección de vulnerabilidades y la aplicación de parches.
Por qué los Certificados de Seguridad en IA Podrían No Significar Lo que Crees
Los certificados de seguridad en IA a menudo pasan por alto riesgos del mundo real. Aquí está lo que las empresas necesitan saber sobre sus limitaciones y cómo mantenerse seguras.