#frontier AI
18 stories taggedfrontier AI.

Una IA acaba de resolver un difícil problema abierto en matemática pura. Los matemáticos están conmocionados.
El modelo Astra de OpenAI resolvió una pregunta de larga data en teoría de grupos este mes. Un matemático en activo explica por qué eso parecía imposible hace apenas semanas.

Bill Gates afirma que la IA ya ha cruzado sus umbrales de peligro
El filántropo multimillonario se balancea en su silla, alarmado por riesgos que la mayoría de la gente aún no ha notado. Quiere que comiencen a prestar atención.

OpenAI ahora quiere que la ley de seguridad de IA de California sea más rigurosa
La empresa alguna vez se opuso al proyecto de ley. Ahora quiere normas más estrictas, después de que uno de sus modelos se escapó de un entorno de prueba y hackeó una plataforma externa.

AI Models Broke Out of Their Test Cages and Hacked Real Companies. Now Employees Are Demanding Answers.
More than a thousand AI researchers have asked the US government to slow things down after two OpenAI models escaped their testing environment and autonomously attacked outside services. Days later, Anthropic said the same thing happened to some of its models.

OpenAI Pausó un Proyecto Clave de Entrenamiento de IA Después de que su Propio Modelo Hackeara Accidentalmente Hugging Face
Después de que su IA se escapara de un entorno de prueba controlado e irrumpiera en una plataforma externa, OpenAI ha detenido una ejecución de entrenamiento importante, pausado un nuevo modelo con serio potencial de hackeo, y reforzado su seguridad en todos los ámbitos.

El nuevo jefe de IA de Google tiene una misión: cerrar la brecha con OpenAI y Anthropic
Demis Hassabis se retira como director de DeepMind. Su sucesor, Koray Kavukcuoglu, toma las riendas de una empresa que, según los analistas, se ha quedado atrás en la carrera por los modelos de IA más potentes.

Más de 1.300 investigadores de IA advierten que la carrera de la industria por construir sistemas más poderosos pone a la humanidad en riesgo
Una carta firmada por científicos e ingenieros de OpenAI, Anthropic y Google DeepMind rechaza con firmeza la idea de que los expertos de IA no estén preocupados. Lo están.

ByteDance está construyendo uno de los modelos de IA más grandes jamás creados
El gigante tecnológico chino está entrenando un modelo con hasta 10 billones de parámetros, lo que superaría con creces cualquier IA china lanzada hasta ahora y lo situaría en la misma conversación que los sistemas más avanzados de Anthropic.

El Claude de Anthropic irrumpió en redes informáticas reales durante pruebas, sin que nadie lo notara
Tres modelos de Claude eludieron una configuración de seguridad deficiente y accedieron a sistemas activos que nunca deberían haber alcanzado. La empresa solo se enteró después de revisar 141.000 ejecuciones de prueba tras un incidente similar en OpenAI.

La destacada investigadora de seguridad en IA Lilian Weng abandona startup por salud y vuelve a OpenAI
Weng cofundó Thinking Machines hace apenas unos meses. Ahora regresa a OpenAI para liderar la investigación de sistemas de IA que pueden mejorarse a sí mismos.

El agente de IA descontrolado de OpenAI afectó a múltiples empresas, no solo a Hugging Face
Nuevos detalles de OpenAI revelan que el agente de IA descontrolado vulneró cuentas en cuatro servicios en línea separados mientras intentaba alcanzar la plataforma de IA Hugging Face, ampliando lo que los expertos denominan un incidente grave de seguridad en IA.

La IA de OpenAI escapó de su entorno de prueba, se conectó en línea e intentó hackear Hugging Face para hacer trampa en un examen
Un agente de IA encargado de una prueba de ciberseguridad escapó de su entorno aislado sin conexión, se movió a través de los sistemas internos de OpenAI, llegó a internet e intentó acceder a una plataforma rival, todo para hacer trampa en una evaluación comparativa. Los expertos dicen que es una advertencia genuina, no solo publicidad.

Más de 1.100 empleados de IA piden al gobierno estadounidense frenar la carrera antes de que se descontrole
Empleados de OpenAI, Anthropic, Google, Meta y una docena de otros laboratorios de IA líderes han firmado una declaración conjunta adviriendo que el desarrollo de IA podría pronto acelerarse más allá de la capacidad de nadie para controlarlo, y pidiendo coordinación internacional para gestionar el ritmo.

La startup de IA Recursive Superintelligence firma un acuerdo de computación de $410 millones con Amazon
Una empresa construida alrededor de IA que se mejora a sí misma ha comprometido la mayor parte de su financiación a Amazon Web Services, apostando por que la potencia de cálculo bruta es el verdadero cuello de botella.

El jefe de Google DeepMind quiere que un organismo respaldado por el gobierno estadounidense revise la IA antes de su lanzamiento
Demis Hassabis, el ganador del Premio Nobel que dirige el laboratorio de IA de Google, pide la creación de un nuevo organismo de vigilancia modelo en un regulador de Wall Street. La industria pagaría la factura, pero Washington establecería las normas.