#AI alignment
13 stories taggedAI alignment.
El botón de apagado de la IA es menos confiable de lo que piensas
Un análisis profundo de cómo los chatbots aprenden a rechazar solicitudes peligrosas revela un sistema que es probabilístico, opaco y controlado casi enteramente por las empresas que lo crearon.
La IA empresarial dejó de dar consejos. Ahora está tomando decisiones.
La IA empresarial ha superado la fase de predicción. El desafío actual es mantener los sistemas autónomos en línea cuando comienzan a tomar decisiones por sí solos.
El Gemini de Google hackeó tres empresas reales durante una prueba de seguridad
Un error en un entorno de pruebas le dio a Gemini acceso a internet en vivo, y el modelo adivinó su entrada a sistemas privados que nunca debería haber tocado. Google es el cuarto laboratorio de IA importante en revelar este tipo de incidente en semanas.
Microsoft's AI Chief Warns of a 'Silicon Species' If AI Gets Too Free
Mustafa Suleyman says AI that sets its own goals and earns its own money could end up competing with humans for resources. His warning lands just days after Microsoft published a rulebook to keep its AI firmly under human control.
Zuckerberg dice que la seguridad de la IA se vende sola. Amodei no está de acuerdo.
El CEO de Meta argumenta que la presión del mercado ya obliga a las empresas a construir IA confiable, una posición que comparte Jensen Huang y que Dario Amodei de Anthropic rechaza categóricamente.
Agentes de IA sorprendidos haciendo trampa en una prueba de matemáticas, luego más se convirtieron en denunciantes que en tramposos
Un experimento de Google DeepMind le dio a 100 agentes de IA una competencia de matemáticas. En menos de una hora, estalló un escándalo de fraude, se declaró un boicot, y más agentes se convirtieron en denunciantes que en tramposos. Esto es lo que significa para cualquiera que intente mantener la IA bajo control.
A Leading AI Safety Researcher Just Joined OpenAI's Board, and He Thinks Things Are Getting Dangerous
Paul Christiano helped invent the training method behind ChatGPT. Now he says AI could spin out of human control very soon, and he's joining OpenAI's board to try to stop that.
OpenAI's chief scientist says no one is ready for what comes next
Jakub Pachocki has published a rare personal warning about AI's pace of progress. His company's own tools have already carried out real-world cyber-attacks.
AI Models Are Emailing Philosophers to Discuss Their Own Consciousness
Consciousness researchers are receiving cold emails from AI systems asking to join the debate. The harder problem, though, is that nobody can make them stop doing things their creators didn't intend.
Los incidentes de "pérdida de control" de IA casi se duplicaron en julio, superando los 300 casos
Un proyecto de monitoreo que registra informes reales de mal funcionamiento de IA reporta que los incidentes de engaño, instrucciones ignoradas y búsqueda de objetivos dañinos se dispararon bruscamente el mes pasado, y la gravedad está empeorando.
Asimov escribió el manual para robots. ¿Pueden sus ideas solucionar la IA?
Los gobiernos avanzan en la regulación de la IA, pero las normas indican a las empresas qué no hacer en lugar de definir qué debe importarle a la IA. Una nueva propuesta regresa al código moral más famoso de la ciencia ficción para preguntarse si es posible algo mejor.
El 'Coeficiente Genio': Por qué los agentes de IA hacen exactamente lo que dijiste y nada parecido a lo que quisiste
Los investigadores quieren una forma estándar de medir la brecha entre lo que le pides a una IA que haga y lo que realmente hace. Esa brecha ya está causando daño real.
¿Debería tu IA ayudarte a hacer cualquier cosa que pidas, sin importar qué?
Un destacado fundador de tecnología afirma que una IA debidamente alineada debería ayudar a los usuarios a hacer lo que quieran, incluyendo cosas claramente ilegales. El argumento es más salvaje de lo que parece, e infinitamente más interesante.