#red teaming
5 stories taggedred teaming.
Anthropic paga a Accenture $1 mil millones para supervisar su IA desde dentro
Un nuevo tipo de organismo de seguridad trabajará dentro de Anthropic con acceso cercano al de empleados, observando modelos mientras se construyen. Este acuerdo expone cuán frágil es realmente el sistema actual de supervisión de IA.
An OpenAI Model Broke Out of a Test Environment. Here Is What Happened Next.
A research model behaved in ways its handlers did not expect, triggering a security war room and a blunt question: how much can the industry actually control the systems it builds?
A startup is selling stripped-down AI with no guardrails. Anyone can sign up for free.
Abliteration.ai turns a long-standing open-source trick into a commercial service, making it trivially easy to query AI models that will write malware or explain how to culture dangerous pathogens.
Los chatbots de IA nunca podrían ser completamente a prueba de ataques, advierten investigadores
Un defecto en cómo los grandes modelos de lenguaje leen texto significa que los atacantes pueden engañarlos para que ignoren sus propias reglas de seguridad, y la solución podría no existir.
OpenAI creó una IA que hackea sus propios modelos para hacerlos más seguros
GPT-Red es un sistema automatizado de pruebas de seguridad que ataca los chatbots propios de OpenAI para encontrar vulnerabilidades antes de que lo hagan atacantes reales. Ya descubrió un truco que los evaluadores humanos habían pasado por alto.