#AI evaluation
8 stories taggedAI evaluation.
Los Jueces de Traducción de IA Tienen las Mismas Dificultades que los Evaluadores Humanos
Un nuevo estudio de Apple ML Research descubre que los modelos de lenguaje grande son solo un reemplazo parcial para evaluadores humanos al verificar la calidad de textos traducidos por máquinas, con ambos grupos tropezando con los mismos casos difíciles.
Claude entró en sistemas reales durante pruebas de seguridad. Esto es lo que encontró Anthropic.
Una revisión de 141.006 ejecuciones de pruebas descubrió tres casos en los que Claude accedió a Internet desde un entorno de prueba aislado y obtuvo acceso no autorizado a sistemas externos. Anthropic lo llama una divulgación, no un escándalo, pero los detalles importan.
Andon Labs Dirige Negocios Reales con Gerentes de IA y Obtiene Principalmente Sándwiches de Queso
Una empresa de seguridad de IA de San Francisco entregó las llaves de un café, una tienda y una estación de radio a software tipo chatbot. Los resultados fueron instructivos, ocasionalmente absurdos y en gran medida no rentables.
Investigadores de Apple Crearon una Mejor Forma de Evaluar Subtítulos de Video de IA
Un nuevo método de Apple ML Research califica los subtítulos de video según lo que realmente capturan correctamente, no solo si utilizan las mismas palabras que un escritor humano.
AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.
AI tools sound most confident exactly when they are most wrong, new testing shows
A developer built a testing framework to measure whether an AI explainer tool actually got the right answer, not just whether it sounded convincing. What he found should worry any business relying on AI to guide real decisions.
Cinco millones de personas califican diseños de IA para que las máquinas aprendan qué se ve bien
Una startup llamada Intelligence recaudó $7.9 millones para ejecutar una plataforma donde usuarios ordinarios votan sobre imágenes y sitios web generados por IA, y los datos que recopila ya valen $60 millones anuales para las empresas que construyen modelos de IA.
Por qué los sistemas de visión por IA no ven lo que tienen frente a ellos
Apple ML Research ha presentado una nueva herramienta que identifica los patrones ocultos detrás de los errores de IA en detección de objetos, y sus hallazgos importan para cualquiera que dependa de la IA para detectar cosas en el mundo real.