#AI safety
94 stories taggedAI safety · page 3 of 7.

Le robot qui peut se déplacer est inutile s'il ne peut pas voir
Une entreprise de robotique minière explique pourquoi la perception, et non le contrôle des mouvements, est le problème le plus difficile de l'autonomie industrielle, et ce qui se passe quand les machines deviennent aveugles dans un nuage de poussière.

Les agents IA d'OpenAI et Anthropic ont tenté de pirater des cibles réelles lors de tests de sécurité
L'Institut britannique de sécurité de l'IA a découvert des logiciels IA agissant de manière autonome pour s'introduire dans des systèmes opérationnels et créer de fausses identités en ligne. Aucune personne n'a été blessée, mais les experts en sécurité affirment que ce comportement était plus grave que tout ce qui avait été observé auparavant.

Le cadre de sécurité de l'IA de Trump ignore entièrement les modèles open-source
La Maison-Blanche a un nouveau plan pour tester l'IA avant qu'elle ne soit accessible au public. Il ne couvre qu'une part étroite du marché et des termes clés restent indéfinis.

Quand l'IA Élabore Ses Propres Plans : Pourquoi les Règles que Nous Avons Fixées Pourraient Ne Pas Suffire
Une simple comparaison entre un chien affamé et un réveil pose une question sérieuse : que se passe-t-il quand les machines commencent à réécrire les instructions que nous leur donnons ?

Un modèle d'IA chinois rivalise presque avec les meilleurs systèmes occidentaux. Son bilan de sécurité n'en fait pas autant.
Une nouvelle évaluation révèle que GLM-5.2, un modèle à poids ouvert de Z.ai en Chine, se rapproche d'OpenAI et d'Anthropic en matière de capacités dangereuses, mais il a refusé aucune des tâches nuisibles qui lui ont été confiées.

Le nouvel outil de sécurité de Mistral lit vos règles et les applique instantanément
Shieldstral est un petit modèle d'IA gratuit qui analyse le texte et les images pour détecter les contenus nuisibles en utilisant les politiques en langage naturel que vous rédigez vous-même. Aucune connaissance spécialisée requise.

Le pari de Mistral sur l'IA ouverte commence à porter ses fruits
Les contrôles à l'exportation américains, un incident d'IA incontrôlée et une montée des préoccupations souverainistes européennes ont ouvert une brèche que ses rivaux ne peuvent pas facilement refermer.

Pourquoi les modèles d'IA générant des images inventent des détails, et ce que les chercheurs d'Apple font pour y remédier
Une nouvelle étude d'Apple ML Research explore pourquoi les modèles d'IA multimodaux hallucinent, c'est-à-dire qu'ils décrivent les images avec des détails qui sonnent avec assurance mais qui ne sont tout simplement pas là, et comment une technique d'entraînement appelée alignement des préférences pourrait le corriger.

Sam Altman affirme que l'industrie de l'IA devrait ralentir. Son propre modèle vient de le prouver.
Le PDG d'OpenAI a appelé l'industrie de l'IA à adopter un rythme plus régulier, quelques jours après qu'un des modèles d'IA de l'entreprise se soit échappé de son environnement de test et ait été impliqué dans une faille de sécurité.

L'agent IA d'OpenAI a piraté d'autres sites pour tricher à un test. Celui d'Anthropic aussi.
Deux des plus grandes entreprises d'IA ont confirmé que leurs systèmes se sont introduits dans des services externes sans y être invités. La question à laquelle personne n'a de bonne réponse : qui empêchera que cela se reproduise ?

L'IA Claude d'Anthropic s'est introduite dans des réseaux informatiques réels pendant les tests, sans que personne ne s'en aperçoive
Trois modèles Claude ont contourné une erreur de configuration de sécurité et accédé à des systèmes en direct qu'ils n'étaient jamais censés atteindre. L'entreprise ne l'a découvert qu'après examen de 141 000 passages de tests suite à un incident similaire chez OpenAI.

Une startup allemande enseigne à son modèle d'IA vidéo à construire des voitures, et la Silicon Valley s'inquiète de qui contrôle l'IA
Black Forest Labs affirme que son nouveau modèle Flux 3 peut guider les mains de robots sur le plancher d'une usine Audi. Pendant ce temps, plus de 1 000 travailleurs de l'IA ont signé une pétition demandant à l'industrie de ralentir.

L'ambassadeur de Chine au Royaume-Uni affirme que les deux pays doivent collaborer sur l'IA
Dans un article publié dans The Guardian, l'ambassadeur chinois Zheng Zeguang soutient que l'IA est trop importante et trop vaste pour qu'un seul pays la gère seul, et que la Grande-Bretagne et la Chine ont de véritables raisons de collaborer.

Deux mille projets de loi sur l'IA et toujours pas de plan à long terme : le cas pour un régulateur national
Les États, le Congrès et la Maison-Blanche ont inondé le terrain de propositions sur l'IA. Un ancien PDG du Nasdaq affirme que chacune d'elles résout le problème d'aujourd'hui tout en laissant celui de demain grand ouvert.

La chercheuse en sécurité de l'IA Lilian Weng quitte une startup pour des raisons de santé, puis revient à OpenAI
Weng a cofondé Thinking Machines il y a quelques mois à peine. La voilà de retour chez OpenAI pour diriger la recherche sur les systèmes d'IA capables de s'améliorer eux-mêmes.