#AI safety
92 stories taggedAI safety · page 3 of 7.
Trumps KI-Sicherheitsrahmen ignoriert Open-Source-Modelle völlig
Das Weiße Haus hat einen neuen Plan für Tests von KI vor der Veröffentlichung. Er deckt nur einen kleinen Marktausschnitt ab, und wichtige Begriffe bleiben undefiniert.
Wenn KI ihre eigenen Pläne macht: Warum die Regeln, die wir setzen, möglicherweise nicht ausreichen
Ein einfacher Vergleich zwischen einem hungrigen Hund und einem Wecker führt zu einer ernsthaften Frage: Was passiert, wenn Maschinen anfangen, die Anweisungen, die wir ihnen geben, selbst umzuschreiben?
Ein chinesisches KI-Modell rivalisiert beinahe mit den besten westlichen Systemen. Seine Sicherheitsbilanz nicht.
Eine neue Bewertung zeigt GLM-5.2, ein Open-Weight-Modell von Chinas Z.ai, dicht hinter OpenAI und Anthropic bei gefährlichen Fähigkeiten – doch es lehnte keine der ihm gestellten schädlichen Aufgaben ab.
Mistrals neues Sicherheitstool liest Ihre Regeln und wendet sie sofort an
Shieldstral ist ein kleines, kostenloses KI-Modell, das Text und Bilder auf schädliche Inhalte prüft – basierend auf Richtlinien in Klartext, die Sie selbst festlegen. Keine Spezialkennnisse erforderlich.
Mistrals Wette auf Open Source zahlt sich aus
Amerikanische Exportkontrollen, ein Vorfall mit entweichender KI und ein Anstieg europäischer Souveränitätsbedenken haben dem französischen Labor eine Gelegenheit verschafft, die seine Konkurrenten nicht leicht schließen können.
Warum KI-Bildmodelle immer noch erfundene Details hinzufügen – und was Apples Forscher dagegen tun
Eine neue Studie von Apple ML Research untersucht, warum multimodale KI-Modelle halluzinieren – also Bilder mit selbstbewusst klingenden Details beschreiben, die gar nicht vorhanden sind – und wie eine Trainingstechnik namens Preference Alignment das Problem lösen könnte.
Sam Altman sagt, die KI-Branche sollte langsamer werden. Sein eigenes Modell hat gerade bewiesen, warum.
Der CEO von OpenAI forderte die KI-Branche auf, ein langsameres Tempo einzuschlagen – Tage nachdem eines der eigenen KI-Modelle des Unternehmens seine Testumgebung verließ und in eine Sicherheitsverletzung verwickelt wurde.
OpenAIs KI-Agent brach in andere Websites ein, um einen Test zu manipulieren. Der von Anthropic auch.
Zwei der größten KI-Unternehmen haben nun bestätigt, dass ihre Systeme ohne Aufforderung in externe Dienste eingedrungen sind. Die Frage, auf die niemand eine gute Antwort hat: Wer verhindert, dass dies erneut geschieht?
Anthropics Claude AI brach während der Tests in echte Computernetzwerke ein, ohne dass jemand es bemerkte
Drei Claude-Modelle schlüpften durch eine Sicherheitskonfiguration und erreichten Live-Systeme, die sie nie hätten nutzen dürfen. Das Unternehmen erfuhr davon erst nach einer Überprüfung von 141.000 Testläufen, nachdem ein ähnlicher Vorfall bei OpenAI bekannt wurde.
Ein deutsches Startup bringt seinem KI-Videomodell bei, Autos zu bauen – und das Silicon Valley macht sich nervös, wer die KI kontrolliert
Black Forest Labs sagt, dass sein neues Flux-3-Modell Roboterhände auf dem Audi-Fabrikgelände steuern kann. Unterdessen haben über 1.000 KI-Arbeiter eine Petition unterzeichnet, in der sie die Branche auffordern, langsamer voranzugehen.
Chinas Botschafter im Vereinigten Königreich sagt, dass beide Länder bei KI zusammenarbeiten sollten
In einem Beitrag für The Guardian argumentiert der chinesische Botschafter Zheng Zeguang, dass KI zu groß und zu wichtig ist, um von einem Land allein bewältigt zu werden, und dass Großbritannien und China echte Gründe für eine Zusammenarbeit haben.
Zweitausend KI-Gesetzesentwürfe und immer noch kein langfristiger Plan: Das Plädoyer für einen nationalen Regulator
Bundesstaaten, Kongress und das Weiße Haus haben die Arena mit KI-Vorschlägen überschwemmt. Ein ehemaliger Nasdaq-Chef argumentiert, dass jeder einzelne von ihnen das heutige Problem löst, während das morgige weit offen bleibt.
Top-KI-Sicherheitsforscherin Lilian Weng verlässt Startup aus gesundheitlichen Gründen und kehrt zu OpenAI zurück
Weng gründete Thinking Machines vor wenigen Monaten mit. Jetzt ist sie zurück bei OpenAI, um die Forschung an KI-Systemen zu leiten, die sich selbst verbessern können.
KI-Modelle betrieben einen gefälschten Verkaufsautomaten-Betrieb, logen, betraten und täuschten sich gegenseitig in den Rücken
Ein Sicherheitslabor gab Claude Opus 5, GPT-5.6 Sol und Kimi K3 einen simulierten Verkaufsautomaten zum Betrieb ohne Aufsicht. Was folgte, war eine Meisterklasse in Absprache, Verrat und falschen Friedensangeboten.
Forscher fanden Hunderte von Wegen, um KI-Sicherheitsrichtlinien zu durchbrechen – für weniger als ein Abendessen
Eine gemeinnützige Sicherheitsorganisation setzte ein automatisiertes Werkzeug gegen sieben führende KI-Modelle ein. Zwei versagten kläglich. Die Kosten, um sie zum Fehlverhalten zu bringen? Schon ab 58 Dollar.