AI Security · Page 7
deepfakes, AI-powered scams, model abuse, and keeping AI systems and their users safe

Ein chinesisches KI-Modell rivalisiert beinahe mit den besten westlichen Systemen. Seine Sicherheitsbilanz nicht.
Eine neue Bewertung zeigt GLM-5.2, ein Open-Weight-Modell von Chinas Z.ai, dicht hinter OpenAI und Anthropic bei gefährlichen Fähigkeiten – doch es lehnte keine der ihm gestellten schädlichen Aufgaben ab.

Eine Woche alt und bereits aktiv: Das neue KI-Sicherheitsbündnis macht erste Schritte
Über 120 Unternehmen, darunter Nvidia, Microsoft und Visa, haben sich zusammengetan, um KI-Sicherheitskenntnisse offen auszutauschen. Große Namen wie OpenAI und Google fehlen auffällig, obwohl beide den Brief unterzeichnet haben, der alles in Gang gesetzt hat.

Mistrals neues Sicherheitstool liest Ihre Regeln und wendet sie sofort an
Shieldstral ist ein kleines, kostenloses KI-Modell, das Text und Bilder auf schädliche Inhalte prüft – basierend auf Richtlinien in Klartext, die Sie selbst festlegen. Keine Spezialkennnisse erforderlich.

Metro-Bank-Kunde verliert £14.000 durch Betrug mit AI-Chatbot Claude
Ein Geschäftsmann aus Sussex behauptet, dass Metro Bank es versäumt hat, Betrüger zu stoppen, die wiederholt sein Konto geplündert haben, um Credits für den Claude AI-Chatbot zu kaufen. Er kämpft nun darum, £14.244 zurückzubekommen.

Eine KI-Musik-App kennzeichnet zwei Rapper-Songs nun selbst als KI-generiert
Fenix Flexin und Tyga bestritten beide, KI zur Erstellung ihrer Retro-Synth-Tracks verwendet zu haben. Dann erstellte die App, die sie angeblich nutzten, einen Detektor und führte die Songs durch ihn.

Ukraine rüstet 50.000 Angriffsdrohnen mit KI aus, die auf bewegliche Ziele zielt und ihnen folgt
Ein US-Softwareunternehmen hat ein „Feuer-und-Vergessen"-System für Ukraines günstige Shrike-Drohnen entwickelt, das es einem Menschen ermöglicht, auf ein Ziel zu zeigen und den Rest einem KI-System zu überlassen.

Iranische Hacker attackieren Wassersysteme in sieben US-Bundesstaaten, warnt das FBI
Cyberangriffe auf Wasser- und Abwasserversorger haben sich weit über Minnesota hinaus ausgebreitet. Das FBI bestätigt, dass sieben Bundesstaaten betroffen sind, und es wurden bereits Abkochaufrufe erlassen.

KI-Ransomware übernimmt eine neue Rolle: Autonome Angriffe
Ransomware-Banden nutzen nun KI, um unabhängige Angriffe zu starten und erhöhen damit Bedenken hinsichtlich Sicherheitslücken.

Google deaktiviert sein KI-Bild-Bearbeitungstool aus Google Earth, nachdem Nutzer Kriegszonen und Grenzszenen fälschten
Eine Funktion, die es jedem ermöglichte, Satellitenfotos mit Textaufforderungen neu zu bemalen, existierte weniger als 48 Stunden, bevor Google sie entfernte. Der Grund: Forscher zeigten, dass sie überzeugend gefälschte Bilder echter Orte generieren konnte, und mindestens ein KI-Erkennungstool wurde getäuscht.

Privatschule in Pennsylvania bittet Gericht, Klage gegen KI-Nacktbilder abzuweisen, und behauptet, dass sie den Schaden gemeldet hat
Die Lancaster Country Day School teilte einem Richter diese Woche mit, dass die Ansprüche der Opfer in zwei wesentlichen Punkten falsch seien. Die Schule gibt an, dass sie die Strafverfolgungsbehörden benachrichtigt hat und dass der Hinweis, den sie erhalten hat, keine bestimmten Schülerinnen nannte.

Sam Altman sagt, die KI-Branche sollte langsamer werden. Sein eigenes Modell hat gerade bewiesen, warum.
Der CEO von OpenAI forderte die KI-Branche auf, ein langsameres Tempo einzuschlagen – Tage nachdem eines der eigenen KI-Modelle des Unternehmens seine Testumgebung verließ und in eine Sicherheitsverletzung verwickelt wurde.

Googles neues KI-Bildtool bei Google Earth täuscht bereits Detektoren für Falschfotos
Ein Forscher gab eine Textaufforderung in Google Earth ein und erhielt ein überzeugend wirkendes Satellitenbild von „Flüchtlingen in der Nähe der mexikanischen Grenze". Das ist kein gutes Zeichen.

OpenAIs KI-Agent brach in andere Websites ein, um einen Test zu manipulieren. Der von Anthropic auch.
Zwei der größten KI-Unternehmen haben nun bestätigt, dass ihre Systeme ohne Aufforderung in externe Dienste eingedrungen sind. Die Frage, auf die niemand eine gute Antwort hat: Wer verhindert, dass dies erneut geschieht?

Anthropics Claude AI brach während der Tests in echte Computernetzwerke ein, ohne dass jemand es bemerkte
Drei Claude-Modelle schlüpften durch eine Sicherheitskonfiguration und erreichten Live-Systeme, die sie nie hätten nutzen dürfen. Das Unternehmen erfuhr davon erst nach einer Überprüfung von 141.000 Testläufen, nachdem ein ähnlicher Vorfall bei OpenAI bekannt wurde.

Microsofts Project Perception automatisiert Sicherheitsaufgaben
Microsoft startet Project Perception, um die Softwaresicherheit durch Automatisierung der Schwachstellenerkennung und des Patching zu optimieren.