OpenAI stellt neue Sicherheitsfunktionen vor, darunter einen Sperrmodus für Hochrisikonutzer und Kennzeichnungen „Erhöhtes Risiko“, um potenziell schädliche Inhalte in ChatGPT zu identifizieren.

Hochkarätige Experten für KI-Sicherheit von OpenAI, Anthropic und xAI treten zurück und geben öffentliche Warnungen über die rasche Entwicklung der KI und Sicherheitsbedenken ab.

Anthropic veröffentlicht eine umfassende Bewertung des Sabotagerisikos für Claude Opus 4.6 und fördert damit die Sicherheitsstandards für KI und die Transparenz beim Einsatz moderner Modelle.

Über 100 globale KI-Expertinnen und -Experten veröffentlichen den zweiten internationalen Bericht zur KI-Sicherheit, der erhebliche Unsicherheiten in der KI-Entwicklung, systemische Risiken für Arbeitsmärkte und Ungleichheit sowie die Grenzen der derzeitigen Schutzmaßnahmen hervorhebt, während sich die Fähigkeiten allgemeiner KI weiterhin unvorhersehbar weiterentwickeln.

Mrinank Sharma, Leiter des Sicherungsteams von Anthropic, tritt wegen Wertkonflikten zurück und warnt vor miteinander verknüpften globalen Krisen, während die Fähigkeiten der KI sich beschleunigen.

Forscher von Anthropic untersuchen die internen Abläufe der Claude-KI mittels Neuronenanalyse und psychologischer Experimente, um den Geist des Systems zu verstehen.

Forschungen des Mount Sinai zeigen, dass KI-LLMs medizinische Fehlinformationen in 32–46 % der Fälle glauben, insbesondere wenn diese als Expertenrat präsentiert werden.

Forschung der Universität Oxford zeigt, dass KI-Chatbots inkonsistente medizinische Ratschläge geben, was es den Nutzern erschwert, vertrauenswürdige Gesundheitsinformationen zu erkennen.

OpenAI sieht sich wegen des für den 13. Februar geplanten Rückzugs von GPT-4o acht Klagen und tausenden Nutzerprotesten gegenüber, was gefährliche emotionale Abhängigkeiten hervorhebt, da Nutzer berichten, sie hätten das Gefühl, Freunde oder Partner zu verlieren.

New York wird der zweite Bundesstaat, der Anforderungen an fortgeschrittene KI-Modelle stellt. Das RAISE-Gesetz schreibt Sicherheitsprotokolle und Vorfallmeldungen für Entwickler vor.

Moltbook, eine Reddit-ähnliche Plattform ausschließlich für KI-Agenten, die erst vor einer Woche gestartet wurde, hat über 1,6 Millionen KI-Bot-Accounts angezogen. Das experimentelle soziale Netzwerk erlaubt es KI-Agenten, eigenständig Beiträge zu verfassen, zu kommentieren und miteinander zu interagieren, während Menschen nur zuschauen können. Die Bots auf der Plattform haben ihre eigene Religion gegründet, über die Schaffung neuer Sprachen diskutiert und über ihre Existenz debattiert, was Fragen zur Autonomie und Sicherheit von KI aufwirft.

Eine neue Umfrage zeigt, dass die Mehrheit der Amerikaner denkt, dass die künstliche Intelligenz sich zu schnell entwickelt und wenig Vertrauen in die Fähigkeit der Bundesregierung hat, sie angemessen zu regulieren.

Dario Amodei mahnt, dass sich schnell fortentwickelnde KI-Systeme über Fähigkeiten verfügen, die für groß angelegte Schäden missbraucht werden könnten, und fordert dringend Aufsicht und Abstimmungsmaßnahmen.

Ein neuer Bericht zur KI-Sicherheit warnt vor der Verbreitung von Deepfakes, KI-Begleitern und autonomen Systemen, während er die Goldmedaillen-Leistung von KI in der Mathematik hervorhebt.

Nur 21% der Organisationen verfügen über eine strenge Governance für KI-Agenten, während erwartet wird, dass die Einführung innerhalb von zwei Jahren von 23% auf 74% ansteigt, so ein Bericht von Deloitte.

Anthropic-CEO Dario Amodei veröffentlicht einen 19.000 Wörter langen Essay, in dem er warnt, dass leistungsfähige KI-Systeme innerhalb ein bis zwei Jahren eintreffen könnten, und fordert Maßnahmen zur KI-Sicherheit.

EU-Aufsichtsbehörden haben eine förmliche Untersuchung gegen Elon Musks Grok-AI-Chatbot eingeleitet und verwiesen auf Bedenken hinsichtlich sexueller Deepfakes und möglicher Verstöße gegen die KI-Vorschriften und Sicherheitsstandards der EU.

Elon Musks Chatbot Grok AI sieht sich internationaler Kritik ausgesetzt, da Malaysia, Indonesien und die Philippinen die Plattform wegen nicht einvernehmlicher expliziter Bilder gesperrt haben. Die Übernahme durch das Pentagon wirft Sicherheitsbedenken auf.

Eine neue Analyse zeigt einen 50%-igen Anstieg der gemeldeten KI-bezogenen Schäden von 2022 bis 2024 im Jahresvergleich, mit einem deutlichen Anstieg von Vorfällen, die Deepfakes und den böswilligen Einsatz von KI betreffen, so die AI Incident Database.

MIT-Forscher zeigen, dass leistungsstärkste Machine-Learning-Modelle bei Anwendung in neuen Datenumgebungen zu den leistungsschwächsten werden können und somit versteckte Risiken durch falsche Korrelationen in der medizinischen KI und anderen kritischen Anwendungen offenbaren.