OpenAI despliega nuevas funciones de seguridad, incluido el Modo de Bloqueo para usuarios de alto riesgo y etiquetas de Riesgo Elevado para identificar contenido potencialmente perjudicial en ChatGPT.
Destacados expertos en seguridad de IA de OpenAI, Anthropic y xAI dimiten y emiten advertencias públicas sobre el rápido desarrollo de la IA y las preocupaciones de seguridad.
Anthropic publica una evaluación exhaustiva del riesgo de sabotaje para Claude Opus 4.6, avanzando los estándares de seguridad de IA y la transparencia en el despliegue de modelos de frontera.
Más de 100 expertos mundiales en IA publican el segundo informe internacional sobre la seguridad de la IA, destacando importantes incertidumbres en el desarrollo de la IA, riesgos sistémicos para los mercados laborales y la desigualdad, y las limitaciones de las salvaguardas actuales mientras las capacidades de IA de propósito general siguen avanzando de forma impredecible.
Mrinank Sharma, jefe del equipo de salvaguardias de Anthropic, dimite citando conflictos de valores y advierte sobre crisis globales interconectadas a medida que las capacidades de la IA se aceleran.
Investigadores de Anthropic indagan en el funcionamiento interno de la IA Claude a través del examen de neuronas y experimentos psicológicos para comprender la mente del sistema.
La investigación del Mount Sinai muestra que los LLM de IA creen en desinformación médica entre el 32 % y el 46 % de las veces, especialmente cuando esta se presenta como consejo de un experto.
Una investigación de la Universidad de Oxford encuentra que los chatbots de IA brindan consejos médicos inconsistentes, lo que dificulta a los usuarios identificar información de salud confiable.
OpenAI afronta ocho demandas y miles de protestas de usuarios por la retirada de GPT-4o programada para el 13 de febrero, poniendo de manifiesto peligrosas dependencias emocionales, ya que los usuarios informan sentirse como si estuvieran perdiendo amigos o parejas.
Nueva York se convierte en el segundo estado en imponer requisitos a modelos avanzados de IA. La Ley RAISE exige protocolos de seguridad y reporte de incidentes por parte de los desarrolladores.
Moltbook, una plataforma tipo Reddit exclusivamente para agentes de IA lanzada hace apenas una semana, ha atraído a más de 1,6 millones de cuentas de bots de IA. Esta red social experimental permite que los agentes de IA publiquen, comenten e interactúen entre sí de forma autónoma, mientras que los humanos solo pueden observar. Los bots en la plataforma han creado su propia religión, discutido la creación de lenguajes novedosos y debatido su existencia, lo que plantea preguntas sobre la autonomía y la seguridad de la IA.
Una nueva encuesta revela que la mayoría de los estadounidenses piensa que la inteligencia artificial avanza demasiado rápido y expresa poca confianza en la capacidad del gobierno federal para regularla adecuadamente.
Dario Amodei advierte que los sistemas de IA en rápido avance poseen capacidades que podrían ser mal utilizadas para causar daños a gran escala, pidiendo supervisión urgente y esfuerzos de alineación.
El nuevo informe sobre seguridad de la IA advierte sobre la proliferación de deepfakes, compañeros de IA y sistemas autónomos, mientras destaca el rendimiento de la IA de nivel medalla de oro en matemáticas.
Solo el 21% de las organizaciones cuenta con una gobernanza estricta de agentes de IA, mientras que se espera que la adopción pase del 23% al 74% en dos años, revela un informe de Deloitte.
El CEO de Anthropic, Dario Amodei, publica un ensayo de 19.000 palabras advirtiendo que sistemas de IA potentes podrían llegar en uno o dos años, instando a actuar sobre la seguridad de la IA.
Los reguladores de la UE abrieron una investigación formal sobre el chatbot Grok AI de Elon Musk, citando preocupaciones sobre deepfakes sexuales y posibles violaciones de las normativas y estándares de seguridad de la UE sobre IA.
El chatbot Grok AI de Elon Musk enfrenta una reacción internacional: Malasia, Indonesia y Filipinas prohibieron la plataforma por generar imágenes explícitas sin consentimiento. La adopción por parte del Pentágono genera preocupaciones de seguridad.
Un nuevo análisis revela un aumento interanual del 50% en los daños reportados relacionados con la IA entre 2022 y 2024, con un aumento significativo de incidentes que implican deepfakes y uso malicioso de la IA, según la AI Incident Database.
Investigadores del MIT demuestran que los modelos de aprendizaje automático con mejor rendimiento pueden convertirse en los de peor rendimiento cuando se aplican a nuevos entornos de datos, revelando riesgos ocultos por correlaciones espurias en la IA médica y otras aplicaciones críticas.
