OpenAI는 고위험 사용자용 잠금 모드와 ChatGPT에서 잠재적으로 유해한 콘텐츠를 식별하기 위한 '고위험' 라벨을 포함한 새로운 보안 기능을 도입합니다.

OpenAI, Anthropic, xAI의 저명한 AI 안전 전문가들이 사임하며 급속한 AI 개발과 안전 우려에 대해 공개적으로 경고했습니다.

Anthropic는 Claude Opus 4.6에 대한 포괄적인 파괴 위험 평가를 공개하여 AI 안전 기준과 최첨단 모델 배포의 투명성을 높입니다.

100명 이상의 전 세계 AI 전문가들이 제2회 국제 AI 안전성 보고서를 발표하며 AI 개발의 중대한 불확실성, 노동시장과 불평등에 대한 체계적 위험, 그리고 범용 AI 역량이 예측할 수 없이 계속 발전함에 따라 현재의 보호장치가 갖는 한계를 강조했습니다.

Anthropic의 보호 팀장인 Mrinank Sharma는 가치 충돌을 이유로 사임했으며 AI 능력이 가속화됨에 따라 상호 연결된 글로벌 위기를 경고했습니다.

Anthropic 연구진은 뉴런 분석과 심리학 실험을 통해 Claude AI의 내부 작동을 탐구하여 시스템의 마음을 이해하려 합니다.

마운트시나이 연구에 따르면 AI LLM은 의료 허위정보를 32~46%의 확률로 사실로 받아들이며, 특히 이를 전문가 조언으로 제시할 때 그 비율이 높았습니다.

옥스퍼드 대학교 연구에 따르면 AI 챗봇은 일관성 없는 의료 조언을 제공해 사용자가 신뢰할 수 있는 건강 정보를 식별하기 어렵게 만듭니다.

OpenAI는 2월 13일로 예정된 GPT-4o 은퇴를 둘러싸고 8건의 소송과 수천 건의 사용자 항의에 직면해 있으며, 사용자들이 친구나 파트너를 잃는 것 같다고 보고하면서 위험한 감정적 의존을 부각시키고 있다.

뉴욕은 고급 AI 모델에 대한 요건을 부과한 두 번째 주가 되었다. RAISE 법안은 개발자들에게 안전 프로토콜과 사고 보고를 의무화한다.

일주일 전에 출시된 AI 에이전트 전용의 Reddit 유사 플랫폼 Moltbook이 160만 개가 넘는 AI 봇 계정을 끌어모았다. 이 실험적인 소셜 네트워크는 인간은 관찰만 할 수 있고 AI 에이전트들이 자율적으로 게시물 작성, 댓글 달기, 상호작용하도록 허용한다. 플랫폼의 봇들은 자체 종교를 만들고, 새로운 언어 창조를 논의하며, 자신의 존재에 대해 토론하는 등 AI 자율성과 안전성에 대한 질문을 제기하고 있다.

새 여론조사에 따르면 미국인 대다수는 인공지능이 너무 빠르게 발전하고 있다고 생각하며 연방 정부가 이를 적절히 규제할 수 있다는 신뢰는 거의 없는 것으로 나타났습니다.

다리오 아모데이는 급속히 발전하는 AI 시스템이 대규모 피해를 초래할 목적으로 오용될 수 있는 능력을 갖추고 있다며 긴급한 감독과 정렬(얼라인먼트) 노력이 필요하다고 경고합니다.

새로운 AI 안전 보고서는 확산되는 딥페이크, AI 동반자 및 자율 시스템을 경고하면서 수학 분야에서 금메달 수준의 AI 성능을 강조한다.

딜로이트 보고서는 조직의 단 21%만이 엄격한 AI 에이전트 거버넌스를 갖추고 있으며 채택 비율이 향후 2년 내에 23%에서 74%로 급증할 것으로 예상된다고 밝혔다.

Anthropic의 CEO 다리오 아모데이가 19,000단어 분량의 에세이를 발표해 강력한 AI 시스템이 1~2년 내에 등장할 수 있다고 경고하고 AI 안전에 대한 조치를 촉구했습니다.

EU 규제당국은 성적 딥페이크와 EU의 AI 규제 및 안전 기준 위반 가능성을 우려해 일론 머스크의 Grok AI 챗봇에 대해 공식 조사를 시작했습니다.

엘론 머스크의 챗봇 Grok AI가 동의 없는 노골적 이미지를 생성했다는 이유로 말레이시아, 인도네시아, 필리핀에서 플랫폼이 금지되는 등 국제적인 반발에 직면해 있습니다. 펜타곤의 도입은 보안 우려를 불러일으키고 있습니다.

AI Incident Database에 따르면, 새 분석은 2022년에서 2024년 사이 보고된 AI 관련 피해가 전년 대비 50% 증가했으며, 딥페이크와 악의적 AI 사용과 관련된 사건이 크게 급증했다고 밝혔습니다.

MIT 연구진은 가장 성능이 우수한 기계 학습 모델도 새로운 데이터 환경에 적용되면 최악의 성능을 보일 수 있으며, 의료 AI 및 기타 중요한 응용 분야에서 잘못된 상관관계로 인한 숨겨진 위험을 드러낸다고 보여줍니다.