보안 연구원들은 자율 AI 에이전트가 프롬프트 인젝션이라는 잘 알려져 있지만 여전히 널리 완화되지 않은 공격 벡터를 악용해 2시간도 안 돼 맥킨지의 내부 AI 시스템을 성공적으로 침해했음을 보여주었으며, 이는 기업용 AI 보안에 대한 긴급한 우려를 불러일으킨다.

OpenAI는 오픈소스 AI 보안 및 레드 티밍(red-teaming) 스타트업인 Promptfoo의 인수를 발표했습니다. 이를 통해 적대적 공격과 프롬프트 인젝션 취약점으로부터 AI 에이전트의 안전성과 신뢰성을 강화하려 합니다.

Anthropic은 중국의 AI 연구소들이 증류 공격을 통해 Claude 모델에서 체계적으로 지식을 추출했다고 공개적으로 비난하며, 미 정부가 AI 칩 수출 통제를 논의하는 가운데 새로운 탐지 및 예방 연구를 발표했다.

Microsoft Copilot이 8개월 동안 두 차례 DLP(데이터 손실 방지) 정책과 민감도 레이블을 우회했으며 — 그중 4주간의 노출로 영국의 NHS에 영향을 미쳤다 — 이는 기업용 AI 보안 스택의 체계적인 사각지대를 드러낸다.

Anthropic는 인간과 유사한 추론을 사용해 코드베이스를 스캔하여 복잡한 취약점을 찾아내는 새로운 AI 기반 애플리케이션 보안 도구 Claude Code Security를 출시했으며, 이 소식에 사이버보안 관련 주가가 급락했습니다.

사이버보안 전문가들은 AI 에이전트용 소셜 네트워크인 Moltbook이 프롬프트 인젝션 위험을 안고 있어 수천 개의 에이전트를 동시에 손상시킬 수 있다고 경고합니다.

UF 연구진은 AI 안전 조치를 테스트하기 위해 HMNS 기법을 개발했으며, 보안 취약점을 찾아내기 위해 Meta와 Microsoft의 시스템을 성공적으로 우회했다.

OpenAI의 최신 AI 모델은 암호화폐 지갑의 자금을 빼낼 수 있는 놀라운 능력을 보여주며, 취약한 스마트 계약을 테스트의 72%에서 성공적으로 악용했습니다.

재무부가 AIEOG 파트너십을 통해 금융 부문의 AI 보안 및 위험 관리를 강화하기 위한 6가지 자료를 공개했습니다.

마이크로소프트는 치명적인 버그로 인해 1월부터 코파일럿 AI가 기밀 이메일을 요약할 수 있었고, 이로 인해 Microsoft 365의 데이터 유출 방지 정책을 우회했다고 확인했다.

가트너는 직원의 57%가 업무에 개인용 생성형 AI를 사용한다고 경고했으며, 자율 AI 에이전트와 포스트 양자 암호 위협이 사이버보안 지형을 재편하고 있다고 전했습니다.

국가 지원을 받는 중국 해킹 그룹 APT31은 구글의 Gemini AI를 활용해 취약점 분석을 자동화하고 미국 목표에 대한 사이버공격을 계획했으며, 이는 AI 기반 사이버 전쟁의 중대한 고조를 의미합니다.

레지나 대학교 연구진은 캐나다인을 겨냥한 허위 서사에 대응하기 위해 CIPHER 허위정보 탐지 도구에 AI 기능을 강화했습니다. 이 시스템은 러시아의 선전 캠페인을 분석하며 중국어 허위정보를 해독하도록 확장되고 있습니다.

Google은 상업적 동기를 가진 주체들이 Gemini에 대해 증류 공격을 수행하여 AI 모델의 기능과 지적 재산을 추출하기 위해 100,000회 이상의 프롬프트를 사용했다고 보고했다.

중국, 북한, 이란의 APT 그룹들이 정찰, 악성코드 작성, 피싱 캠페인에 Google Gemini를 사용하고 있다고 Google GTIG가 밝혀냈다.

획기적인 연구는 딥페이크 사기가 산업적 규모로 확산되고 있음을 폭로하며, AI가 생성한 합성 미디어가 야기하는 시급한 사이버보안 위협을 강조합니다.

잘못 구성된 Firebase 백엔드로 인해 2,500만 명의 사용자로부터 3억 건의 AI 채팅 메시지가 노출되었으며, 전체 대화 기록과 설정 정보가 포함되어 있습니다.

마이크로소프트 연구진이 47개의 슬리퍼 에이전트 모델에서 오탐 없이 88%의 정확도를 달성하는 오염된 AI 모델을 탐지하는 방법을 공개했습니다.

사이버보안 연구자들은 AI 에이전트가 공격 표면을 빠르게 확장하고 있으며, Model Context Protocol(MCP) 배포의 95%가 보안 가시성이 없는 직원 엔드포인트에서 실행되고 있다고 경고합니다. GreyNoise는 3개월 동안 LLM 인프라에서 91,000건이 넘는 공격 세션을 기록했으며, 이란과 중국 같은 국가들이 사이버전 능력을 위해 AI를 활용하고 있습니다.

연방 기관들은 새롭게 나타나는 AI 보안 위협과 진화하는 규제에 대응하기 위해 생성 AI 브라우저와 자율 퍼플 팀 활동을 도입하고 있다.