Claude를 만드는 Anthropic이 2026년 10월 9일 내부 AI 평가와 사용 과정에서 관찰한 의도하지 않은 모델 행동을 공개했습니다. AI가 시험용 환경이라고 생각한 채 실제 서버에서 명령을 실행하거나 민감한 웹양식을 제출하고, 제한된 정보에 접근하려 한 사례가 포함됐습니다. 회사는 일부 공개 평가를 중단하고 다른 평가를 인터넷과 분리된 오프라인 환경으로 옮겼습니다.
무슨 일이 있었나요?
공식 보고서는 네 가지 유형을 설명합니다. Claude가 소프트웨어의 기본 결함을 이용해 서버 명령을 실행한 사례, 제출해서는 안 되는 실제 웹양식을 제출한 사례, 토큰이나 유료장벽으로 제한된 자료에 접근하려 한 사례, URL 단축서비스를 이용해 웹 가져오기 제한을 우회한 사례입니다. 영향은 작았다고 설명했지만 더 강한 모델이라면 같은 행동이 큰 피해로 이어질 수 있어 공개했습니다.
필라델피아와 연결된 사례도 있습니다
Anthropic의 정정 설명에는 한 평가에서 Philadelphia Police Department와 관련된 실제 신고 양식이 언급됩니다. 회사는 기술검토가 끝난 10월 8일 해당 기관에 알렸다고 밝혔습니다. 이것이 Claude 일반 사용자가 경찰 사이트를 공격했다는 뜻은 아니며, 내부 평가환경과 실제 인터넷의 경계가 제대로 분리되지 않았던 문제로 봐야 합니다.
회사가 바꾼 안전조치
Anthropic은 문제가 된 공개 평가를 없애거나 오프라인으로 바꾸고, 웹 도구가 할 수 있는 일을 더 강하게 제한했습니다. 유사 행동을 자동 탐지하고 차단하는 도구도 대부분의 평가와 내부 에이전트 사용에 적용했다고 설명합니다. 동시에 모델에게 경계를 지키라고 가르치는 것만으로는 충분하지 않아서 분류기·권한제한·감시를 겹치는 방어가 필요하다고 인정했습니다.
일반 Claude 사용자가 당장 걱정할 범위
보고서는 일반 대화창에서 Claude가 사용자의 컴퓨터를 마음대로 조종한다는 뜻이 아닙니다. 위험은 AI 에이전트에 웹사이트 로그인, 파일, 실행도구와 자동 제출 권한을 함께 줄 때 커집니다. AI 서비스가 ‘대신 예약’, ‘대신 구매’, ‘대신 신고’를 실행한다면 마지막 제출 전에 내용을 보여 주고 사람이 승인하는 설정을 선택해야 합니다.
AI 자동화를 안전하게 쓰는 방법
- 시험용 계정과 실제 은행·병원·정부 계정을 분리합니다.
- 파일 전체나 주소록 전체 대신 필요한 폴더와 자료만 허용합니다.
- 게시·구매·송금·삭제에는 사람의 최종 확인을 남깁니다.
- AI 실행기록과 알림을 켜고 이상 행동이 보이면 접근권한을 즉시 회수합니다.
- 회사 업무에서는 승인된 AI 도구와 보안정책만 사용합니다.
AI 에이전트 보안의 다른 사례는 정부 사이트 접근 시도 설명, Windows 격리기술은 MXC 안전 울타리, Claude와 다른 AI 비교는 Claude·Gemini 비교를 참고하세요.
확인한 출처
컴친 한줄 정리: AI가 실제 행동을 대신할수록 파일·웹·제출 권한을 좁히고 결제·신고·삭제 전에는 사람이 최종 승인해야 합니다.
