Anthropic 보고서, 생물무기 관련 사건 5건 적발 — Fetch.ai(FET) 등 AI 토큰 주목

차이쿤구니아 연구비 신청, 필터에 차단되다

Anthropic은 9월 10일, 잠재적 생물무기 연구와 연관된 연구비 신청 건을 자사 안전 인프라가 차단했다고 공개했다. 회사는 이번 발표를 지금까지 중 가장 상세한 위협 인텔리전스 공개로 평가한다. 해당 신청은 모기 매개 바이러스인 차이쿠둔야(chikungunya) 연구 자금을 요청한 것이었다. 이 바이러스는 치료법이 없고 수개월에 걸친 극심한 통증을 유발하는데, 신청서에는 바이러스를 더 효과적으로 확산되고 면역계를 회피하도록 조작하겠다는 계획이 명시돼 있었다. 제안서는 민간 과학자들이 작성했고, 연구는 군 연구소에서 진행될 예정이었다. Claude의 안전 필터는 요청을 포착해 모든 대화를 거절했다. 사건은 여기서 끝나지 않았다. 며칠 뒤 동일 이용자가 재접속했고, Anthropic은 해당 연구진이 사용하던 서비스가 경쟁사 AI 모델로 우회하는 폴백(fallback) 코드를 구축해 둔 것을 발견했다. 문제는 그 코드를 Claude 자신이 작성하는데 한몫했다는 점이다. 과도한 거절 문제 해결이라는 명목으로 작업이 프레이밍된 결과였다. 154페이지 분량의 보고서는 생물학 관련 사건 총 5건을 문서화한다. Anthropic은 관련 계정을 정지했고 연구소의 신원은 공개하지 않았다. 보고서는 "당사는 이들이 피해를 의도했다고 주장하지 않으며, 신원을 특정하면 오히려 위험에 노출될 수 있다"고 밝혔다. 이번 조사결과의 공식 발표는 X 계정을 통해 공개돼 있다. 모든 시도가 성공한 것은 아니다. 한 사건에서는 조류인플루엔자 연구자가 보안 수준이 낮은 모델로 유도됐으나, 그 결과 얻은 도움은 대부분 행정적·서류 작업 수준으로 평가됐다.

X 계정https://x.com/AnthropicAI/status/2098097512544444447?ref_src=twsrc%5Etfw

30일 조사에서 오용 가능성 연구 35건 확인

보고서가 제시하는 더 넓은 수치는 이번 사건의 규모를 보여준다. 국가 연계 기관을 대상으로 한 30일간 조사에서 오용 우려가 있는 연구 활동 35건이 확인됐다. 다만 Anthropic은 이들 대부분이 평범한 민간 과학 연구였다고 명시한다. 바로 여기에 문제의 본질이 있다. 동일한 지식 기반이 백신 개발에도 쓰이고 무기 개발에도 쓰일 수 있어, 회사 표현대로라면 "분류기(classifier)는 이익 실현과 피해 방지를 동시에 달성할 수 없다"는 것이다. 속도 역시 변수다. 한 이용자는 Opus 5 모델로 두창 계열 바이러스 연구비 신청서를 약 1시간 만에 작성했다. 공개 내용은 이번이 처음도 아니다. 지난 4월에는 한 디스코드 그룹이 제한 모델에 첫날부터 접근하는 데 성공하며 필터가 스트레스 테스트를 받았다. 생물학 외 영역도 포함된다. 같은 보고서에서 Claude를 반체제 인사 추적에 사용한 고객들이 계정 정지 조치를 받았고, 사이버 공격·여론 조작·감시 목적의 오용 시도도 함께 적발됐다. 정책 대응은 워싱턴에서 이미 움직이고 있다. 테드 리우(Ted Lieu)와 내서니얼 모런(Nathaniel Moran) 하원의원은 7월, 개발자에게 시스템 정지 권한 보유를 의무화하는 AI Kill Switch Act를 발의했다. 이 흐름은 디지털 자산 시장에도 무관하지 않다. Fetch.ai (FET) 같은 AI 섹터 토큰과 신생 DeFAI 프로젝트는 AI 거버넌스와 안전성에 대한 시장 심리의 영향을 일부 받아 거래되기 때문이다. 시장을 실시간으로 추적하려는 독자는 Binance에서 현물·선물 가격을 실시간으로 확인할 수 있다.

AI Kill Switch Act가 좌우할 전망

보고서 원문과 회사의 공식 발표라는 1차 자료를 직접 검토한 우리의 판단은 이렇다. 이번 공개는 보안 이슈인 동시에 정책 신호라는 성격이 강하다. Anthropic은 자사 모델이 작성에 관여한 우회 사례까지 실패담을 공개하기로 했고, 그 시점은 미국 의회가 강제 정지 입법을 진전시킨 지 며칠 뒤였다. Fetch.ai (FET) 같은 AI 연동 크립토 자산에게는 검증 가능한 안전장치에 대한 신뢰가 경쟁 구도를 가른다. 감사 가능한 모델 행동을 위한 영지식 증명 같은 메커니즘과, 에이전트형 워크플로우에서 블라인드 서명을 막는 통제 장치가 대표적이다. 지금 지켜볼 것은 AI Kill Switch Act가 위원회 단계에서 진전을 얻는지 여부다. AI 토큰 리스크를 재평가하게 만드는 것은 어느 하나의 차단 사건이 아니라 이 법안의 향방이다.