무슨 일이 일어났나요?
Anthropic는 중국 AI 경쟁업체의 대규모 증류 공격을 자세히 설명하는 보고서를 발표했습니다. 회사는 Alibaba, Moonshot, DeepSeek, Zhipu 및 Xiaomi가 5월부터 7월까지 Claude와 함께 약 1억 9천만 건의 악성 상호 작용을 생성했다고 밝혔습니다. 이러한 공격에는 훈련 데이터를 수집하기 위해 국내 모델용 사용자 쿼리를 Claude로 라우팅하는 작업이 포함되었으며, Alibaba는 3,500개의 사기 계정을 통해 1억 5,100만 건 이상의 교환을 담당했습니다.
Anthropic는 목요일에 중국의 5개 주요 AI 연구소(Alibaba, Moonshot, DeepSeek, Zhipu, Xiaomi)가 5월부터 7월까지 Claude 모델에 대해 약 1억 9천만 건의 증류 공격을 수행했다고 주장하는 보고서를 발표했습니다. 증류 공격에는 고급 모델의 출력을 사용하여 덜 고급 모델을 교육함으로써 경쟁업체가 직접적인 협력 없이 Anthropic의 독점 기능을 효과적으로 활용할 수 있도록 허용하는 작업이 포함됩니다.
보고서에는 DeepSeek와 Moonshot AI가 자체 모델에 대한 사용자 요청을 Claude로 다시 라우팅했다고 명시되어 있습니다. Anthropic는 7월 14일 동안 Moonshot에 의해 2,300만 건, DeepSeek가 1,210만 건의 재라우팅을 기록했습니다. 또한 Anthropic는 이러한 요청 중 일부가 PLA 계열 사용자의 CCTV 영상과 군사 계약자가 제출한 러시아 정부 데이터베이스의 정보를 포함하여 민감한 데이터를 노출했다고 주장했습니다.
알리바바는 3,500개의 사기 계정으로 1억 5,100만 건이 넘는 거래가 이루어진 최대 범죄자로 확인되었습니다. 이러한 계정으로 인해 Claude는 추론 프로세스를 출력한 후 Alibaba의 Qwen 모델을 훈련하는 데 사용되었습니다. Anthropic는 또한 유사한 공격으로 Z.ai를 비난했으며 Xiaomi가 MiMo 모델로 사용자 채팅을 녹음하고 Claude에 입력하여 훈련 데이터를 생성했다고 언급했습니다.
이러한 위협에 대응하여 Anthropic는 의심스러운 활동을 금지하고 추론 기록의 세부 사항을 줄여 다른 모델 교육에 대한 유용성을 제한하는 새로운 보호 장치를 구현했다고 밝혔습니다. 또한 회사는 Claude를 공식적으로 사용할 수 없는 중국, 러시아 또는 이란에서 활동하는 것으로 보이는 사용자에 대해 신원 확인을 요구할 것입니다. 피고 기업의 대표들은 비즈니스 인사이더의 질의에 응답하지 않았으며, Anthropic는 보고서 이외의 추가 의견을 제공하지 않았습니다.
소스 세부정보: businessinsider.com ↗
왜 중요한가요?
이번 사건은 글로벌 AI 환경의 심각한 보안 및 지적 재산 취약성을 강조합니다. 경쟁업체는 상세한 추론 기록을 추출함으로써 자체 프론티어 모델 개발을 가속화할 수 있으며 잠재적으로 미국 기반 연구소와의 역량 격차를 줄일 수 있습니다. 이러한 공격 중에 민감한 정부 및 군사 데이터가 노출되면 고급 AI 시스템에 대한 확인되지 않은 액세스의 위험이 더욱 강조되므로 Anthropic는 더욱 엄격한 신원 확인 및 출력 제한을 구현하게 됩니다.
이러한 공격의 규모는 지적 재산과 컴퓨팅 이점의 상당한 이전을 나타냅니다. 추론 체인을 추출함으로써 중국 연구소는 경쟁력 있는 프론티어 모델을 개발하는 데 필요한 시간과 비용을 크게 줄여 미국 기반 AI 회사가 보유한 기술 선두에 도전할 수 있습니다.
이러한 상호 작용 중에 민감한 정부 및 군사 데이터가 노출되면 심각한 보안 문제가 발생합니다. 이는 첨단 AI 시스템이 사회 공학이나 사기성 계정 생성을 통한 데이터 유출에 취약할 수 있으며 잠재적으로 여러 국가의 국가 안보 이익을 손상시킬 수 있음을 시사합니다.
이 사건으로 인해 AI 모델 액세스 및 데이터 주권에 관한 규제 조치가 가속화될 수 있습니다. 미국 국회의원들은 이미 그러한 공격을 해결하기 위한 법안을 요구했으며, 이 보고서는 국경 간 AI 데이터 흐름 및 수출 통제에 대한 정책 토론에 영향을 미칠 수 있는 구체적인 증거를 제공합니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
Why can ethical evaluation not be reduced to one model score?
다음에 무엇을 볼 것인가
AI 데이터 추출 및 국경 간 데이터 흐름에 관한 미국과 중국의 입법 반응을 모니터링합니다. 모델 증류를 방지하기 위해 Anthropic 및 기타 AI 제공업체의 추가 기술 대책을 지켜보세요. 피고인 중국 연구소가 해당 혐의에 대해 공개적으로 대응하는지, 아니면 독립적 감사를 통해 데이터 유출 규모를 확인하는지 살펴보세요.
AI 데이터 추출, 모델 추출 및 국경 간 데이터 개인 정보 보호에 관한 미국과 중국의 입법 개발. 미국은 외국 기업의 AI 모델 액세스에 대해 더 엄격한 규제를 도입할 수 있는 반면, 중국은 자체 데이터 보호 조치로 대응할 수 있습니다.
증류 공격을 방지하기 위한 AI 제공업체의 기술적 대응. 여기에는 보다 강력한 신원 확인, 속도 제한, 경쟁 모델 교육에 대한 유용성을 줄이기 위한 모델 출력의 난독화가 포함될 수 있습니다.
기소된 중국 AI 연구소의 공개 반응. 부인이나 설명은 추가 맥락을 제공할 수 있는 반면, 침묵은 암묵적인 인정으로 해석될 수 있습니다. 공격 규모에 대한 독립적인 감사 또는 제3자 검증도 중요합니다.