모델 추출 및 도용 공격
모델 추출 공격을 통해 공격자는 공개 API를 쿼리하고 답변에 대해 모방자를 훈련시키는 것만으로 독점 AI 모델을 복제할 수 있습니다.
개요
It matters because companies spend millions training models that can be approximated for the price of a few thousand API calls.
심층 분석
모델 추출(또는 모델 도용) 공격은 배포된 모델을 오라클로 취급합니다. 공격자는 입력을 보내고, 출력을 기록하고, 대체 모델을 훈련하여 동작을 모방합니다. 대상 모델 자체는 입력을 출력으로 매핑하는 학습된 함수이기 때문에 충분한 입력-출력 쌍을 복사하면 원래 가중치나 훈련 데이터를 보지 않고도 가까운 근사치를 재구성할 수 있습니다. 연구자들은 이미지 분류기의 결정 경계를 훔쳤으며 심지어 작은 레이어의 정확한 가중치도 복구했습니다. 2024년에 한 팀은 OpenAI 및 Google 프로덕션 모델 임베딩 레이어의 일부를 수백 달러 미만으로 추출할 수 있음을 보여주었습니다. 도난당한 사본은 유료 서비스의 가치를 저하시키고 안전 필터를 우회하며 적대적인 사례 제작과 같은 추가적인 화이트박스 공격을 가능하게 합니다.
기술적 통찰력
API 응답이 풍부할수록 도난 비용이 저렴해집니다. 전체 확률 벡터 또는 로짓을 반환하면 단일 상위 1 레이블보다 쿼리당 훨씬 더 많은 정보가 유출되므로 공격자는 더 적은 쿼리로 경계를 재구성합니다. 능동적 학습 전략은 의사 결정 경계 근처에서 가장 유익한 쿼리를 선택합니다. 랜드마크 결과는 출력 차원 개수에 대한 쿼리가 선형 대수학을 통해 정확하게 최종 선형 투영 레이어를 복구할 수 있다는 것을 보여주었습니다. 왜냐하면 해당 레이어는 사실상 응답 범위의 행렬이기 때문입니다.
전략적 영향
위험과 안전
치명적인 AI 피해와 일상적인 AI 피해는 누가 위험을 이해하고 누가 조치를 취할 수 있는지에 따라 달라집니다.
더 명확한 결정들
공공 및 전문 지식은 강력한 안전 정책이 정치적으로 가능한지 여부를 결정합니다.
과장된 과장을 뚫고 나가기
명확한 설명은 과대광고, 연구실 홍보, 모호한 윤리 연극에 의한 포착을 줄입니다.
모델 추출 및 도용 공격의 미래
방어는 차단에서 탐지 및 성능 저하로 전환되고 있습니다. 속도 제한, 반올림 또는 상위 1만 출력 반환, 보정된 노이즈 추가, 도난당한 복사본의 지문을 채취할 수 있도록 워터마킹 모델 동작, 추출 서명에 대한 쿼리 패턴 모니터링 등이 이루어지고 있습니다. 추출을 도난으로 취급하는 규제 및 라이선스 조건과 추출하기 어려운 것으로 입증된 아키텍처에 대한 활발한 연구를 기대하세요. 모델이 커짐에 따라 전체 추출에는 비용이 많이 들지만 귀중한 구성 요소의 부분 추출 및 증류 스타일 복제는 지속적인 상업적 및 보안 위협으로 남아 있습니다.
실제 구현
스타트업은 경쟁사의 유료 이미지 인식 API를 수천 번 쿼리하고 정확성을 복제하는 무료 복제본을 교육합니다.
보안 연구자들은 단 몇 백 달러의 비용으로 세심하게 제작된 API 쿼리를 사용하여 프로덕션 언어 모델의 최종 임베딩 프로젝션 레이어를 추출합니다.
공격자는 스팸 또는 사기 분류자를 로컬로 복제하여 이를 오프라인으로 조사하고 탐지를 안정적으로 회피하는 입력을 제작할 수 있습니다.
클라우드 공급업체는 액세스 패턴이 활성 학습 추출과 일치하는 계정에 플래그를 지정하고 해당 응답을 제한하는 쿼리 속도 모니터링을 추가합니다.
위험 및 가드레일
실존적 위험을 공상과학처럼 다루면서 능력을 합성합니다.
높은 자율성 하에서 정렬과 표면 제품 안전성을 혼동합니다.
영어가 아니거나 전문가가 아닌 청중에게는 품질이 낮은 소스만 남겨 둡니다.
구현 로드맵
제품 손상, 오용, 통제력 상실/잘못 정렬 위험을 분리합니다.
일정과 심각도에 대한 귀하의 견해를 바꿀 수 있는 증거가 무엇인지 물어보십시오.
마케팅 주장보다 기본 소스와 구체적인 평가를 선호하세요.
인식뿐만 아니라 경력, 정책, 자금 조달 또는 기술 등 하나의 행동 경로를 식별하십시오.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Extraction and Stealing Attacks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
멤버십 추론 공격
자주 묻는 질문
What is Model Extraction and Stealing Attacks?
모델 추출 공격을 통해 공격자는 공개 API를 쿼리하고 답변에 대해 모방자를 훈련시키는 것만으로 독점 AI 모델을 복제할 수 있습니다. 이는 기업이 수천 건의 API 호출 비용으로 대략적으로 계산할 수 있는 수백만 개의 학습 모델을 소비하기 때문에 중요합니다.
모델 추출 공격의 핵심 아이디어는 무엇입니까?
추출은 배포된 모델을 오라클로 처리합니다. 공격자는 입력-출력 쌍을 수집하고 원래 가중치에 액세스하지 않고 동작을 모방하도록 모방 모델을 교육합니다.
전체 확률 벡터를 반환하면 상위 1개 레이블만 반환하는 것보다 추출이 더 쉬운 이유는 무엇입니까?
각각의 전체 확률 벡터는 단일 레이블보다 모델의 내부 결정 표면에 대해 훨씬 더 많은 것을 나타내므로 공격자가 더 적은 쿼리로 경계를 재구성할 수 있습니다.
쿼리당 유출된 정보를 직접적으로 줄이는 방어 기술은 무엇입니까?
예를 들어 최상위 레이블만 반환하거나 반올림된 확률만 반환하는 것과 같은 대략적인 출력은 공격자에게 각 응답이 제공하는 신호를 줄여 추출 비용을 높입니다.
2024년 결과는 공격자가 생산 언어 모델의 어느 부분을 저렴하게 복구할 수 있는지 보여주었습니다.
연구자들은 응답이 복구 가능한 매트릭스에 걸쳐 있기 때문에 최종 선형 투영 레이어가 정확히 수백 달러에 복구될 수 있음을 보여주었습니다.
도난당한 대체 모델이 단순히 수익 손실을 넘어 위험한 이유는 무엇입니까?
공격자가 로컬 복사본을 갖게 되면 이를 자유롭게 조사하여 원래 배포된 시스템을 속이는 적대적인 입력이나 회피 공격을 설계할 수 있습니다.