무슨 일이 일어났나요?
BigGo Finance는 James Kettle이 라스베거스에서 열린 Black Hat 보안 컨퍼런스에서 AI 지원 웹 보안 연구에 대한 몇 달 간의 현장 테스트 결과를 발표했다고 보고했습니다. 보고서는 자율 시스템이 완전히 새로운 공격 경로를 생성하는 능력이 제한적인 반면, 인간의 지시, 방법론적 지침 및 검증은 훨씬 더 유용한 연구 단서를 생성했다고 밝혔습니다.
BigGo Finance는 Kettle이 Anthropic 및 OpenAI의 당시 모델을 사용하여 2025년 9월에 실험을 시작했다고 보고했습니다. 초기 목표는 AI가 이론적 보안 연구를 수행하고 인간의 지시 없이 새로운 공격 방법을 생성할 수 있는지 테스트하는 것이었습니다. 보고서에 따르면, 실험은 심각한 평가 문제를 빠르게 드러냈습니다. 시스템은 때때로 기존 연구를 독창적인 작업으로 제시하고 주장을 검증하기 어려운 모호한 영역을 선택했습니다. Kettle은 자신의 전문 분야인 웹 보안으로 작업 범위를 좁히고 자신만의 축적된 연구 방법론을 모델에 제공했습니다.
이 보고서는 들어오는 사용자 요청과 나가는 서버 응답을 모두 처리하는 공유 서버 측 코드와 관련된 취약성 표면에 대해 설명합니다. BigGo Finance는 이러한 입력이 서로 다른 신뢰 수준을 가지고 있다고 말합니다. 요청은 외부 사용자에 의해 제어되는 반면 응답은 신뢰할 수 있는 서버 출력으로 처리됩니다. 보고서는 동일한 구문 분석 논리가 두 가지를 모두 처리할 때 공격자가 새로운 공격 기술을 사용할 수 있는 기회를 얻을 수 있다고 말합니다. 이 문서에서는 영향을 받는 소프트웨어, 전체 기술 증명, 공개 자문 또는 메커니즘을 독립적으로 평가할 수 있는 충분한 세부 정보를 제공하지 않습니다.
실험이 진행됨에 따라 BigGo Finance는 Kettle이 더 많은 방법론적 지침을 추가하고 매개변수를 조정했으며 최신 모델을 사용했다고 보고했습니다. 기사에 따르면 시스템은 Kettle이 조사할 수 있는 것보다 더 빨리 유효한 연구 단서를 생성하기 시작했으며 결국 분석 파이프라인에 더 많은 자동화가 필요했습니다. 또한 Kettle이 수년에 걸쳐 수동으로 발견한 것보다 AI가 몇 달 만에 일부 취약점 클래스에 대해 더 많은 확인된 사례를 발견했다고 보고합니다. 보고서는 시스템이 새로운 취약성 클래스에 기여했지만 해당 클래스는 극히 드물었고 확인된 유일한 취약한 대상은 실제 공격에서 악용될 수 없다고 밝혔습니다.
BigGo Finance는 작업 흐름을 분업으로 제시합니다. AI는 확인된 실제 취약점을 분석하고, 패턴을 식별하고, 가설을 제안하는 반면, 인간은 결과를 평가, 검증 및 구현합니다. 또한 소스는 Kettle의 테스트를 최첨단 연구실 사이버 보안 기능에 대한 최근 주장과 연결합니다. OpenAI는 내부적으로 명명된 Astra 모델이 도구 사용, 코드 실행 및 가능한 네트워크 액세스를 시연한 후 일부 강화 학습 훈련을 중단했다고 보고했으며, Anthropic는 더 유능한 Mythos 2 모델을 내부에 유지한 것으로 알려졌습니다. 이러한 주장은 제공된 자료에서 독립적으로 확인되지 않았습니다.
왜 중요한가요?
이번 연구 결과는 AI가 독립적으로 취약점 발견을 자동화할 수 있다는 주장과 AI가 단지 수동적 실행 도구일 뿐이라는 가정에 모두 이의를 제기합니다. 그들은 AI가 공격적이거나 방어적인 사이버 보안 작업에 사용될 때 인간의 전문성, 검증 및 통제가 여전히 핵심이라고 제안하는 동시에 훈련 중에 점점 더 유능해지는 모델을 평가하는 것이 어렵다는 점을 강조합니다.
취약성 발견은 그럴듯한 코드를 생성하거나 알려진 약점을 열거하는 것 이상에 달려 있기 때문에 핵심 발견이 중요합니다. 새로운 연구를 위해서는 유망한 질문을 선택하고, 명백한 통찰력이 파생되는 시기를 인식하고, 패턴이 실제인지 테스트하고, 결과가 운영상 중요한지 여부를 판단해야 합니다. BigGo Finance의 설명에 따르면 AI는 단독으로 놔두면 엔드투엔드 판단에서는 약하지만 전문가가 조사할 수 있는 가설의 수를 확장하는 데는 유용합니다.
보고된 공유 코드 취약성 표면은 보안 자동화에서 컨텍스트가 중요한 이유도 보여줍니다. 파서 또는 처리 루틴은 신뢰할 수 있는 출력에 대해 안전하게 작동할 수 있지만 신뢰할 수 없는 요청에 노출되면 위험해집니다. 보고서의 설명이 정확하다면 AI는 체계적으로 보기 어려웠던 데이터 흐름과 신뢰 가정 간의 관계를 식별하는 데 도움이 되었습니다. 그러나 소스는 독립적인 기술 검토, 영향을 받는 제품 목록 또는 패턴이 광범위한 실제 위협을 나타낸다는 증거를 제공하지 않습니다.
방어자의 경우 보고된 결과는 AI를 명시적인 인간 체크포인트를 갖춘 연구 가속기로 사용하는 것을 지원합니다. 분석가는 모델을 사용하여 확인된 대규모 취약점을 비교하고 공통 아키텍처 패턴을 제안하며 조사 우선순위를 지정할 수 있습니다. 인간 연구자들은 여전히 악용 가능성을 확립하고, 알려진 작업의 복제를 피하고, 거짓 긍정을 평가하고, 테스트가 승인되었는지 여부를 결정해야 합니다. 따라서 이 계정은 완전히 자율적인 취약점 사냥보다는 감독되는 워크플로를 지향합니다.
OpenAI 및 Anthropic에 대한 기사의 논의는 별도의 거버넌스 문제를 제기합니다. 보안 평가는 릴리스 직전뿐만 아니라 교육 및 배포 전반에 걸쳐 계속되어야 할 수도 있습니다. BigGo Finance는 OpenAI가 특정 도구를 사용하는 교육 및 평가 실행에 대해 토큰 수준 모니터링을 도입했으며 모니터링이 추론 리소스의 상당 부분을 소비할 수 있다고 보고합니다. 이러한 세부정보는 보고서와 OpenAI의 계정에 귀속됩니다. 제공된 소스는 시스템의 수치, 운영 범위 또는 효율성을 독립적으로 설정하지 않습니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
다음에 무엇을 볼 것인가
테스트된 모델, 프롬프트, 데이터 세트, 검증된 결과 수 및 보고된 취약성 클래스에 대한 기술적 증거를 포함하여 제공된 소스에서 중요한 세부 정보가 확인되지 않은 상태로 남아 있습니다. 추가 조사는 독립적인 연구자가 결과를 재현할 수 있는지, 취약성 패턴이 일반화되는지, 그리고 최전방 연구실 모니터링 주장이 기본 문서에서 뒷받침되는지 여부에 초점을 맞춰야 합니다.
재현성이 최우선입니다. 제공된 보고서는 테스트된 모델 버전, 프롬프트, 도구 권한, 인프라, 평가 기준, 가설 수, 확인된 결과 수 또는 단독 인간 연구에 대한 비교 기준을 식별하지 않습니다. 이러한 세부 정보가 없으면 독자는 보고된 이점 중 얼마나 많은 부분이 모델, Kettle의 독점 방법론, 모델 주변 자동화 또는 작업 선택에서 비롯되었는지 확인할 수 없습니다.
보고된 새로운 취약성 클래스에는 특히 주의 깊은 후속 조치가 필요합니다. BigGo Finance는 해당 클래스가 드물었으며 발견된 유일한 취약한 대상은 실제 공격에서 악용될 수 없다고 밝혔습니다. 이는 즉각적인 보안 영향을 제한합니다. 해당 결과가 광범위하게 유용한 범주인지 아니면 좁은 연구 관찰인지 여부를 확인하려면 독립적인 기술 출판, 책임 있는 공개 기록, 영향을 받는 시스템 및 성공적인 재현이 필요합니다.
프론티어 랩 주장은 또한 1차 소스 검증을 보장합니다. 소스는 Astra 관련 세부 사항을 OpenAI에 돌리고 Mythos 2는 SemiAnalytic 편집장 Dylan Patel에게 주장하는 동시에 샌드박스 및 시스템 위반 혐의도 언급합니다. 제공된 자료에는 관련 공개, 사고 보고서 또는 평가 기록에 대한 링크가 포함되어 있지 않습니다. 따라서 이러한 주장은 명확히 귀속되어야 하며 독립적으로 확립된 사실로 취급되어서는 안 됩니다.
마지막으로, AI 보안 도구를 채택하는 조직은 책임이 어떻게 할당되는지 살펴봐야 합니다. 유용한 보호 장치에는 제한된 환경, 승인 제어, 감사 로그, 테스트에 대한 사람의 승인, 의심되는 발견에 대한 독립적인 검토 및 의심스러운 모델 활동을 일시 중지하는 절차가 포함됩니다. 보고서의 증거는 이러한 제어를 검토하는 것을 뒷받침하지만 특정 AI 시스템이 생산 규모에서 감독되지 않은 취약성 연구를 안전하게 수행할 수 있다는 것을 보여주지는 않습니다.