Vad hände
Tre forskare – Harsh Jaiswal, Mohan Pedhapati och Rahul Maini från Hacktron AI – bröt framgångsrikt mot OpenAI:s interna system inom en 72-timmarsperiod. Enligt NewsBytes utnyttjade teamet Anthropic:s Claude AI för att hjälpa till med att skriva och felsöka koden som krävs för att utnyttja en sårbarhet i Discourse-plattformen. Genom att kedja en bildbehandlingsprogramvarubrist med en identitetsrelaterad svaghet fick forskarna obehörig åtkomst till anställdas ChatGPT- och Codex-konton, såväl som ett privat GitHub-förråd.
Hacktron AI-teamet initierade sin forskning från ett offentligt forum och identifierade så småningom ett säkerhetshål i Discourse-plattformen. De utnyttjade en sårbarhet i plattformens bildbehandlingsprogram och kedjade den med en separat identitetsrelaterad svaghet för att kringgå autentisering.
Forskarna använde Anthropic:s Claude AI för att underlätta utvecklingen och felsökningen av deras exploateringskod. Hela processen, från initial forskning till framgångsrik intrång, slutfördes på mindre än 72 timmar.
Teamet fick tillgång till känsliga interna tillgångar, inklusive personalkonton för ChatGPT och Codex, samt ett privat GitHub-förråd. För att påvisa intrånget utan att orsaka skada skickade forskarna in en ofarlig pull-begäran.
Forskarna spenderade mindre än $3 000 på AI-modelltokens under operationen. OpenAI tog sedan upp den identitetsrelaterade sårbarheten och tilldelade teamet en $6 500 buggpremie för deras ansvarsfulla avslöjande.
Källinformation: newsbytesapp.com ↗
Varför det spelar roll
Den här incidenten belyser dubbelanvändningskaraktären hos generativ AI inom cybersäkerhet, och visar hur AI-modeller effektivt kan användas för att påskynda upptäckten av komplexa sårbarheter i programvara. Forskarnas förmåga att utföra en exploatering i flera steg på mindre än tre dagar med hjälp av AI-hjälp understryker ett skiftande hotlandskap där defensiva och offensiva säkerhetsoperationer alltmer förstärks av stora språkmodeller. Den framgångsrika identifieringen och rapporteringen av dessa brister, som gav teamet en premie på $6 500 från OpenAI, illustrerar också den praktiska tillämpningen av bug-bounty-program för att säkra AI-integrerade företagsmiljöer.
Användningen av Claude AI för att automatisera eller hjälpa till med att skapa exploateringskedjor representerar en betydande utveckling av hur säkerhetsforskning bedrivs. Detta visar att AI kan sänka inträdesbarriären för att identifiera komplexa sårbarheter i flera steg i företagsprogramvara.
Incidenten fungerar som en fallstudie för effektiviteten av bug-bounty-program. Genom att uppmuntra etiska hackare att rapportera sårbarheter kunde OpenAI åtgärda en kritisk identitetsrelaterad brist innan den kunde utnyttjas av illvilliga aktörer.
Evenemanget belyser behovet för företag att behandla AI-assisterad hacking som en legitim hotvektor, vilket kräver mer sofistikerad övervakning av interna system och mer rigorösa patchcykler för programvara från tredje part som Discourse.
Interaktiv mekanism: hur det faktiskt fungerar
Utforska den underliggande tekniken bakom denna utveckling interaktivt.
Why can ethical evaluation not be reduced to one model score?
Vad du ska titta på härnäst
Det primära fokus är fortfarande på hur organisationer kommer att anpassa sina säkerhetsprotokoll för att försvara sig mot AI-assisterad spaning och exploatering. Eftersom forskare fortsätter att använda modeller som Claude för att identifiera sårbarheter, kan företag behöva implementera mer robusta automatiserade säkerhetstester och åtgärder för identitetsverifiering. Det är för närvarande okänt om OpenAI har implementerat specifika nya skyddsåtgärder för att förhindra liknande AI-assisterad kedja av sårbarheter, eller om andra organisationer uppdaterar sina bug-bounty-kriterier för att ta hänsyn till AI-drivna forskningsmetoder.
Observatörer bör övervaka om andra stora AI-företag rapporterar liknande AI-assisterade intrång, vilket kan tyda på en bredare trend inom säkerhetsforskningsmetoder.
Det återstår att se om OpenAI eller andra branschledare kommer att släppa specifik vägledning eller uppdaterade säkerhetsramverk angående användningen av AI-verktyg i sårbarhetsforskning.
Den långsiktiga inverkan på strukturer för bug-bounty-program är ett viktigt intresseområde, särskilt om företag kommer att justera utbetalningar eller krav som svar på den ökade hastigheten och effektiviteten som tillhandahålls av AI-stödd forskning.