Wat is er gebeurd
Drie onderzoekers – Harsh Jaiswal, Mohan Pedhapati en Rahul Maini van Hacktron AI – hebben binnen een periode van 72 uur met succes inbreuk gemaakt op de interne systemen van OpenAI. Volgens NewsBytes heeft het team de Claude AI van Anthropic gebruikt om te helpen bij het schrijven en debuggen van de code die nodig is om een kwetsbaarheid in het Discourse-platform te misbruiken. Door een fout in de beeldverwerkingssoftware te koppelen aan een identiteitsgerelateerde zwakte, kregen de onderzoekers ongeautoriseerde toegang tot de ChatGPT- en Codex-accounts van werknemers, evenals tot een privé GitHub-repository.
Het Hacktron AI-team startte hun onderzoek vanaf een openbaar forum en identificeerde uiteindelijk een beveiligingslek in het Discourse-platform. Ze maakten misbruik van een kwetsbaarheid in de beeldverwerkingssoftware van het platform en koppelden deze aan een afzonderlijke identiteitsgerelateerde zwakte om authenticatie te omzeilen.
De onderzoekers gebruikten de Claude AI van Anthropic om de ontwikkeling en het debuggen van hun exploitcode te vergemakkelijken. Het hele proces, van het eerste onderzoek tot de succesvolle inbreuk, werd in minder dan 72 uur voltooid.
Het team kreeg toegang tot gevoelige interne activa, waaronder werknemersaccounts voor ChatGPT en Codex, evenals een privé GitHub-repository. Om de inbreuk aan te tonen zonder schade aan te richten, dienden de onderzoekers een onschuldig pull-verzoek in.
De onderzoekers gaven tijdens de operatie minder dan $3.000 uit aan AI-modeltokens. OpenAI heeft vervolgens de identiteitsgerelateerde kwetsbaarheid aangepakt en het team een bugpremie van $ 6.500 toegekend voor hun verantwoorde openbaarmaking.
Brongegevens: newsbytesapp.com ↗
Waarom het ertoe doet
Dit incident benadrukt het tweeledige karakter van generatieve AI in cyberbeveiliging en laat zien hoe AI-modellen effectief kunnen worden ingezet om de ontdekking van complexe softwarekwetsbaarheden te versnellen. Het vermogen van de onderzoekers om in minder dan drie dagen een exploit in meerdere fasen uit te voeren met behulp van AI-ondersteuning onderstreept een veranderend dreigingslandschap waarin defensieve en offensieve veiligheidsoperaties steeds vaker worden aangevuld met grote taalmodellen. De succesvolle identificatie en rapportage van deze tekortkomingen, die het team een premie van $6.500 van OpenAI opleverde, illustreert ook de praktische toepassing van bugbounty-programma's bij het beveiligen van AI-geïntegreerde bedrijfsomgevingen.
Het gebruik van Claude AI om exploitketens te automatiseren of te helpen creëren, vertegenwoordigt een aanzienlijke evolutie in de manier waarop beveiligingsonderzoek wordt uitgevoerd. Dit toont aan dat AI de toegangsdrempel voor het identificeren van complexe, uit meerdere stappen bestaande kwetsbaarheden in bedrijfssoftware kan verlagen.
Het incident dient als casestudy voor de effectiviteit van bugbountyprogramma's. Door ethische hackers te stimuleren kwetsbaarheden te melden, kon OpenAI een kritieke identiteitsgerelateerde fout verhelpen voordat deze door kwaadwillende actoren kon worden uitgebuit.
Het evenement benadrukt de noodzaak voor bedrijven om AI-ondersteund hacken te behandelen als een legitieme bedreigingsvector, waarvoor een meer geavanceerde monitoring van interne systemen en rigoureuzere patchcycli voor software van derden, zoals Discourse, nodig is.
Interactief mechanisme: hoe het eigenlijk werkt
Ontdek interactief de onderliggende technologie achter deze ontwikkeling.
Why can ethical evaluation not be reduced to one model score?
Wat je nu moet bekijken
De primaire focus blijft liggen op de manier waarop organisaties hun beveiligingsprotocollen zullen aanpassen ter verdediging tegen door AI ondersteunde verkenning en uitbuiting. Terwijl onderzoekers modellen als Claude blijven gebruiken om kwetsbaarheden te identificeren, moeten bedrijven mogelijk robuustere geautomatiseerde beveiligingstests en maatregelen voor identiteitsverificatie implementeren. Het is momenteel niet bekend of OpenAI specifieke nieuwe waarborgen heeft geïmplementeerd om soortgelijke AI-ondersteunde ketens van kwetsbaarheden te voorkomen, of dat andere organisaties hun bugbounty-criteria bijwerken om rekening te houden met AI-gestuurde onderzoeksmethodologieën.
Waarnemers moeten in de gaten houden of andere grote AI-bedrijven soortgelijke AI-ondersteunde inbreuken melden, wat zou kunnen duiden op een bredere trend in de onderzoeksmethodologieën op het gebied van beveiliging.
Het valt nog te bezien of OpenAI of andere marktleiders specifieke richtlijnen of bijgewerkte beveiligingskaders zullen vrijgeven met betrekking tot het gebruik van AI-tools bij onderzoek naar kwetsbaarheden.
De langetermijnimpact op de structuren van het bugbounty-programma is een belangrijk aandachtsgebied, met name of bedrijven uitbetalingen of vereisten zullen aanpassen als reactie op de toegenomen snelheid en efficiëntie die door AI-ondersteund onderzoek wordt geboden.