VolgendeVolgende gids
AI-chatbots, kinderen en online veiligheidswetten
Samenleving
Gids voor de samenleving
AI-veiligheidsinstituten zijn overheidsinstanties die geavanceerde AI-modellen testen en bestuderen.
Luister naar deze gidsAI-verteld · ~3 min
Ze richten zich op risico's zoals cyberaanvallen, chemisch en biologisch misbruik en verlies van menselijke controle, waarbij modellen vaak worden geëvalueerd voordat ze publiekelijk worden vrijgegeven. Ze zijn van belang omdat ze overheden onafhankelijke technische expertise geven op het gebied van grensverleggende AI, hoewel de meeste afhankelijk zijn van vrijwillige medewerking van bedrijven in plaats van wettelijke bevoegdheden.
Het VK heeft in november 2023 zijn AI Safety Institute opgericht, rond de Bletchley Park AI Safety Summit. Het kwam voort uit de Frontier AI Taskforce en werd een van de best gefinancierde AI-evaluatieteams van de overheid, waarbij onderzoekers van vooraanstaande laboratoria werden aangenomen. In februari 2025 werd het omgedoopt tot het AI Security Institute. De nieuwe naam weerspiegelde een beperktere focus op schade aan de nationale veiligheid, zoals cybermisbruik, chemische en biologische risico's en misdaad, in plaats van bredere kwesties zoals vooringenomenheid. Het Amerikaanse AI Safety Institute werd eind 2023 binnen NIST opgericht, na het uitvoerend bevel van president Biden over AI. In juni 2025 reorganiseerde het ministerie van Handel het tot het Center for AI Standards and Innovation (CAISI). Het mandaat verschoof naar vrijwillige standaarden, evaluaties die relevant zijn voor de nationale veiligheid en het beoordelen van buitenlandse AI-systemen, terwijl de 'veiligheid'-branding werd geschrapt. Japan, Singapore, Canada, Zuid-Korea, Frankrijk en anderen hebben soortgelijke instanties opgericht. Het AI-bureau van de EU heeft enkele parallelle functies, maar is een toezichthouder. In november 2024 hield het International Network of AI Safety Institute zijn eerste bijeenkomst in San Francisco. De oprichtende leden waren Australië, Canada, de EU, Frankrijk, Japan, Kenia, Zuid-Korea, Singapore, het VK en de VS. Een veel voorkomende misvatting is dat deze instituten modelreleases kunnen blokkeren. De Britse en Amerikaanse instanties hebben geen algemene wettelijke bevoegdheid om toegang af te dwingen of de inzet ervan te stoppen. Hun toegang komt voort uit vrijwillige overeenkomsten, en hun bevindingen geven vorm aan beleids- en bedrijfsbeslissingen zonder bindend te zijn. Het EU AI Office is anders: op grond van de AI-wet kan het informatie opvragen bij aanbieders van AI-modellen voor algemene doeleinden met systeemrisico's en verplichtingen aan hen opleggen.
De Britse en Amerikaanse instituten testten gezamenlijk een geüpgradede Claude 3.5 Sonnet en OpenAI's o1 vóór de implementatie en publiceerden eind 2024 samenvattingen van de resultaten.
Het Britse instituut heeft Inspect uitgebracht, een open source-framework dat onderzoekers en andere overheden gebruiken om AI-evaluaties te bouwen en uit te voeren.
In 2024 tekende het Amerikaanse instituut overeenkomsten met OpenAI en Anthropic die het toegang gaven tot belangrijke nieuwe modellen voor en na de publieke release.
Instituten uit verschillende landen hebben gezamenlijke testoefeningen uitgevoerd om methoden te vergelijken, bijvoorbeeld het evalueren van het gedrag van agenten in verschillende talen.
De rol van de instituten verandert nog steeds. Velen zijn van breed veiligheidsonderzoek overgestapt op nationale veiligheid, normen en industrieel concurrentievermogen, en hun prioriteiten kunnen bij overheden blijven verschuiven. Belangrijke open vragen zijn of een van hen wettelijke bevoegdheden zal krijgen, hoe hun werk zal aansluiten bij toezichthouders zoals het EU AI Office, en of de internationale samenwerking zich langs geopolitieke lijnen zal verdiepen of splitsen. Hun waarde op de lange termijn kan afhangen van gedeelde, reproduceerbare evaluatiemethoden en voldoende financiering om gelijke tred te houden met grenslaboratoria.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
AI-veiligheidsinstituten zijn overheidsinstanties die geavanceerde AI-modellen testen en bestuderen. Ze richten zich op risico's zoals cyberaanvallen, chemisch en biologisch misbruik en verlies van menselijke controle, waarbij modellen vaak worden geëvalueerd voordat ze publiekelijk worden vrijgegeven. Ze zijn van belang omdat ze overheden onafhankelijke technische expertise geven op het gebied van grensverleggende AI, hoewel de meeste afhankelijk zijn van vrijwillige medewerking van bedrijven in plaats van wettelijke bevoegdheden.
De nieuwe naam, AI Security Institute, weerspiegelde een beperktere focus op nationale veiligheidsrisico's zoals cyber-, chemisch en biologisch misbruik en misdaad.
Het ministerie van Handel heeft er CAISI van gemaakt, dat zich richt op normen, evaluaties van de nationale veiligheid en het beoordelen van buitenlandse systemen.
De eerste bijeenkomst vond in november 2024 plaats in San Francisco.
Hun toegang komt voort uit vrijwillige overeenkomsten, en hun bevindingen zijn eerder adviserend dan bindend.
Inspect organiseert evaluaties in datasets, oplossers en scorers, en ondersteunt het testen van agenten in een sandbox.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
AI-chatbots, kinderen en online veiligheidswetten
Samenleving