Technische GIDS

Modelkaarten en gegevensbladen voor gegevenssets

Een modelkaart is een kort, gestructureerd document waarin wordt uitgelegd waar een AI-model voor dient, hoe het is geëvalueerd, hoe goed het presteert voor verschillende groepen en omstandigheden, en waar het niet mag worden gebruikt.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina3 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van modelkaarten en datasheets voor datasets
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Een datasheet voor datasets doet hetzelfde voor trainingsgegevens: waarom de gegevens zijn verzameld, wat ze bevatten, hoe ze zijn verzameld en gelabeld, en hoe ze moeten worden onderhouden. Deze documenten zijn van belang omdat ze kopers, gebruikers, auditors en toezichthouders in staat stellen te beoordelen of een systeem geschikt is voor het beoogde doel, en wetten zoals de EU AI Act vereisen nu soortgelijke documentatie.

Diepe duik

Modelkaarten werden voorgesteld door Margaret Mitchell en collega's in de paper "Model Cards for Model Reporting", gepresenteerd op de ACM FAT*-conferentie in 2019. De voorgestelde secties zijn modeldetails, beoogd gebruik, factoren (zoals demografische of omgevingsomstandigheden), statistieken, evaluatiegegevens, trainingsgegevens, kwantitatieve analyses, ethische overwegingen en kanttekeningen en aanbevelingen. Het kernidee is een gedesaggregeerde evaluatie: het afzonderlijk rapporteren van prestaties voor relevante subgroepen, in plaats van als één gemiddelde score die mislukkingen kan verbergen. Datasheets voor Datasets, door Timnit Gebru en collega’s, circuleerden voor het eerst in 2018 en werden later gepubliceerd in Communications of the ACM. Het leent van elektronische datasheets. Makers van datasets beantwoorden vragen over motivatie, samenstelling, verzamelproces, voorverwerking en etikettering, gebruik, distributie en onderhoud. Gerelateerde formaten omvatten data-instructies voor taaldatasets en datakaarten. Systeemkaarten, gebruikt door Meta en OpenAI sinds 2022 en prominent voor GPT-4 in 2023, documenteren een volledig geïmplementeerd systeem, inclusief veiligheidstests en oplossingen, in plaats van alleen het model. Door de regelgeving is een groot deel van deze praktijk een vereiste geworden. De EU AI-wet vereist technische documentatie voor AI-systemen met een hoog risico, zoals uiteengezet in bijlage IV. Aanbieders van AI-modellen voor algemene doeleinden moeten technische documentatie bijhouden, informatie verstrekken aan downstream-aanbieders en een samenvatting van de opleidingsinhoud publiceren met behulp van een sjabloon van de Commissie. Een veel voorkomende misvatting is dat een modelkaart bewijst dat een model veilig is. Het is een openbaarmaking, geen certificering, en een kaart kan onvolledig, verouderd of geschreven zijn als marketing. De waarde ervan hangt af van eerlijke beperkingen en evaluaties die iemand anders kan reproduceren.

Implementatie in de echte wereld

Een ziekenhuis dat een classifier voor huidlaesies evalueert, leest de modelkaart en ontdekt dat de nauwkeurigheid afzonderlijk werd gerapporteerd op basis van de huidskleur. Vervolgens besluit het om vóór gebruik zijn eigen lokale validatie uit te voeren.

Een Hugging Face-modelrepository toont een modelkaart met YAML-metagegevens, waarin de licentie, trainingsdatasets, talen en benchmarkresultaten worden vermeld, en mensen kunnen zoekresultaten op die velden filteren.

Een onderzoeksteam publiceert een spraakdataset met een datasheet waarin de toestemming van de spreker, de opnameomstandigheden en de accenten die ondervertegenwoordigd zijn, worden vastgelegd.

Een AI-lab brengt een systeemkaart uit voor een chatbot die de resultaten van red-teaming, veiligheidsbeperkingen en de resterende risico's beschrijft, naast wat een basismodelkaart dekt.

De toekomst van modelkaarten en datasheets voor datasets

Documentatie evolueert van vrijwillige beste praktijken naar een nalevingsvereiste. De EU AI Act, aanbestedingsregels en normen zoals ISO/IEC 42001 verwachten allemaal gestructureerde registraties van hoe een systeem is gebouwd en getest. Machineleesbare formaten en geautomatiseerde generatie zullen waarschijnlijk steeds gebruikelijker worden, zodat kaarten kunnen worden gecontroleerd en vergeleken. De voortdurende uitdagingen zijn het accuraat houden van documenten naarmate modellen worden bijgewerkt, het vrijgeven van voldoende informatie over trainingsgegevens zonder bedrijfsgeheimen of persoonlijke informatie bloot te leggen, en ervoor zorgen dat lezers de documenten daadwerkelijk gebruiken bij het nemen van beslissingen.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Model Cards and Datasheets for Datasets quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat zijn modelkaarten en datasheets voor datasets?

Een modelkaart is een kort, gestructureerd document waarin wordt uitgelegd waar een AI-model voor dient, hoe het is geëvalueerd, hoe goed het presteert voor verschillende groepen en omstandigheden, en waar het niet mag worden gebruikt. Een datasheet voor datasets doet hetzelfde voor trainingsgegevens: waarom de gegevens zijn verzameld, wat ze bevatten, hoe ze zijn verzameld en gelabeld, en hoe ze moeten worden onderhouden. Deze documenten zijn van belang omdat ze kopers, gebruikers, auditors en toezichthouders in staat stellen te beoordelen of een systeem geschikt is voor het beoogde doel, en wetten zoals de EU AI Act vereisen nu soortgelijke documentatie.

Wat is het hoofddoel van een modelkaart?

Een modelkaart geeft lezers wat ze nodig hebben om te beoordelen of een model geschikt is voor een bepaald gebruik, inclusief waar het slecht presteert.

Wie leidde de krant die modelkaarten voorstelde?

Margaret Mitchell en collega's presenteerden in 2019 "Model Cards for Model Reporting" bij ACM FAT*.

Wat is gedesaggregeerde evaluatie?

Het opsplitsen van de resultaten per subgroep brengt fouten aan het licht die een algemeen gemiddelde zou verbergen.

Datasheets for Datasets ontleent zijn idee aan welk vakgebied?

Elektronische componenten worden geleverd met datasheets die hun kenmerken beschrijven. Gebru en collega's pasten dat idee toe op datasets.

Waarin verschilt een systeemkaart van een basismodelkaart?

Systeemkaarten, zoals OpenAI's voor GPT-4, beschrijven de risico's, red-teaming en beveiligingen van een ingezet product.