VolgendeVolgende gids
Verfijning van inbeddingsmodellen voor ophalen
Technisch
Technische GIDS
Een modelkaart is een kort, gestructureerd document waarin wordt uitgelegd waar een AI-model voor dient, hoe het is geëvalueerd, hoe goed het presteert voor verschillende groepen en omstandigheden, en waar het niet mag worden gebruikt.
Luister naar deze gidsAI-verteld · ~3 min
Een datasheet voor datasets doet hetzelfde voor trainingsgegevens: waarom de gegevens zijn verzameld, wat ze bevatten, hoe ze zijn verzameld en gelabeld, en hoe ze moeten worden onderhouden. Deze documenten zijn van belang omdat ze kopers, gebruikers, auditors en toezichthouders in staat stellen te beoordelen of een systeem geschikt is voor het beoogde doel, en wetten zoals de EU AI Act vereisen nu soortgelijke documentatie.
Modelkaarten werden voorgesteld door Margaret Mitchell en collega's in de paper "Model Cards for Model Reporting", gepresenteerd op de ACM FAT*-conferentie in 2019. De voorgestelde secties zijn modeldetails, beoogd gebruik, factoren (zoals demografische of omgevingsomstandigheden), statistieken, evaluatiegegevens, trainingsgegevens, kwantitatieve analyses, ethische overwegingen en kanttekeningen en aanbevelingen. Het kernidee is een gedesaggregeerde evaluatie: het afzonderlijk rapporteren van prestaties voor relevante subgroepen, in plaats van als één gemiddelde score die mislukkingen kan verbergen. Datasheets voor Datasets, door Timnit Gebru en collega’s, circuleerden voor het eerst in 2018 en werden later gepubliceerd in Communications of the ACM. Het leent van elektronische datasheets. Makers van datasets beantwoorden vragen over motivatie, samenstelling, verzamelproces, voorverwerking en etikettering, gebruik, distributie en onderhoud. Gerelateerde formaten omvatten data-instructies voor taaldatasets en datakaarten. Systeemkaarten, gebruikt door Meta en OpenAI sinds 2022 en prominent voor GPT-4 in 2023, documenteren een volledig geïmplementeerd systeem, inclusief veiligheidstests en oplossingen, in plaats van alleen het model. Door de regelgeving is een groot deel van deze praktijk een vereiste geworden. De EU AI-wet vereist technische documentatie voor AI-systemen met een hoog risico, zoals uiteengezet in bijlage IV. Aanbieders van AI-modellen voor algemene doeleinden moeten technische documentatie bijhouden, informatie verstrekken aan downstream-aanbieders en een samenvatting van de opleidingsinhoud publiceren met behulp van een sjabloon van de Commissie. Een veel voorkomende misvatting is dat een modelkaart bewijst dat een model veilig is. Het is een openbaarmaking, geen certificering, en een kaart kan onvolledig, verouderd of geschreven zijn als marketing. De waarde ervan hangt af van eerlijke beperkingen en evaluaties die iemand anders kan reproduceren.
Een ziekenhuis dat een classifier voor huidlaesies evalueert, leest de modelkaart en ontdekt dat de nauwkeurigheid afzonderlijk werd gerapporteerd op basis van de huidskleur. Vervolgens besluit het om vóór gebruik zijn eigen lokale validatie uit te voeren.
Een Hugging Face-modelrepository toont een modelkaart met YAML-metagegevens, waarin de licentie, trainingsdatasets, talen en benchmarkresultaten worden vermeld, en mensen kunnen zoekresultaten op die velden filteren.
Een onderzoeksteam publiceert een spraakdataset met een datasheet waarin de toestemming van de spreker, de opnameomstandigheden en de accenten die ondervertegenwoordigd zijn, worden vastgelegd.
Een AI-lab brengt een systeemkaart uit voor een chatbot die de resultaten van red-teaming, veiligheidsbeperkingen en de resterende risico's beschrijft, naast wat een basismodelkaart dekt.
Documentatie evolueert van vrijwillige beste praktijken naar een nalevingsvereiste. De EU AI Act, aanbestedingsregels en normen zoals ISO/IEC 42001 verwachten allemaal gestructureerde registraties van hoe een systeem is gebouwd en getest. Machineleesbare formaten en geautomatiseerde generatie zullen waarschijnlijk steeds gebruikelijker worden, zodat kaarten kunnen worden gecontroleerd en vergeleken. De voortdurende uitdagingen zijn het accuraat houden van documenten naarmate modellen worden bijgewerkt, het vrijgeven van voldoende informatie over trainingsgegevens zonder bedrijfsgeheimen of persoonlijke informatie bloot te leggen, en ervoor zorgen dat lezers de documenten daadwerkelijk gebruiken bij het nemen van beslissingen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Een modelkaart is een kort, gestructureerd document waarin wordt uitgelegd waar een AI-model voor dient, hoe het is geëvalueerd, hoe goed het presteert voor verschillende groepen en omstandigheden, en waar het niet mag worden gebruikt. Een datasheet voor datasets doet hetzelfde voor trainingsgegevens: waarom de gegevens zijn verzameld, wat ze bevatten, hoe ze zijn verzameld en gelabeld, en hoe ze moeten worden onderhouden. Deze documenten zijn van belang omdat ze kopers, gebruikers, auditors en toezichthouders in staat stellen te beoordelen of een systeem geschikt is voor het beoogde doel, en wetten zoals de EU AI Act vereisen nu soortgelijke documentatie.
Een modelkaart geeft lezers wat ze nodig hebben om te beoordelen of een model geschikt is voor een bepaald gebruik, inclusief waar het slecht presteert.
Margaret Mitchell en collega's presenteerden in 2019 "Model Cards for Model Reporting" bij ACM FAT*.
Het opsplitsen van de resultaten per subgroep brengt fouten aan het licht die een algemeen gemiddelde zou verbergen.
Elektronische componenten worden geleverd met datasheets die hun kenmerken beschrijven. Gebru en collega's pasten dat idee toe op datasets.
Systeemkaarten, zoals OpenAI's voor GPT-4, beschrijven de risico's, red-teaming en beveiligingen van een ingezet product.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Verfijning van inbeddingsmodellen voor ophalen
Technisch