Műszaki ÚTMUTATÓ

Modellkártyák és adatlapok az adatkészletekhez

A modellkártya egy rövid, strukturált dokumentum, amely elmagyarázza, mire való az AI-modell, hogyan értékelték ki, milyen jól teljesít a különböző csoportokban és körülmények között, és hol nem szabad használni.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A modellkártyák és adatlapok jövője az adatkészletekhez
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Az adatkészletek adatlapja ugyanezt teszi a betanítási adatokkal kapcsolatban: miért gyűjtötték az adatokat, mit tartalmaznak, hogyan gyűjtötték össze és címkézték őket, és hogyan kell őket karbantartani. Ezek a dokumentumok azért fontosak, mert lehetővé teszik a vásárlók, a felhasználók, az auditorok és a szabályozók számára annak megítélését, hogy egy rendszer megfelel-e a célnak, és az olyan jogszabályok, mint például az EU AI-törvény, hasonló dokumentációt írnak elő.

Mély merülés

A modellkártyákat Margaret Mitchell és munkatársai javasolták az ACM FAT* konferencián 2019-ben bemutatott „Model Cards for Model Reporting” című tanulmányában. A javasolt szakaszok a modell részletei, a tervezett felhasználás, tényezők (például demográfiai vagy környezeti feltételek), metrikák, értékelési adatok, képzési adatok, kvantitatív elemzések, etikai megfontolások és ajánlások, valamint figyelmeztetések. A kulcsötlet a bontott értékelés: a teljesítményről külön jelentést kell készíteni a releváns alcsoportokra vonatkozóan, nem pedig egyetlen átlagos pontszámként, amely elrejti a hibákat. A Timnit Gebru és munkatársai által készített Datasheets for Datasets először 2018-ban jelent meg, majd később a Communications of the ACM-ben jelent meg. Az elektronikai adatlapokból kölcsönöz. Az adatkészlet-készítők válaszolnak a motivációra, összetételre, gyűjtési folyamatra, előfeldolgozásra és címkézésre, felhasználásra, terjesztésre és karbantartásra vonatkozó kérdésekre. A kapcsolódó formátumok közé tartoznak a nyelvi adatkészletekhez és adatkártyákhoz tartozó adatnyilatkozatok. A Meta és a OpenAI által 2022 óta, illetve a GPT-4 esetében 2023-ban kiemelten használt rendszerkártyák a teljes telepített rendszert dokumentálják, beleértve a biztonsági teszteléseket és a csökkentéseket is, nem csak a modellt. A szabályozás e gyakorlat nagy részét követelmévé változtatta. Az EU MI-törvénye megköveteli a magas kockázatú mesterségesintelligencia-rendszerekhez a IV. mellékletben meghatározott műszaki dokumentációt. Az általános célú mesterséges intelligenciamodellek szolgáltatóinak meg kell őrizniük a műszaki dokumentációt, információkat kell adniuk a későbbi szolgáltatóknak, és közzé kell tenniük a képzési tartalom összefoglalóját egy bizottsági sablon segítségével. Általános tévhit, hogy a modellkártya azt bizonyítja, hogy a modell biztonságos. Ez nyilvánosságra hozatal, nem tanúsítás, és a kártya lehet hiányos, elavult vagy marketinghez hasonlóan írott. Értéke az őszinte korlátoktól és értékelésektől függ, amelyeket valaki más képes reprodukálni.

Valós megvalósítás

A bőrelváltozások osztályozóját értékelő kórház leolvassa a modellkártyáját, és megállapítja, hogy a pontosságot bőrtónus szerint külön jelentették. Ezután úgy dönt, hogy használat előtt lefuttatja saját helyi érvényesítését.

A Hugging Face modelltárban egy YAML-metaadatokkal ellátott modellkártya látható, amely felsorolja a licencét, a képzési adatkészleteket, a nyelveket és a benchmark eredményeket, és az emberek e mezők alapján szűrhetik a keresési eredményeket.

Egy kutatócsoport beszédadatkészletet tesz közzé egy adatlappal, amely rögzíti a beszélők beleegyezését, a rögzítési feltételeket és az alulreprezentált ékezeteket.

Egy mesterséges intelligencia-labor rendszerkártyát ad ki egy chatbot számára, amely leírja a red-teaming eredményeit, a biztonsági csökkentéseket és a fennmaradó kockázatokat, azon túl, amit egy alapmodellkártya fedez.

A modellkártyák és adatlapok jövője az adatkészletekhez

A dokumentáció az önkéntes bevált gyakorlattól a megfelelési követelmény felé halad. Az EU AI-törvénye, a beszerzési szabályok és szabványok, mint például az ISO/IEC 42001, mind strukturált nyilvántartást várnak el a rendszer felépítéséről és teszteléséről. Valószínűleg egyre gyakoribbak lesznek a géppel olvasható formátumok és az automatizált generálás, így a kártyák ellenőrizhetők és összehasonlíthatók. A folyamatban lévő kihívások közé tartozik a dokumentumok pontosságának megőrzése a modellek frissítése során, elegendő mennyiségű képzési adatok közzététele üzleti titkok vagy személyes adatok felfedése nélkül, valamint annak biztosítása, hogy az olvasók valóban használják a dokumentumokat a döntéshozatal során.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Model Cards and Datasheets for Datasets quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a modellkártyák és adatlapok az adatkészletekhez?

A modellkártya egy rövid, strukturált dokumentum, amely elmagyarázza, mire való az AI-modell, hogyan értékelték ki, milyen jól teljesít a különböző csoportokban és körülmények között, és hol nem szabad használni. Az adatkészletek adatlapja ugyanezt teszi a betanítási adatokkal kapcsolatban: miért gyűjtötték az adatokat, mit tartalmaznak, hogyan gyűjtötték össze és címkézték őket, és hogyan kell őket karbantartani. Ezek a dokumentumok azért fontosak, mert lehetővé teszik a vásárlók, a felhasználók, az auditorok és a szabályozók számára annak megítélését, hogy egy rendszer megfelel-e a célnak, és az olyan jogszabályok, mint például az EU AI-törvény, hasonló dokumentációt írnak elő.

Mi a modellkártya fő célja?

A modellkártya megadja az olvasóknak azt, amire szükségük van annak megítéléséhez, hogy egy modell alkalmas-e egy adott felhasználásra, beleértve azt is, hogy hol teljesít rosszul.

Ki vezette azt a lapot, amely kártyákat javasolt?

Margaret Mitchell és munkatársai 2019-ben bemutatták a „Modell kártyákat a modelljelentésekhez” az ACM FAT* rendezvényen.

Mi az a bontott értékelés?

Az eredmények alcsoportonkénti felosztása olyan hibákat tár fel, amelyeket az általános átlag elrejt.

A Datasheets for Datasets melyik területről kölcsönzi ötletét?

Az elektronikus alkatrészekhez adatlapok tartoznak, amelyek leírják jellemzőiket. Gebru és munkatársai ezt az ötletet alkalmazták adatkészletekre.

Miben különbözik a rendszerkártya az alapmodell kártyától?

A rendszerkártyák, például a OpenAI a GPT-4-hez, leírják a telepített termék kockázatait, a red-teaming-ot és a biztosítékokat.