LegközelebbKövetkező útmutató
Beágyazási modellek finomhangolása a visszakereséshez
Műszaki
Műszaki ÚTMUTATÓ
A modellkártya egy rövid, strukturált dokumentum, amely elmagyarázza, mire való az AI-modell, hogyan értékelték ki, milyen jól teljesít a különböző csoportokban és körülmények között, és hol nem szabad használni.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Az adatkészletek adatlapja ugyanezt teszi a betanítási adatokkal kapcsolatban: miért gyűjtötték az adatokat, mit tartalmaznak, hogyan gyűjtötték össze és címkézték őket, és hogyan kell őket karbantartani. Ezek a dokumentumok azért fontosak, mert lehetővé teszik a vásárlók, a felhasználók, az auditorok és a szabályozók számára annak megítélését, hogy egy rendszer megfelel-e a célnak, és az olyan jogszabályok, mint például az EU AI-törvény, hasonló dokumentációt írnak elő.
A modellkártyákat Margaret Mitchell és munkatársai javasolták az ACM FAT* konferencián 2019-ben bemutatott „Model Cards for Model Reporting” című tanulmányában. A javasolt szakaszok a modell részletei, a tervezett felhasználás, tényezők (például demográfiai vagy környezeti feltételek), metrikák, értékelési adatok, képzési adatok, kvantitatív elemzések, etikai megfontolások és ajánlások, valamint figyelmeztetések. A kulcsötlet a bontott értékelés: a teljesítményről külön jelentést kell készíteni a releváns alcsoportokra vonatkozóan, nem pedig egyetlen átlagos pontszámként, amely elrejti a hibákat. A Timnit Gebru és munkatársai által készített Datasheets for Datasets először 2018-ban jelent meg, majd később a Communications of the ACM-ben jelent meg. Az elektronikai adatlapokból kölcsönöz. Az adatkészlet-készítők válaszolnak a motivációra, összetételre, gyűjtési folyamatra, előfeldolgozásra és címkézésre, felhasználásra, terjesztésre és karbantartásra vonatkozó kérdésekre. A kapcsolódó formátumok közé tartoznak a nyelvi adatkészletekhez és adatkártyákhoz tartozó adatnyilatkozatok. A Meta és a OpenAI által 2022 óta, illetve a GPT-4 esetében 2023-ban kiemelten használt rendszerkártyák a teljes telepített rendszert dokumentálják, beleértve a biztonsági teszteléseket és a csökkentéseket is, nem csak a modellt. A szabályozás e gyakorlat nagy részét követelmévé változtatta. Az EU MI-törvénye megköveteli a magas kockázatú mesterségesintelligencia-rendszerekhez a IV. mellékletben meghatározott műszaki dokumentációt. Az általános célú mesterséges intelligenciamodellek szolgáltatóinak meg kell őrizniük a műszaki dokumentációt, információkat kell adniuk a későbbi szolgáltatóknak, és közzé kell tenniük a képzési tartalom összefoglalóját egy bizottsági sablon segítségével. Általános tévhit, hogy a modellkártya azt bizonyítja, hogy a modell biztonságos. Ez nyilvánosságra hozatal, nem tanúsítás, és a kártya lehet hiányos, elavult vagy marketinghez hasonlóan írott. Értéke az őszinte korlátoktól és értékelésektől függ, amelyeket valaki más képes reprodukálni.
A bőrelváltozások osztályozóját értékelő kórház leolvassa a modellkártyáját, és megállapítja, hogy a pontosságot bőrtónus szerint külön jelentették. Ezután úgy dönt, hogy használat előtt lefuttatja saját helyi érvényesítését.
A Hugging Face modelltárban egy YAML-metaadatokkal ellátott modellkártya látható, amely felsorolja a licencét, a képzési adatkészleteket, a nyelveket és a benchmark eredményeket, és az emberek e mezők alapján szűrhetik a keresési eredményeket.
Egy kutatócsoport beszédadatkészletet tesz közzé egy adatlappal, amely rögzíti a beszélők beleegyezését, a rögzítési feltételeket és az alulreprezentált ékezeteket.
Egy mesterséges intelligencia-labor rendszerkártyát ad ki egy chatbot számára, amely leírja a red-teaming eredményeit, a biztonsági csökkentéseket és a fennmaradó kockázatokat, azon túl, amit egy alapmodellkártya fedez.
A dokumentáció az önkéntes bevált gyakorlattól a megfelelési követelmény felé halad. Az EU AI-törvénye, a beszerzési szabályok és szabványok, mint például az ISO/IEC 42001, mind strukturált nyilvántartást várnak el a rendszer felépítéséről és teszteléséről. Valószínűleg egyre gyakoribbak lesznek a géppel olvasható formátumok és az automatizált generálás, így a kártyák ellenőrizhetők és összehasonlíthatók. A folyamatban lévő kihívások közé tartozik a dokumentumok pontosságának megőrzése a modellek frissítése során, elegendő mennyiségű képzési adatok közzététele üzleti titkok vagy személyes adatok felfedése nélkül, valamint annak biztosítása, hogy az olvasók valóban használják a dokumentumokat a döntéshozatal során.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A modellkártya egy rövid, strukturált dokumentum, amely elmagyarázza, mire való az AI-modell, hogyan értékelték ki, milyen jól teljesít a különböző csoportokban és körülmények között, és hol nem szabad használni. Az adatkészletek adatlapja ugyanezt teszi a betanítási adatokkal kapcsolatban: miért gyűjtötték az adatokat, mit tartalmaznak, hogyan gyűjtötték össze és címkézték őket, és hogyan kell őket karbantartani. Ezek a dokumentumok azért fontosak, mert lehetővé teszik a vásárlók, a felhasználók, az auditorok és a szabályozók számára annak megítélését, hogy egy rendszer megfelel-e a célnak, és az olyan jogszabályok, mint például az EU AI-törvény, hasonló dokumentációt írnak elő.
A modellkártya megadja az olvasóknak azt, amire szükségük van annak megítéléséhez, hogy egy modell alkalmas-e egy adott felhasználásra, beleértve azt is, hogy hol teljesít rosszul.
Margaret Mitchell és munkatársai 2019-ben bemutatták a „Modell kártyákat a modelljelentésekhez” az ACM FAT* rendezvényen.
Az eredmények alcsoportonkénti felosztása olyan hibákat tár fel, amelyeket az általános átlag elrejt.
Az elektronikus alkatrészekhez adatlapok tartoznak, amelyek leírják jellemzőiket. Gebru és munkatársai ezt az ötletet alkalmazták adatkészletekre.
A rendszerkártyák, például a OpenAI a GPT-4-hez, leírják a telepített termék kockázatait, a red-teaming-ot és a biztosítékokat.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Beágyazási modellek finomhangolása a visszakereséshez
Műszaki