NastępnyNastępny poradnik
Dostrajanie modeli osadzania do odzyskiwania
Techniczne
PRZEWODNIK techniczny
Karty modeli i arkusze danych dla zestawów danych
Karta modelu to krótki, ustrukturyzowany dokument wyjaśniający, do czego służy model sztucznej inteligencji, jak został oceniony, jak dobrze sprawdza się w różnych grupach i warunkach oraz gdzie nie należy go stosować.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie3 minuty czytania
Przegląd
Arkusz danych dla zbiorów danych robi to samo w przypadku danych szkoleniowych: dlaczego dane zostały zebrane, co zawierają, w jaki sposób zostały zebrane i oznaczone oraz jak należy je utrzymywać. Dokumenty te mają znaczenie, ponieważ pozwalają kupującym, użytkownikom, audytorom i organom regulacyjnym ocenić, czy system nadaje się do założonego celu, a przepisy takie jak unijna ustawa o sztucznej inteligencji wymagają obecnie podobnej dokumentacji.
Głębokie nurkowanie
Karty modeli zostały zaproponowane przez Margaret Mitchell i współpracowników w artykule „Model Cards for Model Reporting”, zaprezentowanym na konferencji ACM FAT* w 2019 r. Sugerowane sekcje obejmują szczegóły modelu, jego przeznaczenie, czynniki (takie jak warunki demograficzne lub środowiskowe), metryki, dane ewaluacyjne, dane szkoleniowe, analizy ilościowe, rozważania etyczne oraz zastrzeżenia i zalecenia. Kluczową ideą jest ocena zdezagregowana: raportowanie wyników oddzielnie dla odpowiednich podgrup, a nie jako jeden średni wynik, który może ukryć niepowodzenia. Arkusze danych dla zestawów danych autorstwa Timnita Gebru i współpracowników zostały po raz pierwszy rozpowszechnione w 2018 r., a później zostały opublikowane w Communications of the ACM. Pożycza z arkuszy danych elektroniki. Twórcy zbiorów danych odpowiadają na pytania dotyczące motywacji, składu, procesu gromadzenia, wstępnego przetwarzania i etykietowania, zastosowań, dystrybucji i konserwacji. Powiązane formaty obejmują zestawienia danych dla zbiorów danych językowych i kart danych. Karty systemowe, używane przez Meta i OpenAI od 2022 r. i ważne dla GPT-4 w 2023 r., dokumentują cały wdrożony system, w tym testy bezpieczeństwa i środki łagodzące, a nie tylko model. W przepisach większość tej praktyki stała się wymogiem. Ustawa UE o sztucznej inteligencji wymaga dokumentacji technicznej systemów sztucznej inteligencji wysokiego ryzyka, określonej w załączniku IV. Dostawcy modeli sztucznej inteligencji ogólnego przeznaczenia muszą przechowywać dokumentację techniczną, przekazywać informacje dalszym dostawcom i publikować podsumowanie treści szkoleniowych, korzystając ze wzoru Komisji. Powszechnym błędnym przekonaniem jest to, że karta modelu dowodzi, że model jest bezpieczny. Jest to ujawnienie, a nie zaświadczenie, a karta może być niekompletna, nieaktualna lub napisana w sposób marketingowy. Jego wartość zależy od uczciwych ograniczeń i ocen, które ktoś inny może odtworzyć.
Implementacja w świecie rzeczywistym
Szpital oceniający klasyfikator zmian skórnych czyta kartę modelu i stwierdza, że dokładność była raportowana oddzielnie w zależności od odcienia skóry. Następnie podejmuje decyzję o przeprowadzeniu własnej lokalnej walidacji przed użyciem.
Repozytorium modeli Hugging Face wyświetla kartę modelu z metadanymi YAML zawierającymi listę licencji, zbiory danych szkoleniowych, języki i wyniki testów porównawczych, a użytkownicy mogą filtrować wyniki wyszukiwania według tych pól.
Zespół badawczy publikuje zbiór danych dotyczących mowy wraz z arkuszem danych, w którym rejestruje się zgodę mówców, warunki nagrywania i niedostatecznie reprezentowany akcent.
Laboratorium sztucznej inteligencji udostępnia kartę systemową dla chatbota, opisującą wyniki działania zespołu red-team, środki zaradcze w zakresie bezpieczeństwa i pozostałe zagrożenia wykraczające poza to, co obejmuje karta podstawowego modelu.
Przyszłość kart modeli i arkuszy danych dla zbiorów danych
Dokumentacja odchodzi od dobrowolnych najlepszych praktyk w stronę wymogu zgodności. Unijna ustawa o sztucznej inteligencji, zasady i standardy dotyczące zamówień publicznych, takie jak ISO/IEC 42001, wymagają uporządkowanych zapisów dotyczących budowy i testowania systemu. Formaty nadające się do odczytu maszynowego i automatyczne generowanie staną się prawdopodobnie coraz bardziej powszechne, co umożliwi sprawdzanie i porównywanie kart. Stałymi wyzwaniami są zapewnienie dokładności dokumentów w miarę aktualizacji modeli, ujawnianie wystarczającej ilości danych szkoleniowych bez ujawniania tajemnic handlowych lub danych osobowych oraz upewnienie się, że czytelnicy faktycznie korzystają z dokumentów przy podejmowaniu decyzji.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Model Cards and Datasheets for Datasets quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to są karty modeli i arkusze danych dla zbiorów danych?
Karta modelu to krótki, ustrukturyzowany dokument wyjaśniający, do czego służy model sztucznej inteligencji, jak został oceniony, jak dobrze sprawdza się w różnych grupach i warunkach oraz gdzie nie należy go stosować. Arkusz danych dla zbiorów danych robi to samo w przypadku danych szkoleniowych: dlaczego dane zostały zebrane, co zawierają, w jaki sposób zostały zebrane i oznaczone oraz jak należy je utrzymywać. Dokumenty te mają znaczenie, ponieważ pozwalają kupującym, użytkownikom, audytorom i organom regulacyjnym ocenić, czy system nadaje się do założonego celu, a przepisy takie jak unijna ustawa o sztucznej inteligencji wymagają obecnie podobnej dokumentacji.
Jaki jest główny cel karty modelu?
Karta modelu daje czytelnikom wszystko, czego potrzebują, aby ocenić, czy model pasuje do konkretnego zastosowania, w tym w przypadku, gdy działa słabo.
Kto kierował gazetą proponującą modele kart?
Margaret Mitchell i współpracownicy zaprezentowali „Karty modeli do raportowania modeli” na konferencji ACM FAT* w 2019 r.
Co to jest ocena zdezagregowana?
Dzielenie wyników na podgrupy ujawnia awarie, które ukryłaby ogólna średnia.
Arkusze danych dla zestawów danych czerpią swój pomysł z której dziedziny?
Do komponentów elektronicznych dołączone są arkusze danych opisujące ich właściwości. Gebru i współpracownicy zastosowali ten pomysł do zbiorów danych.
Czym różni się karta systemowa od karty modelu podstawowego?
Karty systemowe, takie jak OpenAI dla GPT-4, opisują ryzyko związane z wdrożonym produktem, czerwony zespół i zabezpieczenia.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat