LegközelebbKövetkező útmutató
Checkpoint Sharding és Resumable Training
Műszaki
Műszaki ÚTMUTATÓ
A pszeudocímkézés egy félig felügyelt technika, ahol egy kis címkézett halmazra betanított modell saját címkéket állít elő a címkézetlen adatokhoz, majd ezeket az előrejelzéseket használja.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez egy egyszerű, hatékony módja a rengeteg címkézetlen adat kihasználásának.
Az önképzés az egyik legrégebbi, félig felügyelt ötlet. Először tanítani kell egy tanári modellt a korlátozott címkézett adatokra. A tanár ezután megjósolja a címkéket egy nagy számú címkézetlen példához; a nagy megbízhatóságú előrejelzések álcímkévé válnak. A diákmodellt az igazi címkék és az álcímkék egyesülésére képezik ki, gyakran felülmúlva a tanárt. A bizalmi küszöbök számítanak: csak a valószínűségi küszöb feletti előrejelzéseket tartják meg, így a modellt nem rontják meg saját bizonytalan találgatásai. A modern változatok a pszeudocímkézést a konzisztencia-szabályozással kombinálják. A FixMatch például egy pszeudocímkét generál egy gyengén bővített képből, és megtanítja a modellt, hogy illeszkedjen hozzá egy erősen bővített verzióhoz, de csak akkor, ha a gyenge előrejelzés magabiztos. A Noisy Student az ImageNet-en skálázta az ötletet úgy, hogy megnövelte a hallgatót, és zajt (lemorzsolódás, fokozódás) adott a képzés során.
Beszédfelismerő rendszer betanítása több ezer órányi címkézetlen hang átírásával magmodell segítségével, majd a magabiztos átiratokon való újraképzés.
A Google Zajos diákja javítja az ImageNet pontosságát azáltal, hogy a címkézetlen képeket ismételten felcímkézi a tanárral, és egy nagyobb, zajos tanulót tanít.
A megjegyzés nélküli orvosi szkennelések nagy készletének felcímkézése egy néhány száz, szakértő által megjelölt esetre kiképzett modellel a képzési készlet bővítése érdekében.
Szövegosztályozó rendszerindítása egy szűk tartományhoz több millió címkézetlen dokumentum álcímkézésével egy megbízhatósági küszöb felett.
A pszeudocímkézés továbbra is központi szerepet játszik a címke-hatékony tanulásban, és egyre inkább a nagy modellek oktatási folyamataiban, ahol az erős modellek szintetikus címkéket vagy akár szintetikus adatokat generálnak kisebb vagy újabb modellek betanításához, ami a desztilláció egy formája. Szorosabb integrációra számíthat az aktív tanulással (az embernek mely példákat kell címkéznie), jobb bizonytalansági becsléseket kell végezni az álcímkék szűrésére, valamint további felhasználást a beszédfelismerésben, az orvosi képalkotásban és minden olyan területen, ahol a címkézetlen adatok jóval többen vannak, mint a címkézett adatok.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A pszeudocímkézés egy félig felügyelt technika, ahol egy kis címkézett halmazra betanított modell saját címkéket állít elő a címkézetlen adatokhoz, majd ezeket az előrejelzéseket használja. Ez egy egyszerű, hatékony módja a rengeteg címkézetlen adat kihasználásának.
The guide describes generating pseudo-labels and training with labeled and selected unlabeled examples.
The guide says high-confidence predictions are retained to reduce contamination from uncertain guesses.
The guide warns that a model’s errors may be reinforced by its generated labels.
FixMatch uses a confident prediction from a weak augmentation to train on a strong augmentation.
The guide describes adding noise during student training to encourage generalization.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Checkpoint Sharding és Resumable Training
Műszaki