VolgendeVolgende gids
Online en offline functie die scheef serveert
Technisch
Technische GIDS
Harde negatieve mijnbouw kiest de meest informatieve, moeilijk te onderscheiden voorbeelden om op te trainen in plaats van moeite te verspillen aan gemakkelijke voorbeelden die het model al goed heeft.
Luister naar deze gidsAI-verteld · ~2 min
It is the trick that makes metric learning and object detection converge fast and accurately.
Bij het trainen met triplet- of contrastieve verliezen bevinden de meeste willekeurig bemonsterde negatieven zich al ver van het anker, dus produceren ze geen verlies en geen gradiënt-trainingsstoringen. Negative mining lost dit op door harde negatieven te selecteren: voorbeelden die ten onrechte dicht bij het anker liggen. Bij offline mining scant u periodiek de dataset om deze te vinden, wat langzaam en verouderd is. Online mining berekent ze tijdens elke minibatch: na een voorwaartse pass bekijk je alle paarsgewijze afstanden in de batch en kies je de moeilijkste overtreders. FaceNet introduceerde semi-hard mining, waarbij de negatieven verder werden gekozen dan de positieve, maar nog steeds binnen de marge, waardoor de instabiliteit werd vermeden die de absoluut moeilijkste negatieven al vroeg in de training kunnen veroorzaken.
Training voor gezichtsherkenning: FaceNet maakt gebruik van semi-harde online mining om inbedding te leren die gelijksoortige individuen van elkaar scheidt.
Objectdetectie: SSD en soortgelijke detectoren passen harde negatieve mijnbouw toe om de stroom eenvoudige achtergrondvakken in evenwicht te brengen met zeldzame objectvakken.
Ophalen met grote doorgang: zoek- en RAG-systemen verzamelen harde negatieve documenten die er relevant uitzien, maar dat niet zijn, waardoor de retriever wordt aangescherpt.
Aanbevelingssystemen: modelleren mijn items waarop een gebruiker niet heeft geklikt, maar die wel leken op aangeklikte items, waardoor fijnere verschillen in smaak worden geleerd.
Het principe, trainen op wat moeilijk is, stimuleert nu contrastief zelfgecontroleerd leren, waarbij grote in-batch negatieve pools (en geheugenbanken zoals MoCo) moeilijke vergelijkingen zonder labels bieden. Onderzoekers verfijnen hoe hard een negatief moet zijn, omdat te harde negatieven vaak verkeerd gelabeld blijken te zijn of bijna dubbele positieven zijn die de training bederven. Verwacht slimmere, onzekerheidsbewuste mijnbouw en synthetische harde negatieven die door het model zelf worden gegenereerd, plus een nauwere integratie met ophaalsystemen die harde negatieven uit echte gebruikersquery's halen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Harde negatieve mijnbouw kiest de meest informatieve, moeilijk te onderscheiden voorbeelden om op te trainen in plaats van moeite te verspillen aan gemakkelijke voorbeelden die het model al goed heeft. Het is de truc die ervoor zorgt dat metrisch leren en objectdetectie snel en nauwkeurig samenkomen.
Gemakkelijke negatieven zitten ver buiten de marge, compenseren het verlies al en dragen in wezen geen gradiënt bij, dus de training loopt vast.
Online mining berekent bij elke stap paarsgewijze afstanden binnen de huidige batch, terwijl offline mining periodiek de hele dataset scant en verouderd kan raken.
Halfharde negatieven zijn verder van het anker verwijderd dan de positieve, maar vallen toch binnen de marge, waardoor bruikbare, stabiele gradiënten ontstaan zonder de instabiliteit van de absoluut moeilijkste gevallen.
Batch-hard mining kiest de moeilijkste gevallen: voor elk anker zijn het verste positieve en het dichtstbijzijnde (meest verwarrende) negatieve in de batch nodig.
Een grotere batch levert een grotere paarsgewijze afstandsmatrix op, dus er zijn meer kandidaat-negatieven die het moeilijkst uit elke stap kunnen worden gedolven.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Online en offline functie die scheef serveert
Technisch