YAMNet Audio Classification

YAMNet är en förtränad ljudhändelseklassificerare som släppts i TensorFlow-modellförrådet. Dess dokumenterade modell förutsäger 521 AudioSet-händelseklasser och använder en faltningsarkitektur i MobileNetV1-stil som kan separeras på djupet. Det kan returnera poäng över klasser för på varandra följande ljudramar, såväl som mellanliggande inbäddningar. Dessa utdata gör den användbar för att utforska miljöljud och som en startrepresentation för en mindre nedströmsuppgift. Klassresultaten är knutna till AudioSet-ontologin, som inkluderar kategorier som tal, musik, djur och miljöhändelser. En klasslista formar vad modellen kan uttrycka: om ett projekt behöver en distinktion som saknas eller är bredare i taxonomin, kan modellen inte tillförlitligt tillhandahålla den exakta etiketten bara för att en liknande klass existerar. Inspektera mappningar och oklarheter snarare än att behandla utdatanamn som projektspecifik sanning. Ett typiskt arbetsflöde laddar ljud, konverterar det till den förväntade samplingshastigheten och kanalformatet, kör modellen och samlar ramresultat om ett resultat på klippnivå behövs. Omsampling måste vara verklig omsampling, inte ändra ett metadatafält. Monokonvertering, beskärningslängd och poängaggregation påverkar utdata. En högljudd händelse kan dominera ett klippgenomsnitt, medan ett maximum kan överbetona en kort falsk positiv. För överföringsinlärning kan inbäddningar mata en klassificerare som utbildats på exempel märkta för måluppgiften. Alternativt, finjustering uppdaterar vissa modellvikter. Rätt val beror på datastorlek och etikettkvalitet. Dela inspelningar efter källa eller session innan du extraherar utökade varianter, och utvärdera på representativa oberoende inspelningar. Övervaka klassspecifika fel och kalibrering om poäng kör trösklar. YAMNet är en modell, inte en kurerad datauppsättning eller produktionsvalidering. Dess breda förträning kanske inte representerar specialiserad utrustning, inspelningsmiljöer eller sällsynta händelser. Kontrollera licensiering, modellhärkomst, enhetskompatibilitet och prestanda för den avsedda populationen. Mänsklig granskning kan behövas när händelseetiketter utlöser beslut.