Szept dostrajający

Whisper to wstępnie wytrenowany model kodera-dekodera do zadań związanych z mową. Dostrajanie kontynuuje trenowanie sparowanego dźwięku i tekstu, dzięki czemu model może lepiej obsługiwać docelową dystrybucję, słownictwo lub warunek językowy. Nie oznacza to po prostu dodania słownika: wagi modelu są aktualizowane na podstawie przykładów, a wynikowe zachowanie zależy od danych, celu i konfiguracji szkolenia. Zacznij od starannie dobranych par transkrypcji audio. Transkrypcje powinny odpowiadać treści mówionej i stosować spójne konwencje dotyczące interpunkcji, wielkości liter, liczb, niepłynności i zdarzeń niezwiązanych z mową. Dźwięk powinien być dekodowany i próbkowany zgodnie z oczekiwaniami procesora modelu. Usuń duplikaty i sprawdź, czy segmenty nie są obcięte ani niedopasowane. Niewielka liczba błędów w etykietach może błędnie ukierunkować proces uczenia się, szczególnie w przypadku małego zestawu adaptacyjnego. Podzielone według mówcy, źródła lub sesji przed szkoleniem, aby powiązane wypowiedzi nie pojawiały się zarówno podczas szkolenia, jak i oceny. Zachowaj zestaw walidacyjny dla decyzji dotyczących punktów kontrolnych i hiperparametrów oraz oddzielny zestaw testowy na potrzeby raportowania końcowego. Poziom błędów słów jest powszechny w przypadku ASR, ale wpływają na to wybory normalizacyjne; zgłoś je. Oceniaj różne akcenty, warunki akustyczne i docelowe słownictwo, a nie tylko ogólną średnią. Duże modele wymagają więcej pamięci i mocy obliczeniowej, a ich dostrojenie może być trudniejsze w przypadku ograniczonego sprzętu. Mniejsze punkty kontrolne mogą być praktyczne, ale sam rozmiar modelu nie decyduje o jakości. Metody wydajne pod względem parametrów, takie jak adaptery niskiego rzędu, mogą obniżyć parametry, które można wytrenować, jeśli są obsługiwane przez wybrane narzędzia, jednak należy zweryfikować ich zachowanie i kompatybilność. Porównaj z szybkimi lub dekodowanymi zmianami i pobraniem terminów domenowych przed przystąpieniem do szkolenia. Dostrajanie może ulepszyć domenę docelową, jednocześnie zmniejszając wydajność w innym miejscu, zwłaszcza jeśli dane dotyczące adaptacji są wąskie. Monitoruj zarówno docelowe, jak i ogólne zestawy walidacyjne, gdy liczą się szerokie możliwości. Zapisz odniesienie do modelu podstawowego, procesor, konfigurację szkoleniową, wersję zestawu danych i końcowy punkt kontrolny, aby można było odtworzyć i sprawdzić wynik.