Funkcje aktywacji
Funkcje aktywacji to małe nieliniowe bramki wewnątrz każdego neuronu, które pozwalają sieciom neuronowym uczyć się złożonych, zakrzywionych wzorów, a nie tylko linii prostych.
Przegląd
Bez nich głęboka sieć rozpadłaby się w jedno równanie liniowe.
Głębokie nurkowanie
Każdy neuron oblicza ważoną sumę swoich danych wejściowych, ale sama ta suma jest liniowa. Ułóż wiele warstw liniowych, a z matematycznego punktu widzenia nadal będziesz mieć tylko jedną dużą funkcję liniową, niezależnie od jej głębokości. Funkcje aktywacji przełamują ten problem, stosując transformację nieliniową na wyjściu każdego neuronu, dając sieciom możliwość aproksymacji niemal każdej funkcji. Najpopularniejszym jest ReLU, który po prostu wyprowadza dane wejściowe, jeśli są dodatnie i zero w przeciwnym razie; jest szybki i pozwala uniknąć problemów związanych ze szkoleniem starszych funkcji. Wartości sigmoidalne i tanh squash mieszczą się w ograniczonych zakresach i były powszechne w przeszłości, ale w głębokich sieciach mogą powodować zanikanie gradientów. Funkcja softmax użyta na wyjściu przekształca surowe wyniki w rozkład prawdopodobieństwa według klas.
Wgląd techniczny
Atrakcyjność ReLU wynika częściowo z jego gradientu: dla wejść dodatnich wynosi dokładnie 1, więc nie zmniejsza sygnału błędu podczas propagacji wstecznej, pomagając w uczeniu głębokich sieci. Z kolei sigmoid i tanh spłaszczają się w swoich ekstremach, gdzie ich gradient zbliża się do zera, powodując problem zanikającego gradientu, który wstrzymuje naukę w przypadku dużych stosów. Wadą ReLU jest problem umierania ReLU, w którym neurony utknęły na ujemnych wejściach i na zawsze dają zero; warianty takie jak Leaky ReLU i GELU rozwiązują ten problem, umożliwiając małą lub gładką, niezerową reakcję.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość funkcji aktywacyjnych
Dziś dominują ReLU i jego gładki kuzyn GELU, przy czym GELU jest preferowany w transformatorach, ponieważ jego gładka krzywa dobrze łączy się z dynamiką treningu. Badania dotyczą wyuczonych i bramkowanych aktywacji, takich jak SwiGLU, obecnie powszechnych w dużych modelach językowych, które wykorzystują bramkowanie multiplikatywne w celu zwiększenia ekspresji. Powszechnym trendem jest płynne, bramkowane funkcje, które poprawiają przepływ gradientu i jakość modelu w dużej skali. Choć w publikacjach regularnie pojawiają się egzotyczne aktywacje, proste, dobrze zachowujące się funkcje zwykle wygrywają w praktyce, ponieważ niezawodnie trenują na ogromnych modelach.
Implementacja w świecie rzeczywistym
Używanie ReLU w ukrytych warstwach sieci splotowej, aby mogła uczyć się zakrzywionych granic decyzyjnych na potrzeby rozpoznawania obrazu
Zastosowanie softmaxu na ostatniej warstwie w celu przekształcenia surowych wyników klasyfikatora w prawdopodobieństwa klas, które sumują się do jedności
Wybór aktywacji GELU w modelu języka transformatora w celu uzyskania płynniejszego przepływu gradientu
Przejście na Leaky ReLU, gdy zbyt wiele neuronów w sieci umarło i przestało odpowiadać
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokument, w którym pomagają funkcje aktywacji i gdzie lepsze są prostsze metody.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Activation Functions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Funkcje straty
Często zadawane pytania
Czym są funkcje aktywacyjne?
Funkcje aktywacji to małe nieliniowe bramki wewnątrz każdego neuronu, które pozwalają sieciom neuronowym uczyć się złożonych, zakrzywionych wzorów, a nie tylko linii prostych. Bez nich głęboka sieć zapadnie się w jedno równanie liniowe.
Co by się stało z głęboką siecią bez funkcji aktywacyjnych?
Układanie warstw liniowych bez nieliniowości sprowadza się matematycznie do jednej transformacji liniowej, więc sieć nie może uczyć się złożonych wzorców.
Co daje funkcja aktywacji ReLU przy wejściu ujemnym?
ReLU wyprowadza dane wejściowe, gdy jest dodatnie i zero, gdy jest ujemne, co ułatwia i przyspiesza obliczenia.
Jaki jest problem zanikającego gradientu związany z sigmoidą i tanhem?
Sigmoida i tanh spłaszczają się na swoich krańcach, więc ich gradient zmniejsza się do zera, osłabiając sygnał błędu w głębokich sieciach.
Która funkcja aktywacji jest zwykle używana w warstwie wyjściowej klasyfikatora wieloklasowego?
Softmax konwertuje surowe wyniki na rozkład prawdopodobieństwa w klasach, który sumuje się do jednego, idealny do wyników klasyfikacji.
Na czym polega problem „umierającego ReLU”?
Jeśli neuron ReLU zawsze otrzymuje ujemne wejście, wysyła zero z zerowym gradientem i skutecznie przestaje aktualizować, a tym samym „umiera”.