Tiếp theoHướng dẫn tiếp theo
Hàm mất mát
Nguyên tắc cơ bản
HƯỚNG DẪN cơ bản
Chức năng kích hoạt
Các hàm kích hoạt là các cổng phi tuyến nhỏ bên trong mỗi nơ-ron cho phép mạng lưới thần kinh học các mẫu cong, phức tạp thay vì chỉ các đường thẳng.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Without them, a deep network would collapse into a single linear equation.
Lặn sâu
Mỗi nơ-ron tính tổng có trọng số của các đầu vào của nó, nhưng riêng tổng đó là tuyến tính. Xếp chồng nhiều lớp tuyến tính và về mặt toán học, bạn vẫn chỉ có một hàm tuyến tính lớn, cho dù sâu đến đâu. Các hàm kích hoạt phá vỡ điều này bằng cách áp dụng một phép biến đổi phi tuyến cho đầu ra của mỗi nơ-ron, mang lại cho mạng khả năng xấp xỉ hầu hết mọi hàm. Phổ biến nhất là ReLU, đơn giản là xuất đầu vào nếu dương và bằng 0 nếu ngược lại; nó nhanh và tránh được một số vấn đề huấn luyện của các hàm cũ hơn. Các giá trị sigmoid và tanh biến thành các phạm vi giới hạn và đã phổ biến trong lịch sử nhưng có thể bị biến mất độ dốc trong các mạng sâu. Hàm softmax, được sử dụng ở đầu ra, chuyển đổi điểm thô thành phân bố xác suất cho các lớp.
Triển khai trong thế giới thực
Sử dụng ReLU trong các lớp ẩn của mạng tích chập để nó có thể tìm hiểu các ranh giới quyết định cong để nhận dạng hình ảnh
Áp dụng softmax ở lớp cuối cùng để biến điểm thô của bộ phân loại thành xác suất của lớp có tổng bằng một
Chọn kích hoạt GELU bên trong mô hình ngôn ngữ biến áp để có luồng chuyển màu mượt mà hơn
Chuyển sang Leaky ReLU khi có quá nhiều nơ-ron trong mạng đã chết và ngừng phản hồi
Tương lai của chức năng kích hoạt
ReLU và người anh em họ hàng trơn tru của nó là GELU thống trị ngày nay, trong đó GELU được ưa chuộng trong các máy biến áp vì đường cong mượt mà của nó kết hợp tốt với động lực tập luyện của chúng. Nghiên cứu khám phá các kích hoạt đã học và kiểm soát như SwiGLU, hiện phổ biến trong các mô hình ngôn ngữ lớn, sử dụng phương pháp kích hoạt nhân để tăng cường khả năng diễn đạt. Xu hướng rộng rãi là hướng tới các chức năng kiểm soát, mượt mà giúp cải thiện dòng chuyển màu và chất lượng mô hình trên quy mô lớn. Trong khi các kích hoạt kỳ lạ xuất hiện thường xuyên trên giấy tờ thì các hàm đơn giản, hoạt động tốt có xu hướng giành chiến thắng trong thực tế vì chúng huấn luyện một cách đáng tin cậy trên các mô hình khổng lồ.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Tài liệu nơi Chức năng kích hoạt hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Activation Functions quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Activation Functions?
Các hàm kích hoạt là các cổng phi tuyến nhỏ bên trong mỗi nơ-ron cho phép mạng lưới thần kinh học các mẫu cong, phức tạp thay vì chỉ các đường thẳng. Không có chúng, mạng sâu sẽ sụp đổ thành một phương trình tuyến tính duy nhất.
Why can stacking only linear layers not learn a curved decision boundary?
Without nonlinear activations, multiple linear layers compose to another linear mapping.
Why can sigmoid and tanh stall learning in deep networks when inputs reach their extremes?
At their flat extremes, their near-zero gradients weaken the backpropagated signal.
A multiclass classifier needs output values that sum to one across classes. Which function does the guide use?
Softmax turns raw class scores into a probability distribution over classes.
What does the “dying ReLU” problem mean in the guide?
A ReLU stuck receiving negative inputs can keep outputting zero, preventing useful updates through that unit.
Which variant is suggested when many ReLU units stay inactive?
The guide names Leaky ReLU as a response to dead units because its negative side is not flat at zero.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này