Mạng lưới thần kinh

Một nơron nhân tạo cơ bản kết hợp các giá trị đầu vào bằng cách sử dụng các trọng số, thêm độ lệch và áp dụng hàm kích hoạt. Các trọng số kiểm soát mức độ đóng góp của mỗi đầu vào. Sự thiên vị làm thay đổi kết quả. Kích hoạt phi tuyến tính cho phép các lớp thể hiện các mối quan hệ mà một nhóm các hoạt động tuyến tính thuần túy không thể thực hiện được. Ví dụ: kích hoạt ReLU trả về 0 cho đầu vào âm và giữ nguyên đầu vào dương. Mạng có thể sử dụng các kích hoạt khác nhau trong các lớp khác nhau. Lớp đầu ra được chọn để phù hợp với nhiệm vụ: dự đoán bằng số không được diễn giải giống như cách tính điểm cho các hạng mục có thể. Trong quá trình huấn luyện, hàm mất sẽ so sánh đầu ra với kết quả mong muốn. Lan truyền ngược sử dụng quy tắc dây chuyền để tính toán mức độ ảnh hưởng của các tham số đến tổn thất. Sau đó, trình tối ưu hóa sẽ sử dụng thông tin đó để cập nhật các tham số. Lan truyền ngược tính toán độ dốc; nó không đảm bảo rằng mô hình sẽ tìm ra giải pháp tốt nhất có thể hoặc khái quát hóa tốt. Sự tương tự của não bị hạn chế. Tế bào thần kinh nhân tạo là sự trừu tượng về mặt toán học và một mạng lưới thành công không phải là bằng chứng của trí tuệ giống con người. Một mạng lớn hơn có thể mô hình hóa các mối quan hệ phức tạp nhưng cũng có thể tốn nhiều chi phí hơn để vận hành, phù hợp với các mẫu không liên quan hoặc thất bại khi điều kiện thay đổi. So sánh nó với đường cơ sở đơn giản hơn và kiểm tra các ví dụ bên ngoài dữ liệu huấn luyện.