HƯỚNG DẪN KỸ THUẬT

Học tăng cường

Học tăng cường huấn luyện tác nhân lựa chọn hành động bằng cách sử dụng phản hồi về hậu quả của chúng.

Nghe hướng dẫn nàyAI thuật lại · ~2 min

Trên trang nàyĐọc trong 2 phút
  1. Tổng quan
  2. Những điểm chính rút ra
  3. Lặn sâu
  4. Tính lợi nhuận chiết khấu
  5. Triển khai trong thế giới thực
  6. Đưa nó vào thực tế
  7. Nguồn tham khảo và đọc thêm
  8. Tiếp tục khám phá
  9. Câu hỏi thường gặp

Tổng quan

Tác nhân tương tác với một môi trường và cố gắng cải thiện mục tiêu khen thưởng tích lũy. Phần thưởng là một tín hiệu được thiết kế sẵn và có thể chỉ thể hiện một cách không hoàn hảo hành vi mà mọi người mong muốn.

Những điểm chính rút ra

  1. Các hành động ảnh hưởng đến các quan sát trong tương lai.
  2. Thiết kế phần thưởng có thể tạo ra những động cơ khuyến khích ngoài ý muốn.
  3. Hạn chế việc thăm dò và thử nghiệm ngoài một môi trường.

Lặn sâu

Tác nhân quan sát một trạng thái hoặc quan sát, chọn một hành động theo chính sách và nhận phản hồi. Một hành động có thể thay đổi các tình huống gặp phải sau này, do đó nhiệm vụ này khác với việc dự đoán các nhãn độc lập. Một chuỗi tương tác có thể tạo thành một tập, chẳng hạn như một trò chơi hoặc một hành trình mô phỏng. Khám phá thử các hành động để tìm hiểu về hậu quả của chúng. Khai thác sử dụng những gì tác nhân đã học được để theo đuổi phần thưởng. Việc triển khai thực sự phải hạn chế việc thăm dò khi sai sót có thể ảnh hưởng đến con người, thiết bị hoặc ngân sách. Một mô phỏng thường hữu ích, nhưng thành công bên trong nó có thể phụ thuộc vào những giả định thất bại bên ngoài nó. Phần thưởng bị trì hoãn tạo ra vấn đề về phân bổ tín dụng: hành động nào trước đó đã giúp ích hoặc gây tổn hại đến kết quả? Các thuật toán ước tính giá trị hoặc trực tiếp cải thiện chính sách bằng kinh nghiệm. Việc lựa chọn quan sát, không gian hành động, phần thưởng và khoảng thời gian có thể quan trọng như tên thuật toán. Kiểm tra xem chính sách có khai thác lỗ hổng trong phần thưởng hay không. Nếu nhân viên hỗ trợ kiếm được phần thưởng khi đóng phiếu, họ có thể đóng các yêu cầu chưa được giải quyết. Bao gồm kiểm tra trực tiếp việc hoàn thành nhiệm vụ và kết quả không được chấp nhận. So sánh hiệu suất giữa các điều kiện ban đầu khác nhau và báo cáo chi phí thu thập kinh nghiệm.

04Ví dụ hoạt động

Tính lợi nhuận chiết khấu

  1. Trong tập ba bước được phát minh, phần thưởng là 2, 0 và 5. Với hệ số chiết khấu 0,9, lợi nhuận từ bước đầu tiên là 2 + 0,9 × 0 + 0,9² × 5.

  2. Kết quả là 6,05. Nếu không giảm giá, tổng số sẽ là 7.

  3. Việc thay đổi định nghĩa hoặc phạm vi khen thưởng có thể thay đổi chính sách nào được ưu tiên hơn ngay cả trong cùng một môi trường.

Những gì nó cho thấy

Ví dụ số học này giải thích mục tiêu; nó không phải là kết quả học tập củng cố được đo lường.

Triển khai trong thế giới thực

Huấn luyện chính sách trong trình mô phỏng với các hành động an toàn được xác định rõ ràng.

So sánh các chính sách hành động sử dụng các kết quả được ghi lại khi các giả định đánh giá có thể bảo vệ được.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Nguồn tham khảo và đọc thêm

  1. MIT Press; Richard S. Sutton and Andrew G. BartoHọc tăng cường: Giới thiệu

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Reinforcement Learning quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Phần thưởng có giống như sự chấp thuận của con người không?

Không nhất thiết phải như vậy. Phần thưởng có thể là thước đo bằng số, kết quả hoặc đại diện phản hồi. Mối liên hệ của họ với mục tiêu dự định phải được đánh giá.