Mô hình thế giới và mô phỏng đã học
Mô hình thế giới là một mạng lưới thần kinh học cách dự đoán cách môi trường thay đổi theo thời gian, cho phép AI 'tưởng tượng' kết quả trong tương lai trước khi hành động.
Tổng quan
Learned simulators take this further, generating interactive, playable environments from data instead of being hand-coded by engineers.
Lặn sâu
Thay vì ghi nhớ những việc cần làm, mô hình thế giới nắm bắt động lực của môi trường: với trạng thái hiện tại và hành động được đề xuất, nó dự đoán quan sát tiếp theo. Bài viết cổ điển về 'Mô hình Thế giới' năm 2018 của Ha và Schmidhuber đã nén các khung trò chơi bằng bộ mã hóa tự động, mô hình hóa động lực học của chúng bằng mạng lặp lại và đào tạo bộ điều khiển gần như hoàn toàn bên trong 'giấc mơ' đã học được này. Dòng Dreamer của DeepMind tìm hiểu các động lực và kế hoạch tiềm ẩn bằng cách triển khai các quỹ đạo tưởng tượng và DreamerV3 làm chủ các nhiệm vụ đa dạng — thậm chí thu thập kim cương trong Minecraft từ đầu. Gần đây hơn, Genie của Google tạo ra thế giới 2D có thể điều khiển được từ hình ảnh và video không gắn nhãn, đồng thời GameNGen đã tái tạo trò chơi DOOM trong thời gian thực chỉ bằng cách sử dụng mô hình khuếch tán. Sự hấp dẫn: các đặc vụ có thể học hỏi hoặc được thử nghiệm trong trí tưởng tượng nhanh, rẻ tiền thay vì thực tế chậm chạp, đầy rủi ro.
Hiểu biết kỹ thuật
Các mô hình thế giới thường mã hóa các quan sát nhiều chiều thành trạng thái tiềm ẩn nhỏ gọn, sau đó tìm hiểu hàm chuyển đổi dự đoán trạng thái tiềm ẩn tiếp theo và phần thưởng từ một hành động. Lập kế hoạch sử dụng 'triển khai': tưởng tượng nhiều chuỗi hành động về phía trước và chọn ra chuỗi hành động tốt nhất hoặc đào tạo chính sách về dữ liệu tưởng tượng. Các phiên bản hiện đại sử dụng máy biến áp hoặc khuếch tán video để dự đoán khung hình trực tiếp, tùy thuộc vào hành động của người dùng, đạt được khả năng tạo tương tác theo từng khung hình.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của các mô hình thế giới và các mô phỏng đã học
Các mô hình thế giới đang trở thành trọng tâm của robot và tạo trò chơi: chúng hứa hẹn việc học tập hiệu quả về dữ liệu trong đó tương tác thực sự tốn kém và môi trường có thể chơi được, được tạo ra nhanh chóng. Mong đợi các mô hình video có điều kiện hành động, có độ chính xác cao hơn, chân trời dài hơn, tích hợp chặt chẽ hơn với các tác nhân lập kế hoạch và sử dụng làm 'trình mô phỏng thần kinh' để đào tạo các chính sách thao túng và tự lái. Những thách thức mở bao gồm tính nhất quán lâu dài, tránh vật lý ảo giác và mở rộng trí nhớ.
Triển khai trong thế giới thực
Hà và Schmidhuber đào tạo một đặc vụ đua xe gần như hoàn toàn trong giấc mơ đã học về môi trường
DeepMind's DreamerV3 thu thập kim cương trong Minecraft từ đầu bằng cách lập kế hoạch trong trí tưởng tượng
Genie của Google tạo ra thế giới nền tảng 2D có thể chơi được từ một hình ảnh nhắc nhở duy nhất
GameNGen đang chạy phiên bản DOOM có thể chơi được trong thời gian thực, với các khung hình được tạo bằng mô hình khuếch tán
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu giúp ích cho Mô hình thế giới và Mô phỏng đã học cũng như các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the World Models and Learned Simulators quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình nền tảng thế giới NVIDIA Cosmos
Câu hỏi thường gặp
What is World Models and Learned Simulators?
Mô hình thế giới là một mạng lưới thần kinh học cách dự đoán cách môi trường thay đổi theo thời gian, cho phép AI 'tưởng tượng' kết quả trong tương lai trước khi hành động. Trình mô phỏng đã học còn tiến xa hơn nữa, tạo ra môi trường tương tác, có thể chơi được từ dữ liệu thay vì được các kỹ sư mã hóa thủ công.
Công việc cốt lõi của một người mẫu thế giới là gì?
Một mô hình thế giới tìm hiểu các động lực của môi trường: từ trạng thái hiện tại và hành động, nó dự đoán quan sát tiếp theo (và thường là phần thưởng), cho phép triển khai trong tưởng tượng.
Trong bài báo 'Mô hình Thế giới' năm 2018 của Hà và Schmidhuber, người kiểm soát phần lớn được đào tạo ở đâu?
Tác nhân đã học cách hành động gần như hoàn toàn trong các động lực tiềm ẩn đã học được (“giấc mơ”), sau đó chuyển sang môi trường thực.
DreamerV3 của DeepMind đã đạt được thành tích đáng chú ý nào?
DreamerV3 đã học được động lực tiềm ẩn và sử dụng các triển khai tưởng tượng để thành thạo nhiều nhiệm vụ, bao gồm cả việc lấy kim cương trong Minecraft mà không cần dữ liệu hoặc chương trình giảng dạy của con người.
Thần đèn của Google làm gì?
Genie là một môi trường tương tác tổng hợp học hỏi từ video không gắn nhãn để tạo ra thế giới 2D có thể điều khiển bằng hành động.
Làm thế nào nhiều mô hình thế giới có thể xử lý được vấn đề dự đoán đối với các đầu vào có chiều cao như hình ảnh?
Các quan sát được mã hóa thành trạng thái tiềm ẩn có chiều thấp và chức năng chuyển đổi dự đoán trạng thái tiềm ẩn tiếp theo, giúp quá trình triển khai trở nên hiệu quả.