Tế bào trí nhớ ngắn hạn dài
Các tế bào Bộ nhớ ngắn hạn dài (LSTM) là một loại đơn vị mạng thần kinh tái phát đặc biệt được xây dựng để ghi nhớ thông tin qua các chuỗi dài.
Tổng quan
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
Lặn sâu
Được giới thiệu bởi Sepp Hochreiter và Jurgen Schmidhuber vào năm 1997, tế bào LSTM duy trì một 'trạng thái tế bào' hoạt động giống như một băng chuyền bộ nhớ chạy suốt chuỗi. Ba cổng đã học điều khiển nó: cổng quên quyết định những gì cần xóa, cổng đầu vào quyết định thông tin mới nào cần lưu trữ và cổng đầu ra quyết định những gì sẽ hiển thị dưới dạng đầu ra của ô. Mỗi cổng sử dụng một sigmoid (xuất từ 0 đến 1) để hoạt động như một công tắc mềm. Bởi vì trạng thái ô được cập nhật chủ yếu bằng phép cộng thay vì phép nhân lặp lại, độ dốc có thể chảy ngược qua nhiều bước thời gian mà không co lại về 0, cho phép các LSTM tìm hiểu các phụ thuộc cách nhau hàng trăm bước. Trước Transformers, LSTM đã củng cố Google Dịch, nhận dạng giọng nói và tạo văn bản.
Hiểu biết kỹ thuật
Bản sửa lỗi độ dốc biến mất xuất phát từ bản cập nhật gần tuyến tính của trạng thái ô: c_t = f_t * c_{t-1} + i_t * g_t. Cổng quên f_t (một sigmoid) có thể ở gần 1, tạo ra một 'băng chuyền lỗi không đổi' để các tín hiệu lỗi tồn tại qua quá trình truyền ngược trong các khoảng thời gian dài. Bản thân các cổng là các lớp thần kinh nhỏ (sigmoid cho gating, tanh cho các giá trị ứng cử viên), tất cả đều được đào tạo chung bằng cách giảm độ dốc. Việc kiểm soát này cho phép mạng tìm hiểu những gì cần giữ và những gì cần loại bỏ.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của các tế bào trí nhớ ngắn hạn dài
Transformers phần lớn đã vượt qua LSTM trong các nhiệm vụ ngôn ngữ quy mô lớn vì chúng song song trong một chuỗi và nắm bắt bối cảnh tầm xa thông qua sự chú ý, trong khi LSTM xử lý mã thông báo từng bước một. Tuy nhiên, LSTM vẫn có giá trị đối với các cài đặt phát trực tuyến, độ trễ thấp và hạn chế về tài nguyên cũng như trên dữ liệu chuỗi thời gian khiêm tốn. Công việc gần đây như xLSTM (2024) xem xét lại và hiện đại hóa kiến trúc với cổng và bộ nhớ mới để cạnh tranh trên quy mô lớn, cho thấy ý tưởng vẫn chưa kết thúc.
Triển khai trong thế giới thực
Cung cấp năng lượng cho máy dịch trong hệ thống thần kinh ban đầu của Google Translate trước khi Transformers tiếp quản.
Nhận dạng giọng nói thành văn bản trong trợ lý giọng nói và phần mềm đọc chính tả.
Dự đoán các giá trị trong tương lai theo chuỗi thời gian như nhu cầu năng lượng, chỉ số cảm biến hoặc giá cổ phiếu.
Tạo một mã thông báo văn bản hoặc âm nhạc cùng một lúc và tự động hoàn thành các chuỗi.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu giúp các ô nhớ ngắn hạn dài và các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Quản lý và phân mảnh bộ nhớ GPU
Câu hỏi thường gặp
What is Long Short-Term Memory Cells?
Các tế bào Bộ nhớ ngắn hạn dài (LSTM) là một loại đơn vị mạng thần kinh tái phát đặc biệt được xây dựng để ghi nhớ thông tin qua các chuỗi dài. Họ đã giải quyết được vấn đề về độ dốc biến mất đã làm tê liệt các RNN trước đó, tạo nên những đột phá trong một thập kỷ về ngôn ngữ, lời nói và dịch thuật.
Ba cổng nào kiểm soát luồng thông tin trong một ô LSTM tiêu chuẩn?
LSTM sử dụng một cổng quên (cái gì cần xóa), một cổng đầu vào (cái gì cần lưu trữ) và một cổng đầu ra (cái gì cần hiển thị), mỗi cổng là một sigmoid đã học.
LSTM đã giải quyết được vấn đề chính nào với các RNN trước đó?
RNN tiêu chuẩn có độ dốc biến mất, ngăn cản việc học các phụ thuộc tầm xa; trạng thái tế bào phụ gia của LSTM cho phép độ dốc duy trì.
Ai đã giới thiệu LSTM và vào năm nào?
Sepp Hochreiter và Jurgen Schmidhuber đã xuất bản LSTM vào năm 1997.
Tại sao trạng thái ô LSTM giúp độ dốc tồn tại qua nhiều bước thời gian?
Bản cập nhật bổ sung ("băng chuyền lỗi không đổi") tránh các phép nhân lặp đi lặp lại làm giảm độ dốc, do đó tín hiệu lỗi sẽ quay trở lại trong các khoảng thời gian dài.
Cổng LSTM thường sử dụng chức năng kích hoạt nào để hoạt động như công tắc bật/tắt mềm?
Gates sử dụng sigmoid, có đầu ra từ 0 đến 1 quy mô lượng thông tin truyền qua, hoạt động giống như một công tắc mềm.