เซลล์หน่วยความจำระยะสั้นระยะยาว
เซลล์หน่วยความจำระยะสั้นระยะยาว (LSTM) เป็นหน่วยโครงข่ายประสาทเทียมชนิดพิเศษที่สร้างขึ้นเพื่อจดจำข้อมูลในลำดับที่ยาว
ภาพรวม
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
เจาะลึก
เซลล์ LSTM เปิดตัวโดย Sepp Hochreiter และ Jurgen Schmidhuber ในปี 1997 โดยจะรักษา 'สถานะของเซลล์' ที่ทำหน้าที่เหมือนสายพานลำเลียงของหน่วยความจำที่วิ่งผ่านลำดับดังกล่าว ประตูที่เรียนรู้สามประตูจะควบคุมมัน ประตูลืมจะตัดสินใจว่าจะลบอะไร ประตูอินพุตจะตัดสินใจว่าจะจัดเก็บข้อมูลใหม่ใดบ้าง และประตูเอาท์พุตจะตัดสินใจว่าจะแสดงอะไรเป็นเอาท์พุตของเซลล์ แต่ละเกตใช้ซิกมอยด์ (เอาต์พุต 0 ถึง 1) เพื่อทำหน้าที่เป็นซอฟต์สวิตช์ เนื่องจากสถานะของเซลล์ส่วนใหญ่ได้รับการอัปเดตโดยการบวกมากกว่าการคูณซ้ำ การไล่ระดับสีจึงสามารถไหลย้อนกลับในหลายๆ ขั้นตอนโดยไม่ลดขนาดลงจนเหลือศูนย์ ทำให้ LSTM เรียนรู้การขึ้นต่อกันที่ห่างกันหลายร้อยขั้นตอน ก่อนที่ Transformers LSTM จะสนับสนุน Google แปล การรู้จำคำพูด และการสร้างข้อความ
ข้อมูลเชิงลึกทางเทคนิค
การแก้ไขการไล่ระดับแบบหายไปนั้นมาจากการอัปเดตใกล้เชิงเส้นของเซลล์: c_t = f_t * c_{t-1} + i_t * g_t ประตูลืม f_t (ซิกมอยด์) สามารถอยู่ใกล้ 1 ทำให้เกิด 'ม้าหมุนข้อผิดพลาดคงที่' ดังนั้นสัญญาณข้อผิดพลาดจึงรอดพ้นจากการแพร่กระจายกลับผ่านช่วงเวลาข้ามช่วงยาว เกทนั้นเป็นชั้นประสาทขนาดเล็ก (ซิกมอยด์สำหรับเกท, แทนห์สำหรับค่าผู้สมัคร) ทั้งหมดนี้ได้รับการฝึกร่วมกันโดยการไล่ระดับสี เกตนี้ช่วยให้เครือข่ายเรียนรู้ว่าอะไรควรเก็บและอะไรควรทิ้ง
ผลกระทบเชิงกลยุทธ์
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
ต้นทุนและงบประมาณ
คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
ทีมงานและขั้นตอนการทำงาน
ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
อนาคตของเซลล์หน่วยความจำระยะสั้นระยะยาว
Transformers แซงหน้า LSTM ไปเป็นส่วนใหญ่สำหรับงานภาษาขนาดใหญ่ เนื่องจากพวกมันขนานกันในลำดับและจับบริบทระยะไกลผ่านความสนใจ ในขณะที่ LSTM ประมวลผลโทเค็นทีละขั้นตอน อย่างไรก็ตาม LSTM ยังคงมีคุณค่าสำหรับการสตรีม การตั้งค่าเวลาแฝงต่ำ และทรัพยากรที่จำกัด และสำหรับข้อมูลอนุกรมเวลาเล็กน้อย งานล่าสุดอย่าง xLSTM (2024) กลับมาอีกครั้งและปรับปรุงสถาปัตยกรรมให้ทันสมัยด้วยเกตติ้งและหน่วยความจำใหม่เพื่อแข่งขันในวงกว้าง ซึ่งแสดงให้เห็นว่าแนวคิดยังไม่เสร็จสิ้น
การใช้งานจริงในโลกแห่งความเป็นจริง
ขับเคลื่อนการแปลด้วยเครื่องในช่วงต้น Google ระบบประสาทของ Translate ก่อนที่ Transformers จะเข้ามาแทนที่
การรู้จำคำพูดเป็นข้อความในผู้ช่วยเสียงและซอฟต์แวร์เขียนตามคำบอก
ทำนายค่าในอนาคตในอนุกรมเวลา เช่น ความต้องการพลังงาน การอ่านค่าเซ็นเซอร์ หรือราคาหุ้น
การสร้างข้อความหรือเพลงทีละโทเค็นและลำดับการเติมข้อความอัตโนมัติ
ความเสี่ยงและรั้ว
แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
แผนงานการดำเนินงาน
เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
เอกสารที่เซลล์หน่วยความจำระยะสั้นแบบยาวช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การจัดการหน่วยความจำ GPU และการกระจายตัว
คำถามที่พบบ่อย
What is Long Short-Term Memory Cells?
เซลล์หน่วยความจำระยะสั้นระยะยาว (LSTM) เป็นหน่วยโครงข่ายประสาทเทียมชนิดพิเศษที่สร้างขึ้นเพื่อจดจำข้อมูลในลำดับที่ยาว พวกเขาแก้ไขปัญหาการไล่ระดับที่หายไปซึ่งทำให้ RNN รุ่นก่อนๆ พิการ โดยเป็นพลังขับเคลื่อนทศวรรษแห่งการค้นพบครั้งใหม่ในด้านภาษา คำพูด และการแปล
ประตูสามบานใดที่ควบคุมการไหลของข้อมูลในเซลล์ LSTM มาตรฐาน
LSTM ใช้ประตูลืม (สิ่งที่ต้องลบ) ประตูอินพุต (สิ่งที่จะจัดเก็บ) และประตูเอาท์พุต (สิ่งที่จะแสดง) แต่ละซิกมอยด์ที่เรียนรู้
LSTM แก้ไขปัญหาสำคัญอะไรกับ RNN ก่อนหน้านี้
RNN มาตรฐานประสบปัญหาการไล่ระดับสีที่หายไปซึ่งป้องกันการเรียนรู้การพึ่งพาระยะยาว สถานะเซลล์บวกของ LSTM ช่วยให้การไล่ระดับสียังคงอยู่
ใครเป็นผู้แนะนำ LSTM และในปีใด
Sepp Hochreiter และ Jurgen Schmidhuber ตีพิมพ์ LSTM ในปี 1997
เหตุใดสถานะเซลล์ LSTM ช่วยให้การไล่ระดับสีอยู่รอดได้ในหลายขั้นตอนของเวลา
การอัปเดตแบบเพิ่มเติม ("ม้าหมุนข้อผิดพลาดคงที่") หลีกเลี่ยงการคูณซ้ำที่ทำให้การไล่ระดับสีลดลง ดังนั้นสัญญาณข้อผิดพลาดจึงไหลย้อนกลับในช่วงเวลาที่ยาว
โดยทั่วไปแล้วเกท LSTM จะใช้ฟังก์ชันการเปิดใช้งานใดเพื่อทำหน้าที่เป็นสวิตช์เปิด/ปิดแบบนุ่มนวล
เกตส์ใช้ซิกมอยด์ ซึ่งเอาท์พุต 0 ต่อ 1 จะปรับขนาดปริมาณข้อมูลที่ส่งผ่าน โดยทำหน้าที่เหมือนซอฟต์สวิตช์