장단기 기억 세포
LSTM(장단기 기억) 셀은 긴 시퀀스에 걸쳐 정보를 기억하도록 만들어진 특별한 종류의 순환 신경망 장치입니다.
개요
그들은 이전 RNN을 무력화시켰던 소멸 기울기 문제를 해결하여 언어, 음성 및 번역 분야에서 10년 간의 획기적인 발전을 이루었습니다.
심층 분석
1997년 Sepp Hochreiter와 Jurgen Schmidhuber가 도입한 LSTM 셀은 시퀀스를 통과하는 메모리 컨베이어 벨트처럼 작동하는 '셀 상태'를 유지합니다. 세 개의 학습된 게이트가 이를 제어합니다. 망각 게이트는 무엇을 지울지 결정하고, 입력 게이트는 저장할 새로운 정보를 결정하며, 출력 게이트는 셀의 출력으로 무엇을 노출할지 결정합니다. 각 게이트는 시그모이드(0~1 출력)를 사용하여 소프트 스위치 역할을 합니다. 셀 상태는 반복된 곱셈이 아닌 추가에 의해 주로 업데이트되므로 기울기는 0으로 줄어들지 않고 여러 시간 단계에 걸쳐 역방향으로 흐를 수 있으므로 LSTM은 수백 단계 떨어져서 종속성을 학습할 수 있습니다. Transformers 이전에는 LSTM이 Google 번역, 음성 인식 및 텍스트 생성을 뒷받침했습니다.
기술적 통찰력
소실 그라데이션 수정은 셀 상태의 거의 선형 업데이트에서 비롯됩니다: c_t = f_t * c_{t-1} + i_t * g_t. 망각 게이트 f_t(시그모이드)는 1 근처에 머물 수 있어 '상시 오류 캐러셀'을 생성하여 오류 신호가 긴 범위에 걸쳐 시간에 따른 역전파를 유지하도록 합니다. 게이트는 그 자체로 작은 신경 계층(게이팅의 경우 시그모이드, 후보 값의 경우 tanh)이며 모두 경사하강법을 통해 공동으로 훈련됩니다. 이 게이팅을 통해 네트워크는 무엇을 유지하고 무엇을 버릴지 학습할 수 있습니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
장단기 기억 세포의 미래
Transformer는 시퀀스 전반에 걸쳐 병렬화하고 Attention을 통해 장거리 컨텍스트를 캡처하는 반면 LSTM은 한 번에 한 단계씩 토큰을 처리하기 때문에 대규모 언어 작업에서 LSTM을 크게 앞섰습니다. 그럼에도 불구하고 LSTM은 스트리밍, 짧은 대기 시간, 리소스 제약이 있는 설정 및 적당한 시계열 데이터에 여전히 유용합니다. xLSTM(2024)과 같은 최근 작업은 대규모 경쟁을 위해 새로운 게이팅 및 메모리를 사용하여 아키텍처를 재검토하고 현대화하여 아이디어가 아직 끝나지 않았음을 보여줍니다.
실제 구현
Transformers가 인수되기 전 초기 Google Translate의 신경 시스템에서 기계 번역을 지원했습니다.
음성 도우미 및 받아쓰기 소프트웨어의 음성-텍스트 인식.
에너지 수요, 센서 판독값, 주가 등 시계열의 미래 가치를 예측합니다.
한 번에 하나의 토큰을 생성하고 시퀀스를 자동 완성하는 텍스트 또는 음악.
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
장단기 기억 세포가 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
GPU 메모리 관리 및 조각화
자주 묻는 질문
장단기 기억 세포란 무엇입니까?
LSTM(장단기 기억) 셀은 긴 시퀀스에 걸쳐 정보를 기억하도록 만들어진 특별한 종류의 순환 신경망 장치입니다. 그들은 이전 RNN을 무력화시켰던 소멸 기울기 문제를 해결하여 언어, 음성 및 번역 분야에서 10년 간의 획기적인 발전을 이루었습니다.
표준 LSTM 셀에서 정보 흐름을 제어하는 세 개의 게이트는 무엇입니까?
LSTM은 망각 게이트(지울 내용), 입력 게이트(저장할 내용) 및 출력 게이트(노출할 내용)를 사용하며 각각은 학습된 시그모이드입니다.
LSTM은 이전 RNN의 어떤 주요 문제를 해결했습니까?
표준 RNN은 장거리 의존성을 학습하는 것을 방해하는 소멸 경사로 인해 어려움을 겪습니다. LSTM의 추가 셀 상태를 사용하면 기울기가 지속됩니다.
LSTM은 누가, 몇 년도에 도입했나요?
Sepp Hochreiter와 Jurgen Schmidhuber는 1997년에 LSTM을 출판했습니다.
LSTM 셀 상태가 여러 시간 단계에 걸쳐 경사도가 유지되는 데 도움이 되는 이유는 무엇입니까?
덧셈 업데이트('상수 오류 캐러셀')는 기울기를 줄이는 반복적인 곱셈을 방지하므로 오류 신호가 긴 범위에 걸쳐 다시 흐릅니다.
LSTM 게이트는 일반적으로 소프트 온/오프 스위치 역할을 하기 위해 어떤 활성화 기능을 사용합니까?
게이트는 소프트 스위치처럼 작동하여 전달되는 정보의 양을 0에서 1로 출력하는 시그모이드를 사용합니다.