무엇입니까? 모델 양자화?

모델 가중치를 8비트 또는 4비트와 같은 낮은 정밀도 형식으로 변환합니다.

4비트 가중치 양자화와 LoRA 어댑터를 결합하여 메모리 요구 사항을 줄이는 미세 조정 기술입니다.

메모리 사용을 줄이고 변환기 훈련 및 추론 속도를 높이는 최적화된 주의 알고리즘입니다.

AI 에이전트는 연속성을 향상하기 위해 여러 단계 또는 세션에서 사용하는 저장된 컨텍스트입니다.

종종 도구와 메모리를 사용하여 목표를 달성하기 위해 관찰하고, 추론하고, 조치를 취할 수 있는 소프트웨어 시스템입니다.

AI 시스템의 유해한 행동, 실패, 오용 위험을 줄이는 데 중점을 둔 분야입니다.