CAG(캐시 확장 세대)

캐시 확장 생성(CAG)은 검색 단계를 사전 로드로 대체합니다. 각 질문에 대해 지식 기반을 검색하는 대신 시스템은 전체 지식 기반을 모델에 한 번 제공하고 결과 키-값(KV) 캐시를 저장하며 모든 후속 쿼리에 해당 캐시를 재사용합니다. 이 접근 방식은 Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks라는 제목의 2024년 12월 논문에 설명되어 있습니다. KV 캐시는 변환기가 읽은 모든 토큰에 대해 계산하는 중간 주의 키 및 값 세트입니다. 일반적으로 단일 요청 중에 빌드되고 삭제됩니다. CAG에서는 문서가 미리 처리되고 캐시가 저장되며 각 질문은 캐시된 접두사 뒤에 추가됩니다. 모델은 생성하기 전에 새 질문 토큰만 계산하므로 매번 문서를 다시 읽는 것보다 답변이 더 빨리 시작됩니다. 응답 후에는 추가된 토큰이 잘려서 캐시가 다음 쿼리에 대해 문서 전용 상태로 돌아갑니다. 이점은 모든 문서가 항상 존재하기 때문에 검색 오류가 없고, 유지 관리할 임베딩 인덱스나 벡터 데이터베이스가 없으며, 순진한 긴 컨텍스트보다 쿼리당 대기 시간이 짧다는 것입니다. 제한은 직접적으로 따릅니다. 전체 코퍼스는 모델의 컨텍스트 창에 맞아야 하고, 모델은 여전히 ​​많은 텍스트에 대해 잘 추론해야 하며, 문서에 대한 변경 사항은 캐시를 다시 작성하는 것을 의미합니다. 따라서 CAG는 제품 매뉴얼, 정책 세트, 강의 계획서 또는 고정 규제 텍스트와 같은 작고 안정적인 지식 기반에 적합합니다. 규모가 크고 빠르게 변경되거나 권한이 필터링된 컬렉션에는 적합하지 않습니다. 일반적인 오해는 CAG가 모델을 학습시킨다는 것입니다. 미세 조정된 것은 없습니다. 가중치는 변경되지 않습니다. API 제공업체의 상업용 프롬프트 캐싱은 동일한 아이디어의 호스팅 친척입니다.