Викторина, связанная с руководством · Жесткий Уровень
Викторина по генерации расширенного кэша (CAG)
Проверьте свое понимание генерации с расширенным кешем: как кеши KV предварительно загружаются и повторно используются, сбрасываются кеш между запросами и ограничения на размер корпуса.
Вопрос 1 из 8
Что использует CAG вместо получения данных по каждому запросу?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что использует CAG вместо получения данных по каждому запросу?
- Поисковая система по ключевым словам
- Доработка модели по документам
- Новый векторный индекс для каждого вопроса
- Один раз предварительно загрузить всю базу знаний в кэш KV и повторно использовать ее.
- Что такое КВ-кэш в трансформаторе?
- База данных учетных записей пользователей
- Сохраненные ключи внимания и значения, рассчитанные для токенов, которые модель уже прочитала.
- Список URL-адресов документов
- Тренированные веса модели
- Почему система CAG обрезает кеш после каждого ответа?
- Сохранить ответ для обучения
- Чтобы удалить документы навсегда
- Чтобы восстановить состояние «только документы», чтобы следующий запрос не видел предыдущий вопрос и ответ.
- Чтобы переключиться на другую модель
- Каково основное ограничение CAG?
- Весь корпус должен помещаться в контекстном окне модели.
- Требуется векторная база данных
- Он не может быстро отвечать на вопросы
- Меняет вес модели.
- Почему CAG отвечает быстрее, чем вставляет документы в каждый запрос?
- Он пропускает генерацию выходных токенов
- Модели необходимо только вычислить новые токены вопросов поверх кэшированного префикса.
- Он использует меньшую модель
- Он извлекает меньше документов
- Какая база знаний лучше всего подходит для CAG?
- Архив новостей обновляется каждый час
- Миллионы записей о клиентах с разрешениями для каждого пользователя
- Полное сканирование Интернета
- Небольшое, стабильное руководство по продукту, которое редко меняется.
- Какое утверждение о CAG является заблуждением?
- CAG удаляет ошибки поиска, поскольку все документы присутствуют.
- Изменение документов требует перестройки кеша
- CAG точно настраивает вес модели в документах.
- Размещенное кэширование подсказок связано с идеей
- Какие методы уменьшают объем памяти, необходимой для большого кэша KV?
- Внимание к групповым запросам и квантование кэша
- Добавляем больше внимания
- Использование более длинных подсказок
- Повышение температуры отбора проб