Викторина, связанная с руководством · Жесткий Уровень

Викторина по генерации расширенного кэша (CAG)

Проверьте свое понимание генерации с расширенным кешем: как кеши KV предварительно загружаются и повторно используются, сбрасываются кеш между запросами и ограничения на размер корпуса.

Связанные направляющие путиРасширенная генерация кэша
Вопрос 1 из 8

Что использует CAG вместо получения данных по каждому запросу?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что использует CAG вместо получения данных по каждому запросу?
    • Поисковая система по ключевым словам
    • Доработка модели по документам
    • Новый векторный индекс для каждого вопроса
    • Один раз предварительно загрузить всю базу знаний в кэш KV и повторно использовать ее.
  2. Что такое КВ-кэш в трансформаторе?
    • База данных учетных записей пользователей
    • Сохраненные ключи внимания и значения, рассчитанные для токенов, которые модель уже прочитала.
    • Список URL-адресов документов
    • Тренированные веса модели
  3. Почему система CAG обрезает кеш после каждого ответа?
    • Сохранить ответ для обучения
    • Чтобы удалить документы навсегда
    • Чтобы восстановить состояние «только документы», чтобы следующий запрос не видел предыдущий вопрос и ответ.
    • Чтобы переключиться на другую модель
  4. Каково основное ограничение CAG?
    • Весь корпус должен помещаться в контекстном окне модели.
    • Требуется векторная база данных
    • Он не может быстро отвечать на вопросы
    • Меняет вес модели.
  5. Почему CAG отвечает быстрее, чем вставляет документы в каждый запрос?
    • Он пропускает генерацию выходных токенов
    • Модели необходимо только вычислить новые токены вопросов поверх кэшированного префикса.
    • Он использует меньшую модель
    • Он извлекает меньше документов
  6. Какая база знаний лучше всего подходит для CAG?
    • Архив новостей обновляется каждый час
    • Миллионы записей о клиентах с разрешениями для каждого пользователя
    • Полное сканирование Интернета
    • Небольшое, стабильное руководство по продукту, которое редко меняется.
  7. Какое утверждение о CAG является заблуждением?
    • CAG удаляет ошибки поиска, поскольку все документы присутствуют.
    • Изменение документов требует перестройки кеша
    • CAG точно настраивает вес модели в документах.
    • Размещенное кэширование подсказок связано с идеей
  8. Какие методы уменьшают объем памяти, необходимой для большого кэша KV?
    • Внимание к групповым запросам и квантование кэша
    • Добавляем больше внимания
    • Использование более длинных подсказок
    • Повышение температуры отбора проб