Вікторина, пов’язана з посібником · Середній Рівень

Скасування прокляття в тесті LLM

Тестує спрямоване пригадування фактів, звернені запити, порядок навчання, експериментальний контроль і межі виявлення зворотного прокляття.

Пов'язані напрямні шляхиСкасування прокляття в LLM
Питання 1 з 8

Модель вивчила «А є Б», але не може відповісти «В є А». Як це називається?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Модель вивчила «А є Б», але не може відповісти «В є А». Як це називається?
    • Ефект «загублений посередині».
    • Катастрофічне забуття
    • Скасування прокляття
    • Згортання режиму
  2. Що показує реверсивне прокляття про спрямовані асоціації?
    • Вивчення одного порядку слів не гарантує надійного пригадування у зворотному порядку
    • Мовні моделі автоматично інвертують кожне відношення
    • Факт завжди зберігається як симетричне ребро бази даних
    • Точне налаштування усуває всі помилки спрямованості
  3. Чи є реверсивне прокляття просто невдалим, тому що модель не бачила цього факту?
    • Так, напевно модель не читала
    • Це викликано лише коротким контекстним вікном
    • Це відбувається лише тоді, коли факти неправдиві
    • ні; він може вийти з ладу у зворотному напрямку навіть після навчання оператору вперед
  4. Why might next-token training contribute to the effect?
    • It encodes all facts into an unordered table
    • It trains on token order, so A-followed-by-B does not automatically teach B-followed-by-A
    • It optimizes reverse queries by default
    • It prevents memorization of entity names
  5. How can the effect be tested?
    • Compare model performance on matched forward and reverse versions of facts
    • Measure only the forward statement
    • Change both the entities and question at once
    • Use only a general language benchmark
  6. What does failure on a reverse query imply about model knowledge?
    • The model has no information about either entity
    • The model is necessarily incapable of reasoning
    • The model’s learned association may not support flexible inversion
    • Every entity relation is symmetric
  7. Why is a reverse-direction test useful for a factual QA system?
    • All questions use the same word order
    • Users may ask for either endpoint of a relation
    • It measures image classification accuracy
    • It guarantees factual truth
  8. What should be inferred from one model’s reversal-cursed answer?
    • All language models fail on every reversed fact
    • The model has no semantic representations
    • The relation must be false
    • A documented failure mode to test, not proof that every model or fact behaves identically