СледваСледващо ръководство
Крайни дати на знанията в LLM
Езиков AI
Език AI РЪКОВОДСТВО
Проклятие за обръщане в LLM
Проклятието за обръщане е изненадващ неуспешен режим, при който езиков модел, който научава „А е Б“, не може надеждно да отговори „Б е А“. Той разкрива, че LLM съхраняват фактите като еднопосочни асоциации, а не като симетрично знание.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Дълбоко гмуркане
Документирано в доклад от 2023 г. на Берглунд и колеги, обратното проклятие показва, че ако моделът е обучен на „майката на Том Круз е Мери Лий Пфайфър“, той често се проваля, когато го попитат „Кой е синът на Мери Лий Пфайфър?“ въпреки че отговорът е логически идентичен. Ефектът продължава при размерите на моделите и дори след фина настройка на стотици такива факти. Това не е пропуск в паметта: моделът е видял информацията, но само в един ред. Тъй като обучението оптимизира предвиждането на следващия токен върху точния ред на думите в данните, статистическата връзка от A към B не създава автоматично връзка от B обратно към A. Откритието оспорва предположенията, че мащабът сам по себе си създава гъвкави, човешки разсъждения върху фактите.
Внедряване в реалния свят
Чатбот правилно посочва родителя на знаменитост, но не успява, когато бъде помолен да назове известното дете на този родител.
Модел рецитира „деветият президент беше Уилям Хенри Харисън“, но се препъва в „кой президент беше Уилям Хенри Харисън“.
Асистент за кодиране, който е научил съпоставяне на функция към описание, не може да възстанови името на функцията само от описанието.
Медицинска система за осигуряване на качеството, обучена на „лекарството X лекува състояние Y“, не успява да посочи лекарството X, когато бъде попитана какво лекува състояние Y.
Бъдещето на обратното проклятие в LLM
Проучваните смекчаващи мерки включват двупосочно увеличаване на данните (добавяне на обърнати фрази), цели на обучение, които предвиждат токени и в двете посоки, и системи за извличане, които разглеждат фактите симетрично, вместо да разчитат на запаметени тегла. Някои по-нови архитектури и експерименти с обратно обучение намаляват разликата. Очаквайте проклятието да се свие, но не и да изчезне, тъй като разкрива дълбоко несъответствие между ученето на следващия токен и симетричната структура на отношенията в реалния свят.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
- Достъп и обхват. Той разширява достъпа между езици и стилове на комуникация.
- По-ясни решения. Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Внимавайте за
- Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
- Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
- Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Следващи стъпки
- Определете изходен формат, тон и стандарти за качество преди внедряване.
- Наземни отговори с доверени източници винаги, когато точността има значение.
- Поддържайте контролна точка за човешки преглед за изходи с високи залози.
- Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Reversal Curse in LLMs quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Reversal Curse in LLMs?
Проклятието за обръщане е изненадващ неуспешен режим, при който езиков модел, който научава „А е Б“, не може надеждно да отговори „Б е А“. Той разкрива, че LLM съхраняват фактите като еднопосочни асоциации, а не като симетрично знание.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема