Оптимизация на Канеман-Тверски
Оптимизацията на Kahneman-Tversky (KTO) е метод за подравняване, който се учи от обикновени етикети с палец нагоре или с палец надолу вместо двойки сравнения.
Преглед
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
Дълбоко гмуркане
KTO, въведен от Ethayarajh и колеги от Станфорд и Contextual AI през 2024 г., заимства от теорията на перспективите, спечелената с Нобелова награда работа на Daniel Kahneman и Amos Tversky за това как хората оценяват печалбите и загубите. Стандартните методи като DPO се нуждаят от двойки предпочитания: избран и отхвърлен отговор за една и съща подкана. KTO вместо това работи с несдвоени данни, където всеки отделен изход просто е маркиран като желателен или нежелан. Той изгражда осъзната от човека загуба, която третира подобрението на модела върху извадка като печалба или загуба спрямо референтна точка, като прилага отбягване на загубата, така че нежеланите резултати се наказват по-рязко, отколкото желаните се възнаграждават. Това позволява на екипите да използват изобилието от сигнали с палец нагоре/надолу, които вече са събрани в производствените приложения.
Техническа информация
KTO дефинира стойностна функция, моделирана въз основа на теорията на перспективите, измерваща доколко подразбиращото се възнаграждение на даден отговор е над или под референтната базова линия (често средното отклонение на KL от референтната политика). Желаните примери повишават стойността, нежеланите я натискат надолу, а коефициентът на избягване на загубата прави отрицателните отклонения по-тежки. Най-важното е, че се нуждае само от етикет за пример, а не от съвпадащи двойки.
Стратегическо въздействие
Speed and scale
Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
Access and reach
Той разширява достъпа между езици и стилове на комуникация.
Clearer decisions
Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Бъдещето на оптимизацията на Канеман-Тверски
KTO е много подходящ за реални продукти, където потребителите естествено щракват с харесване или нехаресване, но рядко класират два отговора един до друг. Очаквайте по-широко приемане на цикли за непрекъснато подобрение, които рециклират обратната връзка за производството, плюс изследвания, настройващи съотношението желани към нежелани данни и теглото на загубата. Комбинирането на поведенческо-икономическото рамкиране на KTO с други цели и прилагането му към мултимодална обратна връзка са активни насоки, тъй като екипите търсят привеждане в съответствие от обърканите сигнали от реалния свят.
Внедряване в реалния свят
Използване на щраквания с палец нагоре/палец надолу от внедрен чатбот за фина настройка, без да създавате двойки предпочитания
Подравняване на модел, когато имате куп „добри“ и „лоши“ отговори, но няма съвпадащи сравнения за едни и същи подкани
Продуктов екип, рециклиращ флагове за модериране (нежелателно) и запазени отговори (желателно) в KTO обучение
Справяне с небалансирана обратна връзка, където нехаресванията са по-редки от харесванията чрез настройка на нежеланието за загуба на KTO и тежестите на класа
Рискове и предпазни огради
Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Пътна карта за изпълнение
Определете изходен формат, тон и стандарти за качество преди внедряване.
Наземни отговори с доверени източници винаги, когато точността има значение.
Поддържайте контролна точка за човешки преглед за изходи с високи залози.
Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Kahneman-Tversky Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Директна оптимизация на предпочитанията
Frequently asked questions
What is Kahneman-Tversky Optimization?
Оптимизацията на Kahneman-Tversky (KTO) е метод за подравняване, който се учи от обикновени етикети с палец нагоре или с палец надолу вместо двойки сравнения. Има значение, защото бинарната обратна връзка е много по-лесна и по-евтина за събиране от класираните двойки, изисквани от повечето методи.
Какъв вид данни изисква KTO?
KTO се учи от прости етикети с палец нагоре/надолу за всеки пример, а не от съвпадащи двойки предпочитания.
KTO е вдъхновен от кое произведение?
KTO заимства идеята на теорията за перспективите за асиметрично оценяване на печалбите и загубите, откъдето идва и името.
Какво е „отбягване на загуба“, както се използва в KTO?
Теорията на перспективите казва, че загубите са по-големи от печалбите, така че KTO претегля по-силно отрицателните отклонения.
В сравнение с DPO, KTO е особено полезен, когато имате какво?
KTO блести, когато обратната връзка е несдвоени двоични сигнали, които продуктите събират много по-лесно от класираните двойки.
В KTO отклоненията се измерват спрямо какво?
Стойностната функция на KTO преценява дали отговорът е над или под референтната базова линия, като третира това като печалба или загуба.