СледваСледващо ръководство
Директна оптимизация на предпочитанията
Езиков AI
Език AI РЪКОВОДСТВО
Оптимизация на Канеман-Тверски
Оптимизацията на Kahneman-Tversky (KTO) е метод за подравняване, който се учи от обикновени етикети с палец нагоре или с палец надолу вместо двойки сравнения.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
Дълбоко гмуркане
KTO, въведен от Ethayarajh и колеги от Станфорд и Contextual AI през 2024 г., заимства от теорията на перспективите, спечелената с Нобелова награда работа на Daniel Kahneman и Amos Tversky за това как хората оценяват печалбите и загубите. Стандартните методи като DPO се нуждаят от двойки предпочитания: избран и отхвърлен отговор за една и съща подкана. KTO вместо това работи с несдвоени данни, където всеки отделен изход просто е маркиран като желателен или нежелан. Той изгражда осъзната от човека загуба, която третира подобрението на модела върху извадка като печалба или загуба спрямо референтна точка, като прилага отбягване на загубата, така че нежеланите резултати се наказват по-рязко, отколкото желаните се възнаграждават. Това позволява на екипите да използват изобилието от сигнали с палец нагоре/надолу, които вече са събрани в производствените приложения.
Внедряване в реалния свят
Използване на щраквания с палец нагоре/палец надолу от внедрен чатбот за фина настройка, без да създавате двойки предпочитания
Подравняване на модел, когато имате куп „добри“ и „лоши“ отговори, но няма съвпадащи сравнения за едни и същи подкани
Продуктов екип, рециклиращ флагове за модериране (нежелателно) и запазени отговори (желателно) в KTO обучение
Справяне с небалансирана обратна връзка, където нехаресванията са по-редки от харесванията чрез настройка на нежеланието за загуба на KTO и тежестите на класа
Бъдещето на оптимизацията на Канеман-Тверски
KTO е много подходящ за реални продукти, където потребителите естествено щракват с харесване или нехаресване, но рядко класират два отговора един до друг. Очаквайте по-широко приемане на цикли за непрекъснато подобрение, които рециклират обратната връзка за производството, плюс изследвания, настройващи съотношението желани към нежелани данни и теглото на загубата. Комбинирането на поведенческо-икономическото рамкиране на KTO с други цели и прилагането му към мултимодална обратна връзка са активни насоки, тъй като екипите търсят привеждане в съответствие от обърканите сигнали от реалния свят.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
- Достъп и обхват. Той разширява достъпа между езици и стилове на комуникация.
- По-ясни решения. Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Внимавайте за
- Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
- Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
- Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Следващи стъпки
- Определете изходен формат, тон и стандарти за качество преди внедряване.
- Наземни отговори с доверени източници винаги, когато точността има значение.
- Поддържайте контролна точка за човешки преглед за изходи с високи залози.
- Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Kahneman-Tversky Optimization quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Kahneman-Tversky Optimization?
Оптимизацията на Kahneman-Tversky (KTO) е метод за подравняване, който се учи от обикновени етикети с палец нагоре или с палец надолу вместо двойки сравнения. Има значение, защото бинарната обратна връзка е много по-лесна и по-евтина за събиране от класираните двойки, изисквани от повечето методи.
Какъв вид данни изисква KTO?
KTO се учи от прости етикети с палец нагоре/надолу за всеки пример, а не от съвпадащи двойки предпочитания.
KTO е вдъхновен от кое произведение?
KTO заимства идеята на теорията за перспективите за асиметрично оценяване на печалбите и загубите, откъдето идва и името.
Какво е „отбягване на загуба“, както се използва в KTO?
Теорията на перспективите казва, че загубите са по-големи от печалбите, така че KTO претегля по-силно отрицателните отклонения.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
В KTO отклоненията се измерват спрямо какво?
Стойностната функция на KTO преценява дали отговорът е над или под референтната базова линия, като третира това като печалба или загуба.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема