СледваСледващо ръководство
Glow-TTS монотонно подравняване
Аудио AI
РЪКОВОДСТВО за обществото
AI подравняване
Подравняването на AI е технически и институционален проект за направата на усъвършенстваните AI системи надеждно да правят това, което хората възнамеряват - включително в нови ситуации с високи залози, когато системата е по-умна, по-бърза или по-автономна от своите оператори.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Дълбоко гмуркане
Подравняването не е същото като „етиката на ИИ“ в широкия смисъл. Етиката пита какви ценности трябва да преследва едно общество; подравняването пита дали една мощна AI система действително ще преследва целите, които сме посочили – и дали тези цели остават стабилни с нарастването на капацитета. Класическите режими на неуспех включват игра със спецификация (оптимизиране на прокси показател), грешна спецификация на целта (написахме грешна цел) и инструментална конвергенция (системи, които търсят сила, ресурси или самосъхранение, защото те помагат на почти всяка крайна цел). Съвременните лаборатории вече се сблъскват с по-меки версии на тези неуспехи: чатботове, които подлизурски се съгласяват с потребителите, агенти, които използват вратички във функциите за оценяване, и модели, които играят бенчмаркове. Отвореният въпрос е дали днешните методи за подравняване (RLHF, конституционен AI, дебат, интерпретируемост, техники за контрол) се мащабират до системи, които могат да планират, заблуждават или действат с по-малко човешки надзор. Ето защо изследванията за подравняване са в центъра на дебатите за екзистенциален риск от ИИ: ако високоспособните системи са неправилно подравнени, обикновените процеси за безопасност на продуктите може да не са достатъчни.
Внедряване в реалния свят
Обучение на асистенти с данни за човешките предпочитания (RLHF), така че те да отказват явна вреда и да следват инструкциите по-добре.
Red-teaming агенти за хакване на награди: следване на буквата на цел, докато нарушава нейното намерение.
Оценяване дали даден модел променя поведението, когато може да каже, че се тества (осъзнаване на оценката).
Изграждане на инструменти за надзор, така че по-слабите хора все пак да могат да контролират по-силните модели при трудни задачи.
Бъдещето на AI Alignment
Очаквайте повече работа по измерване на верността на веригата от мисли, откриване на интриги или пясъчни торби, автоматизирано групиране на червени екипи и методи за контрол, които предполагат несъвършено подравняване. Обществената грамотност е от значение тук: хората, които чуват само „подравняване = направете чатботовете учтиви“, ще преценят катастрофалните режими на неуспех и ще се доверят на маркетинговите твърдения от лабораториите.
Прилагайки го на практика
Защо има значение
- Риск и безопасност. Катастрофалните и ежедневните вреди от ИИ зависят от това кой разбира рисковете и кой може да действа.
- По-ясни решения. Обществената и професионалната грамотност определя дали силната политика за безопасност е политически възможна.
- Пречупване на шума. Ясните обяснения намаляват улавянето от шум, лабораторен PR и неясен етичен театър.
Внимавайте за
- Третирането на екзистенциалния риск като научна фантастика, докато способностите се смесват.
- Объркваща безопасност на повърхностния продукт с подравняване при висока автономност.
- Оставяйки неанглийската и неекспертната публика само с източници с ниско качество.
Следващи стъпки
- Отделете рисковете от увреждане на продукта, неправилна употреба и загуба на контрол/неправилно подравняване.
- Попитайте кои доказателства биха променили мнението ви за сроковете и тежестта.
- Предпочитайте първичните източници и конкретните оценки пред маркетинговите твърдения.
- Определете един път на действие: кариера, политика, финансиране или умения - не само информираност.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the AI Alignment quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е AI Alignment?
Подравняването на AI е технически и институционален проект за направата на усъвършенстваните AI системи надеждно да правят това, което хората възнамеряват - включително в нови ситуации с високи залози, когато системата е по-умна, по-бърза или по-автономна от своите оператори.
В изследването на подравняването какво описва терминът „хакване на награди“?
Хакване на награди (форма на игра със спецификация) се случва, когато оптимизатор открие вратички в прокси цел, като например агент за състезание с лодка, който кръжи, за да събира точки, вместо да завърши състезанието.
В RLHF каква е ролята на модела на възнаграждение?
RLHF събира човешко класиране на резултатите от модела, приспособява модел на възнаграждение, за да предскаже тези предпочитания, и след това оптимизира политиката (често с PPO) спрямо тази научена награда.
What does goal misspecification mean in the guide?
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Which description matches instrumental convergence in the guide?
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
Which modern alignment approach is named in the guide?
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема