ДаліНаступний посібник
Як наводячі запитання спотворюють відповіді ШІ
ШІ мови
Мова AI GUIDE
Логіт-упередженість
Зміщення логіту – це ручка, яка підштовхує мовну модель до певних токенів або від них, додаючи фіксоване число до їхніх оцінок, перш ніж модель вибере наступне слово.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It is a lightweight way to ban words, force choices, or shape style without retraining anything.
Глибоке занурення
Перш ніж модель вибере свій наступний токен, вона створює логіт (ненормалізований бал) для кожного лексема у своєму словнику. Зміщення логітів дозволяє додавати постійне значення до логітів вибраних токенів за їхніми числовими ідентифікаторами токенів. Велике позитивне упередження робить маркер набагато більш вірогідним для вибірки; велике негативне упередження (часто -100 в API) фактично забороняє це. Оскільки коригування відбувається перед softmax, який перетворює оцінки на ймовірності, навіть помірні зміщення суттєво змінюють розподіл. Важливо те, що упередження залежить від ідентифікаторів токенів, а не цілих слів — тому слово з кількома лексемами може потребувати зміщення кожної його частини, щоб повністю придушити або просувати його. Це швидкий хірургічний контроль, який не потребує тонкого налаштування та застосовується за запитом.
Реалізація в реальному світі
Встановлення зміщення -100 для маркерів ненормативної лексики, щоб запобігти створенню певних слів чат-ботом.
Примусовий класифікатор так/ні шляхом надання сильного позитивного упередження лексемам «Так» і «Ні» та придушення всього іншого.
Запобігання надмірному використанню фрази чи слова-заповнювача шляхом застосування помірного негативного упередження до його токенів.
Підвищення доменних термінів (наприклад, назви продукту), щоб підсумовувач надійно згадував їх.
Майбутнє Logit Bias
Зміщення логіту залишається основним елементом швидкого керування, але зростають багатші альтернативи: структуроване/обмежене декодування для жорстких гарантій, керування активацією чи розробка репрезентації, які підштовхують внутрішні вектори моделі, а не просто виводять результати. Очікуйте, що API збережуть упередженість логіту як простий вихідний люк, пропонуючи елементи керування вищого рівня — заборонені фрази, директиви стилю, фільтри безпеки — які автоматично обробляють токенізацію, щоб розробникам не доводилося міркувати про необроблені ідентифікатори маркерів.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
- Доступ і охоплення. Це розширює доступ до різних мов і стилів спілкування.
- Чіткіші рішення. Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Зверніть увагу на
- Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
- Делікатність підказок може створити суперечливі результати для подібних запитів.
- Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Наступні кроки
- Визначте вихідний формат, тон і стандарти якості перед розгортанням.
- Якщо точність має значення, зв’яжіться з надійними джерелами.
- Тримайте контрольну точку перевірки людьми для отримання високих ставок.
- Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Logit Bias quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Logit Bias?
Зміщення логіту – це ручка, яка підштовхує мовну модель до певних токенів або від них, додаючи фіксоване число до їхніх оцінок, перш ніж модель вибере наступне слово. Це легкий спосіб заборонити слова, примусово вибирати або формувати стиль без перенавчання.
Що змінює зміщення logit?
Logit-зміщення додає константу до логітів вибраних ідентифікаторів токенів, змінюючи ймовірність їх вибору, не змінюючи саму модель.
У багатьох API, чого досягає логітичне зміщення -100 для маркера?
Велике негативне упередження, як-от -100, зводить ймовірність токена після softmax практично до нуля, тому він практично ніколи не виробляється.
What numeric range does the documented OpenAI Chat Completions logit_bias accept for a token?
The API reference documents a range of -100 to 100 for each token ID, where negative values decrease likelihood and positive values increase it.
До якого ідентифікатора прив’язане логічне зміщення?
Значення зміщення застосовуються до конкретних ідентифікаторів токенів зі словника токенізера, тому ви повинні знати ідентифікатори для фрагментів слова.
Оскільки логіти передаються через softmax, який ефект від додавання позитивного зміщення?
Softmax експоненціює логіти, тому навіть помірне позитивне зміщення суттєво збільшує ненормалізовану вагу токена, різко підвищуючи його шанси.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми