ДалееСледующее руководство
Индукционные головки в трансформаторах
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Трансформеры
Трансформатор — это архитектура нейронной сети, которая использует внимание для объединения информации в последовательности.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Он лежит в основе многих языковых и мультимодальных моделей. Архитектура обеспечивает способ обработки представлений; он сам по себе не устанавливает фактичности, понимания или безопасного поведения.
Ключевые выводы
- Внимание объединяет информацию по позициям.
- Варианты архитектуры служат различным целям обучения.
- Возможность работы с длинным контекстом требует тестирования для конкретной задачи.
Глубокое погружение
Внимание вычисляет, сколько информации одна позиция должна получить из других позиций. В общей формулировке изученные прогнозы создают запросы, ключи и значения. Сравнения ключей запроса определяют веса, используемые для объединения значений. Множественные головки внимания допускают несколько таких комбинаций внутри слоя. Уровень трансформатора также включает в себя другие операции, такие как сеть прямой связи, нормализация и остаточные соединения. Информация о позиции необходима, поскольку порядок слов или других элементов последовательности имеет значение. Конкретные реализации различаются тем, как они представляют позицию и организуют эти операции. В оригинальном трансформаторе 2017 года для перевода использовалась конструкция кодера-декодера. Более поздние модели используют схемы «только кодер», «только декодер» или «кодер-декодер» для разных целей. Модель причинно-следственного языка предотвращает внимание позиции к будущим токенам во время прогнозирования следующего токена. Это ограничение отличается от двунаправленной обработки всего ввода. Внимание к длинным последовательностям может быть дорогостоящим в вычислительном отношении. Практические системы используют различные оптимизации, но объявленное ограничение контекста не доказывает, что модель надежно использует каждую часть длинного документа. Тестовый поиск, рассуждения и выполнение инструкций той длины, которая необходима вашему приложению.
04Рабочий пример
Отслеживание ссылки через контекст
Рассмотрим придуманный текст «Робот сдвинул ящик, потому что он загораживал дверной проем».
Для разрешения слова «оно» может потребоваться контекст. Механизм внимания может комбинировать информацию с других позиций при вычислении представления.
Измените предложение на «Робот передвинул ящик, потому что ему требовалась зарядка». Протестируйте интерпретацию всей модели, а не предполагайте, что диаграмма внимания доказывает правильное эталонное разрешение.
Что это показывает
Этот пример иллюстрирует контекстную обработку, не утверждая, что каждый преобразователь правильно разрешает неоднозначность.
Реальная реализация
Закодируйте документ для классификации.
Генерируйте ответ по одному токену за раз, используя причинное внимание.
Применение на практике
Почему это важно
- Скорость и масштаб. Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
- Доступ и охват. Это расширяет доступ к различным языкам и стилям общения.
- Более четкие решения. Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Следите за
- Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
- Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
- Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Следующие шаги
- Перед развертыванием определите выходной формат, тон и стандарты качества.
- Наземные ответы с помощью надежных источников, когда точность имеет значение.
- Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
- Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Источники и дальнейшее чтение
- Vaswani and colleaguesВнимание — это все, что вам нужно
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Transformers quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Все ли трансформеры — чат-боты?
Нет. Трансформеры могут поддерживать классификацию, перевод, поиск, изображение, аудио и другие задачи; Чат-бот — это приложение, построенное на основе моделей и дополнительных систем.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме