СледваСледващо ръководство
Индукционни глави в трансформатори
Езиков AI
Език AI РЪКОВОДСТВО
Трансформърс
Трансформаторът е архитектура на невронна мрежа, която използва вниманието, за да комбинира информация в последователност.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Той е в основата на много езикови и мултимодални модели. Архитектурата предоставя начин за обработка на представяния; то само по себе си не установява фактология, разбиране или безопасно поведение.
Основни изводи
- Вниманието комбинира информация между позиции.
- Архитектурните варианти служат на различни цели на обучение.
- Възможността за дълъг контекст се нуждае от тестване за конкретна задача.
Дълбоко гмуркане
Вниманието изчислява колко информация трябва да вземе една позиция от други позиции. В обща формулировка научените прогнози създават заявки, ключове и стойности. Сравненията на ключове за заявки определят теглата, използвани за комбиниране на стойности. Множество глави за внимание позволяват няколко такива комбинации в рамките на слой. Трансформаторният слой включва и други операции, като мрежа за подаване напред, нормализиране и остатъчни връзки. Информацията за позицията е необходима, защото редът на думите или другите елементи на последователността са от значение. Конкретните реализации се различават по начина, по който представят позицията и подреждат тези операции. Оригиналният трансформатор от 2017 г. използва дизайн на енкодер-декодер за превод. По-късните модели използват само енкодер, само декодер или енкодер-декодер за различни цели. Моделът на каузален език предотвратява позицията да се грижи за бъдещи токени по време на прогнозирането на следващия токен. Това ограничение се различава от двупосочната обработка на пълен вход. Вниманието върху дълги последователности може да бъде изчислително скъпо. Практическите системи използват различни оптимизации, но рекламираното ограничение на контекста не доказва, че моделът използва надеждно всяка част от дълъг документ. Тествайте извличането, разсъжденията и инструкциите, следващи действителните дължини, от които се нуждае вашето приложение.
04Работен пример
Проследяване на препратка чрез контекст
Помислете за измисления текст „Роботът премести сандъка, защото блокираше вратата“.
Думата „то“ може да изисква контекст, за да се разреши. Механизмът за внимание може да комбинира информация от други позиции, докато изчислява представяне.
Променете изречението на „Роботът премести сандъка, защото имаше нужда от зареждане.“ Тествайте пълната интерпретация на модела, вместо да приемете, че диаграмата на вниманието доказва правилната референтна резолюция.
Какво показва
Този пример илюстрира контекстуална обработка, без да твърди, че всеки трансформатор разрешава неяснотата правилно.
Внедряване в реалния свят
Кодирайте документ за класификация.
Генерирайте отговор един токен наведнъж, като използвате каузално внимание.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
- Достъп и обхват. Той разширява достъпа между езици и стилове на комуникация.
- По-ясни решения. Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Внимавайте за
- Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
- Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
- Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Следващи стъпки
- Определете изходен формат, тон и стандарти за качество преди внедряване.
- Наземни отговори с доверени източници винаги, когато точността има значение.
- Поддържайте контролна точка за човешки преглед за изходи с високи залози.
- Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Източници и допълнителна литература
- Vaswani and colleaguesВниманието е всичко, от което се нуждаете
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Transformers quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Всички трансформатори ли са чатботове?
Не. Трансформаторите могат да поддържат класификация, превод, извличане, визуализация, аудио и други задачи; чатботът е приложение, изградено около модели и допълнителни системи.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема