ДаліНаступний посібник
Оцінка потрібної пам’яті GPU для LLM
технічний
Технічний КЕРІВНИЦТВО
Пам'ять з високою пропускною здатністю
Пам'ять високої пропускної здатності (HBM) — це стекова пам'ять, розташована поруч із графічним процесором, яка передає дані набагато швидше, ніж звичайна оперативна пам'ять.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It is what keeps AI accelerators fed, preventing the powerful compute cores from sitting idle while they wait for model weights and data.
Глибоке занурення
HBM вирішує основне вузьке місце: сучасні чіпи штучного інтелекту можуть виконувати трильйони операцій за секунду, але лише якщо дані надходять досить швидко. Стандартна пам'ять GDDR підключається через відносно вузьку шину, тоді як HBM збирає кілька кристалів DRAM вертикально та з'єднує їх тисячами крихітних вертикальних проводів, які називаються наскрізними кремнієвими отворами (TSV). Ці стеки розташовані на кремнієвому інтерпозері в міліметрах від графічного процесора, забезпечуючи надзвичайно широкий шлях передачі даних, думаючи, тисячі бітів одночасно замість сотень. Результатом є пропускна здатність, яка вимірюється в терабайтах на секунду. Покоління просунулися від HBM2 до HBM2e, HBM3 та HBM3e, кожне з яких підвищує як потужність, так і швидкість. Для великих мовних моделей, ваги яких необхідно постійно передавати, пропускна здатність і пропускна здатність HBM часто важливіші, ніж необроблені обчислення.
Реалізація в реальному світі
Зберігання десятків або сотень гігабайт вагових коефіцієнтів для великої мовної моделі поблизу графічного процесора, щоб їх можна було передавати під час кожного кроку висновку.
Увімкнення графічних процесорів центрів обробки даних NVIDIA H100 і H200 для досягнення кількох терабайт на секунду пропускної здатності пам’яті для навчання.
Підтримка навчальних кластерів штучного інтелекту, де багато GPU покладаються на HBM, щоб уникнути зупинок між операціями матриці.
Підтримка генеративних моделей зображень і відео з високою роздільною здатністю, які повинні швидко переміщувати величезні тензори активації в пам’ять і з неї.
Майбутнє пам'яті з високою пропускною здатністю
Пропускна здатність пам’яті зараз є основним обмеженням для ШІ, тому HBM швидко розвивається. HBM3e поставляється у вигляді флагманських прискорювачів, а HBM4 на горизонті обіцяє ширші інтерфейси, вищі стеки та більшу ємність на пакет. Очікуйте більш тісного спільного проектування між пам’яттю та логікою, можливо, користувальницьких базових матриць і обробки майже пам’яті, а також жорсткої конкуренції серед постачальників, таких як SK hynix, Samsung і Micron. Оскільки моделі ростуть, наближення даних до обчислень, швидше та з меншим енергоспоживанням залишається центральним у розвитку апаратного забезпечення ШІ.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the High Bandwidth Memory quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is High Bandwidth Memory?
Пам'ять високої пропускної здатності (HBM) — це стекова пам'ять, розташована поруч із графічним процесором, яка передає дані набагато швидше, ніж звичайна оперативна пам'ять. Це те, що забезпечує живлення прискорювачів штучного інтелекту, не даючи потужним обчислювальним ядрам простоювати, поки вони очікують вагових коефіцієнтів і даних моделі.
Яку основну проблему вирішує High Bandwidth Memory для прискорювачів AI?
Чіпи штучного інтелекту можуть виконувати трильйони операцій за секунду, лише якщо дані надходять досить швидко; HBM забезпечує цю пропускну здатність, щоб ядра не відчували голоду.
Чим фізична конструкція HBM відрізняється від звичайної пам’яті GDDR?
HBM укладає плашки DRAM один на одного та з’єднує їх тисячами вертикальних проводів (TSV), створюючи дуже широкий шлях передачі даних.
На що в основному покладається HBM для досягнення високої пропускної здатності?
Замість того, щоб працювати швидше, HBM надає дуже широкий інтерфейс (1024 біти на стек і більше), тому багато байтів переміщуються одночасно.
Чому стеки HBM розміщені на кремнієвому інтерпозері поруч із GPU?
Короткі дроти на спільному інтерпозері зменшують енергію, необхідну для кожного переданого біта, і зменшують затримку між пам’яттю та обчисленням.
Особливо для великих мовних моделей, чому HBM може мати таке ж значення, як і необроблені обчислення?
Висновок LLM постійно передає великі вагові матриці, тому ємність пам’яті та пропускна здатність часто стають обмежуючим фактором, а не пропускна здатність обчислень.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми