ДаліНаступний посібник
ШІ з відкритим кодом
Компанії
ГІД компаній
LAION і відкриті набори даних
LAION – це німецька некомерційна організація, яка випустила масивні відкриті набори даних із зображенням і текстом, найвідоміший з яких LAION-5B, який стимулював навчання відкритих генеративних моделей, таких як Stable Diffusion.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це важливо, тому що він зробив мультимодальні дані веб-масштабу вільно доступними для дослідників за межами великих корпорацій.
Глибоке занурення
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
Реалізація в реальному світі
Навчання відкритим моделям перетворення тексту в зображення, таким як Stable Diffusion, на мільярдах пар зображення-запис
Створення та порівняльний аналіз систем пошуку зображень і тексту в стилі CLIP і систем класифікації без кадрів
Дослідження упередженості набору даних, безпеки вмісту та походження даних у веб-масштабі
Фільтрування підмножин за мовою, роздільною здатністю або естетичною оцінкою для створення спеціалізованих наборів даних для точного налаштування
Майбутнє LAION і відкритих наборів даних
Відкриті мультимодальні набори даних зіткнуться зі зростаючим тиском у зв’язку з авторським правом, згодою та шкідливим вмістом, що підштовхне до посилення фільтрації, збору з урахуванням ліцензій та реєстрів відмови. Повторний випуск очищеного набору даних LAION свідчить про перехід до аудиту безпеки як стандартного кроку. Очікуйте більше синтетичних або ліцензованих даних, стандартів походження та інструментів виявлення. Напруга між відкритим доступом для невеликих лабораторій і правовими та етичними ризиками, пов’язаними з даними, зібраними з Інтернету, визначить наступний етап створення набору даних.
Застосування на практиці
Чому це важливо
- Стратегія постачальника. Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
- Вартість і бюджет. Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
- Ризики та безпека. Стимули компанії формують стандарти продукту, безпеку та відкритість.
Зверніть увагу на
- Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
- Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
- Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Наступні кроки
- Оцініть постачальників за допомогою власних завдань і наборів даних.
- Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
- Підтримуйте запасний план для різних моделей або постачальників.
- Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the LAION and Open Datasets quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке LAION і відкриті набори даних?
LAION – це німецька некомерційна організація, яка випустила масивні відкриті набори даних із зображенням і текстом, найвідоміший з яких LAION-5B, який стимулював навчання відкритих генеративних моделей, таких як Stable Diffusion. Це важливо, тому що він зробив мультимодальні дані веб-масштабу вільно доступними для дослідників за межами великих корпорацій.
Що LAION в першу чергу розповсюджує у своїх наборах даних зображень і тексту?
LAION не розміщує зображення; він розповсюджує URL-адреси та метадані, тому користувачі отримують зображення зі своїх оригінальних веб-джерел.
Скільки приблизно пар зображення-текст у LAION-5B?
LAION-5B містить близько 5,85 мільярдів пар зображення-текст, тому в назві «5B».
Яку модель використовував LAION для фільтрації пар зображення-текст для якості вирівнювання?
LAION використовував CLIP OpenAI, щоб виміряти подібність підписів до зображень і відкинути погано підібрані пари.
Яку відому відкриту генеративну модель було навчено за допомогою даних LAION?
Stable Diffusion, модель відкритого перетворення тексту в зображення, було навчено на даних зображення-текст LAION.
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми