ДалееСледующее руководство
ИИ с открытым исходным кодом
Компании
РУКОВОДСТВО ПО КОМПАНИЯМ
LAION и открытые наборы данных
LAION — немецкая некоммерческая организация, которая выпустила огромные открытые наборы данных изображений и текста, наиболее известный из которых LAION-5B, который способствовал обучению открытых генеративных моделей, таких как Stable Diffusion.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это важно, потому что оно сделало мультимодальные данные в веб-масштабе бесплатными для исследователей за пределами крупных корпораций.
Глубокое погружение
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
Реальная реализация
Обучение открытым моделям преобразования текста в изображения, таким как Stable Diffusion, на миллиардах пар изображений и подписей.
Создание и тестирование систем поиска изображений и текста в стиле CLIP и систем классификации с нулевым выстрелом
Исследование предвзятости набора данных, безопасности контента и происхождения данных в масштабе Интернета.
Фильтрация подмножеств по языку, разрешению или эстетике для создания специализированных наборов данных для точной настройки.
Будущее LAION и открытых наборов данных
Открытые мультимодальные наборы данных будут сталкиваться с растущим давлением в отношении авторских прав, согласия и вредоносного контента, что будет способствовать усилению фильтрации, сбору с учетом лицензий и реестрам отказа. Переиздание LAION очищенного набора данных сигнализирует о переходе к аудиту безопасности в качестве шага по умолчанию. Ожидайте больше синтетических или лицензированных данных, стандартов происхождения и инструментов обнаружения. Напряженность между открытым доступом для небольших лабораторий и юридическими и этическими рисками, связанными с данными, полученными из Интернета, определит следующий этап создания набора данных.
Применение на практике
Почему это важно
- Стратегия поставщика. Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
- Стоимость и бюджет. Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
- Риски и безопасность. Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Следите за
- Объявления о запуске могут опережать стабильность реальных производственных процессов.
- Цены на API или изменения в политике могут в одночасье разрушить предположения.
- Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Следующие шаги
- Оценивайте поставщиков, используя собственные задачи и наборы данных.
- Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
- Поддерживайте резервный план для разных моделей или поставщиков.
- Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the LAION and Open Datasets quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое LAION и открытые наборы данных?
LAION — немецкая некоммерческая организация, которая выпустила огромные открытые наборы данных изображений и текста, наиболее известный из которых LAION-5B, который способствовал обучению открытых генеративных моделей, таких как Stable Diffusion. Это важно, потому что оно сделало мультимодальные данные в веб-масштабе бесплатными для исследователей за пределами крупных корпораций.
Что в первую очередь распространяет LAION в своих наборах изображений и текста?
LAION не размещает изображения; он распространяет URL-адреса и метаданные, поэтому пользователи получают изображения из исходных веб-источников.
Сколько примерно пар изображение-текст в LAION-5B?
LAION-5B содержит около 5,85 миллиардов пар изображение-текст, отсюда и «5B» в его названии.
Какую модель использовал LAION для фильтрации пар изображение-текст по качеству выравнивания?
LAION использовал CLIP OpenAI для измерения сходства подписей к изображениям и отбрасывания плохо совпадающих пар.
Какая известная открытая генеративная модель была обучена с использованием данных LAION?
Stable Diffusion, открытая модель преобразования текста в изображение, была обучена на данных изображения и текста LAION.
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме