LAION и открытые наборы данных
LAION — немецкая некоммерческая организация, которая выпустила огромные открытые наборы данных изображений и текста, наиболее известный из которых LAION-5B, который способствовал обучению открытых генеративных моделей, таких как Stable Diffusion.
Обзор
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Глубокое погружение
LAION (Крупномасштабная открытая сеть искусственного интеллекта) — немецкая некоммерческая организация, основанная в 2021 году с целью демократизации исследований в области машинного обучения путем выпуска больших открытых наборов данных. Его самая известная версия, LAION-5B, содержит около 5,85 миллиардов пар изображение-текст, отфильтрованных из веб-данных Common Crawl с использованием модели CLIP OpenAI, чтобы сохранить пары, в которых заголовок и изображение совпадают. Важно отметить, что LAION не хранит сами изображения; он распространяет URL-адреса и метаданные, поэтому пользователи загружают изображения из исходных веб-источников. Эти наборы данных сыграли важную роль в обучении Stable Diffusion и других моделей открытого преобразования текста в изображение. LAION подвергся серьезной проверке: в 2023 году исследователи обнаружили в наборе данных ссылки на изображения незаконного злоупотребления, что побудило LAION удалить его, очистить и перевыпустить более безопасную версию, подчеркнув риски нефильтрованного парсинга в масштабе сети.
Техническая информация
LAION-5B был создан путем сканирования Common Crawl тегов изображений HTML с альтернативным текстом, а затем использования CLIP для вычисления сходства между каждым изображением и его подписью. Пары ниже порога косинусного сходства были отброшены, поэтому остались только разумно совпадающие пары изображение-текст. Набор данных разделен по языкам и включает предварительно рассчитанные вложения CLIP, что обеспечивает быстрый поиск сходства. Поскольку сохраняются только URL-адреса, разрушение ссылок со временем постепенно ухудшает воспроизводимость.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее LAION и открытых наборов данных
Открытые мультимодальные наборы данных будут сталкиваться с растущим давлением в отношении авторских прав, согласия и вредоносного контента, что будет способствовать усилению фильтрации, сбору с учетом лицензий и реестрам отказа. Переиздание LAION очищенного набора данных сигнализирует о переходе к аудиту безопасности в качестве шага по умолчанию. Ожидайте больше синтетических или лицензированных данных, стандартов происхождения и инструментов обнаружения. Напряженность между открытым доступом для небольших лабораторий и юридическими и этическими рисками, связанными с данными, полученными из Интернета, определит следующий этап создания набора данных.
Реальная реализация
Обучение открытым моделям преобразования текста в изображения, таким как Stable Diffusion, на миллиардах пар изображений и подписей.
Создание и тестирование систем поиска изображений и текста в стиле CLIP и систем классификации с нулевым выстрелом
Исследование предвзятости набора данных, безопасности контента и происхождения данных в масштабе Интернета.
Фильтрация подмножеств по языку, разрешению или эстетике для создания специализированных наборов данных для точной настройки.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LAION and Open Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
ИИ с открытым исходным кодом
Часто задаваемые вопросы
What is LAION and Open Datasets?
LAION — немецкая некоммерческая организация, которая выпустила огромные открытые наборы данных изображений и текста, наиболее известный из которых LAION-5B, который способствовал обучению открытых генеративных моделей, таких как Stable Diffusion. Это важно, потому что оно сделало мультимодальные данные в веб-масштабе бесплатными для исследователей за пределами крупных корпораций.
Что в первую очередь распространяет LAION в своих наборах изображений и текста?
LAION не размещает изображения; он распространяет URL-адреса и метаданные, поэтому пользователи получают изображения из исходных веб-источников.
Сколько примерно пар изображение-текст в LAION-5B?
LAION-5B содержит около 5,85 миллиардов пар изображение-текст, отсюда и «5B» в его названии.
Какую модель использовал LAION для фильтрации пар изображение-текст по качеству выравнивания?
LAION использовал CLIP OpenAI для измерения сходства подписей к изображениям и отбрасывания плохо совпадающих пар.
Какая известная открытая генеративная модель была обучена с использованием данных LAION?
Stable Diffusion, открытая модель преобразования текста в изображение, была обучена на данных изображения и текста LAION.
Какую серьезную проблему обнаружили исследователи в LAION-5B в 2023 году?
Исследователи обнаружили ссылки на незаконные материалы о жестоком обращении с детьми, что побудило LAION удалить набор данных, очистить его и перевыпустить более безопасную версию.