СледваСледващо ръководство
AI с отворен код
Фирми
Фирми РЪКОВОДСТВО
LAION и отворени набори от данни
LAION е германска организация с нестопанска цел, която пусна масивни набори от отворени изображения и текст, най-известният LAION-5B, който подхранва обучението на отворени генеративни модели като Stable Diffusion.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Дълбоко гмуркане
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
Внедряване в реалния свят
Обучение на отворени модели текст към изображение като Stable Diffusion върху милиарди двойки изображение-надпис
Изграждане и сравняване на системи за извличане на изображения и текст в стил CLIP и системи за класификация с нулев изстрел
Проучване на пристрастията на набора от данни, безопасността на съдържанието и произхода на данните в уеб мащаб
Филтриране на подмножества по език, разделителна способност или естетически резултат за създаване на специализирани набори от данни за фина настройка
Бъдещето на LAION и отворените набори от данни
Отворените мултимодални набори от данни ще бъдат изправени пред нарастващ натиск около авторските права, съгласието и вредното съдържание, насочвайки се към по-силно филтриране, събиране, съобразено с лицензиране, и регистри за отказ. Повторното издаване на изчистен набор от данни от LAION сигнализира за преминаване към одит на безопасността като стъпка по подразбиране. Очаквайте повече синтетични или лицензирани данни, стандарти за произход и инструменти за откриване. Напрежението между отворения достъп за малки лаборатории и правните и етични рискове от данните, изчерпани в мрежата, ще определи следващата фаза на изграждане на набор от данни.
Прилагайки го на практика
Защо има значение
- Стратегия на доставчика. Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
- Разходи и бюджет. Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
- Риск и безопасност. Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Внимавайте за
- Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
- Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
- Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Следващи стъпки
- Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
- Прегледайте поверителността, сигурността и правните условия преди интегриране.
- Поддържайте резервен план за модели или доставчици.
- Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the LAION and Open Datasets quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is LAION and Open Datasets?
LAION е германска организация с нестопанска цел, която пусна масивни набори от отворени изображения и текст, най-известният LAION-5B, който подхранва обучението на отворени генеративни модели като Stable Diffusion. Има значение, защото направи мултимодални данни в уеб мащаб свободно достъпни за изследователи извън големите корпорации.
Какво основно разпространява LAION в своите набори от данни за изображения и текст?
LAION не хоства изображения; той разпространява URL адреси и метаданни, така че потребителите да извличат изображения от оригиналните си уеб източници.
Приблизително колко двойки изображение-текст има в LAION-5B?
LAION-5B съдържа около 5,85 милиарда двойки изображение-текст, оттук и „5B“ в името му.
Кой модел използва LAION за филтриране на двойки изображение-текст за качество на подравняване?
LAION използва CLIP на OpenAI, за да измери приликата на надписа на изображението и да отхвърли лошо съвпадащите двойки.
Кой известен отворен генеративен модел е обучен с помощта на данни от LAION?
Stable Diffusion, отворен модел текст-към-изображение, беше обучен на LAION изображение-текст данни.
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема