LAION a otevřené datové sady
LAION je německá nezisková organizace, která vydala masivní otevřené datové sady obrázků a textu, nejslavnější LAION-5B, což podpořilo školení otevřených generativních modelů, jako je Stable Diffusion.
Přehled
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Hluboký ponor
LAION (Large-scale Artificial Intelligence Open Network) je německá nezisková organizace založená v roce 2021 s cílem demokratizovat výzkum strojového učení tím, že uvolňuje velké otevřené datové sady. Jeho nejznámější verze, LAION-5B, obsahuje zhruba 5,85 miliardy párů obrázek-text filtrovaných z webových dat Common Crawl pomocí modelu CLIP OpenAI, aby páry byly zarovnány mezi titulkem a obrázkem. Podstatné je, že LAION nehostuje samotné obrázky; distribuuje adresy URL a metadata, takže uživatelé stahují obrázky z původních webových zdrojů. Tyto datové sady byly nápomocné při školení Stable Diffusion a dalších otevřených modelů převodu textu na obrázek. LAION čelil vážnému zkoumání: v roce 2023 výzkumníci nalezli v datovém souboru odkazy na nelegální snímky zneužívání, což přimělo LAION, aby je odstranil, vyčistil a znovu vydal bezpečnější verzi, přičemž upozornil na rizika nefiltrovaného škrábání na webu.
Technický přehled
LAION-5B byl vytvořen skenováním Common Crawl pro HTML tagy obrázků s alternativním textem a poté pomocí CLIP k výpočtu podobnosti mezi každým obrázkem a jeho titulkem. Páry pod prahem kosinové podobnosti byly vyřazeny, takže zůstaly pouze přiměřeně spárované páry obrázek-text. Soubor dat je rozdělen podle jazyka a obsahuje předem vypočítaná vložení CLIP, což umožňuje rychlé vyhledávání podobnosti. Protože se ukládají pouze adresy URL, hniloba odkazů postupem času postupně snižuje reprodukovatelnost.
Strategický dopad
Strategie dodavatelů
Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
Cena a rozpočet
Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
Riziko a bezpečnost
Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.
Budoucnost LAION a otevřených datových sad
Otevřené multimodální datové sady budou čelit rostoucímu tlaku kolem autorských práv, souhlasu a škodlivého obsahu, což povede k silnějšímu filtrování, shromažďování s ohledem na licence a registrům pro odhlášení. Opětovné vydání vyčištěné datové sady LAION signalizuje posun směrem k bezpečnostnímu auditu jako výchozímu kroku. Očekávejte více syntetických nebo licencovaných dat, standardů původu a detekčního nástroje. Napětí mezi otevřeným přístupem pro malé laboratoře a právními a etickými riziky dat z webu vymezí další fázi vytváření datové sady.
Real-World Implementace
Školení otevřených modelů převodu textu na obrázek, jako je Stable Diffusion, na miliardách párů obrázek-titulků
Vytváření a srovnávání systémů vyhledávání obrázků a textu ve stylu CLIP a klasifikace zero-shot
Zkoumání zkreslení datové sady, bezpečnosti obsahu a původu dat ve webovém měřítku
Filtrování podmnožin podle jazyka, rozlišení nebo estetického skóre za účelem vytvoření specializovaných dolaďovacích datových sad
Rizika a zábradlí
Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
Změny cen API nebo politik mohou přes noc narušit předpoklady.
Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.
Plán implementace
Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
Udržujte záložní plán napříč modely nebo dodavateli.
Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LAION and Open Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Open Source AI
Často kladené otázky
What is LAION and Open Datasets?
LAION je německá nezisková organizace, která vydala masivní otevřené datové sady obrázků a textu, nejslavnější LAION-5B, což podpořilo školení otevřených generativních modelů, jako je Stable Diffusion. Je to důležité, protože to umožnilo volně dostupná multimodální data na webu výzkumníkům mimo velké korporace.
Co LAION primárně distribuuje ve svých obrazových a textových datových sadách?
LAION nehostuje obrázky; distribuuje adresy URL a metadata, takže uživatelé načítají obrázky ze svých původních webových zdrojů.
Kolik párů obrázek-text je zhruba v LAION-5B?
LAION-5B obsahuje asi 5,85 miliardy párů obrázek-text, proto v názvu „5B“.
Jaký model použil LAION k filtrování párů obrázek-text pro kvalitu zarovnání?
LAION použil CLIP OpenAI k měření podobnosti mezi obrázky a titulky a vyřadil špatně spárované páry.
Který prominentní otevřený generativní model byl trénován pomocí dat LAION?
Stable Diffusion, otevřený model převodu textu na obrázek, byl trénován na datech obrázku a textu LAION.
Jaký vážný problém objevili výzkumníci v LAION-5B v roce 2023?
Výzkumníci našli odkazy na nelegální materiál o zneužívání dětí, což vedlo LAION k odstranění datové sady, vyčištění a opětovnému vydání bezpečnější verze.