概述
這很重要,因為它使大公司以外的研究人員可以免費獲得網路規模的多模式數據。
深入探討
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
現實世界的實施
在數十億個圖像標題對上訓練開放的文本到圖像模型,例如穩定擴散
建立 CLIP 式圖像文字檢索和零樣本分類系統並對其進行基準測試
研究網路規模的資料集偏差、內容安全和資料來源
按語言、解析度或美學分數過濾子集以建立專門的微調資料集
LAION 和開放資料集的未來
開放的多模式資料集將面臨版權、同意和有害內容方面越來越大的壓力,推動更強大的過濾、許可感知收集和選擇退出註冊。 LAION 重新發布清理後的資料集標誌著安全審核作為預設步驟的轉變。期待更多的合成或授權資料、來源標準和檢測工具。小型實驗室的開放獲取與網路抓取資料的法律和道德風險之間的緊張關係將決定資料集建構的下一階段。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是 LAION 和開放資料集?
LAION 是一家德國非營利組織,發布了大量開放圖像文字資料集,最著名的是 LAION-5B,它推動了穩定擴散等開放生成模型的訓練。這很重要,因為它使大公司以外的研究人員可以免費獲得網路規模的多模式資料。
LAION 在其影像文字資料集中主要分佈什麼?
LAION 不託管映像;它會分發 URL 和元數據,以便使用者可以從原始網路來源取得映像。
LAION-5B 大約有多少個圖像-文字對?
LAION-5B 包含約 58.5 億個圖像文字對,因此其名稱中含有「5B」。
LAION 使用哪種模型來過濾圖像-文字對以實現對齊品質?
LAION 使用 OpenAI 的 CLIP 來測量影像標題相似度並丟棄不符的對。
哪個著名的開放生成模型是使用 LAION 資料進行訓練的?
Stable Diffusion 是開放式的文字到圖像模型,在 LAION 圖像文字資料上進行訓練。
是什麼問題導致 LAION 在 2023 年 12 月撤回了 LAION-5B?
研究人員在 LAION-5B 中識別出疑似兒童性虐待材料(CSAM)的網址。LAION 撤回了該資料集,並隨後描述了一項使用合作夥伴提供的雜湊清單進行的修訂;這並未證實每個可疑連結當時都有效,也未證實所有可能的有害內容都已被移除。