HƯỚNG DẪN công ty
LAION và bộ dữ liệu mở
LAION là một tổ chức phi lợi nhuận của Đức đã phát hành bộ dữ liệu văn bản hình ảnh mở khổng lồ, nổi tiếng nhất là LAION-5B, hỗ trợ việc đào tạo các mô hình thế hệ mở như Stable Diffusion.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó quan trọng vì nó cung cấp miễn phí dữ liệu đa phương thức trên quy mô web cho các nhà nghiên cứu bên ngoài các tập đoàn lớn.
Lặn sâu
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
Triển khai trong thế giới thực
Đào tạo các mô hình chuyển văn bản thành hình ảnh mở như Khuếch tán ổn định trên hàng tỷ cặp chú thích hình ảnh
Xây dựng và đánh giá các hệ thống truy xuất văn bản hình ảnh và phân loại không chụp theo kiểu CLIP
Nghiên cứu sự thiên vị của dữ liệu, an toàn nội dung và nguồn gốc dữ liệu ở quy mô web
Lọc các tập hợp con theo ngôn ngữ, độ phân giải hoặc điểm thẩm mỹ để tạo các bộ dữ liệu tinh chỉnh chuyên dụng
Tương lai của LAION và Bộ dữ liệu mở
Các bộ dữ liệu đa phương thức mở sẽ phải đối mặt với áp lực ngày càng tăng xung quanh bản quyền, sự đồng ý và nội dung có hại, thúc đẩy quá trình lọc mạnh mẽ hơn, thu thập nhận biết cấp phép và đăng ký từ chối. Việc LAION phát hành lại tập dữ liệu đã được làm sạch báo hiệu sự chuyển hướng sang kiểm tra an toàn như một bước mặc định. Mong đợi nhiều dữ liệu tổng hợp hoặc được cấp phép hơn, tiêu chuẩn xuất xứ và công cụ phát hiện. Sự căng thẳng giữa quyền truy cập mở đối với các phòng thí nghiệm nhỏ và rủi ro pháp lý và đạo đức của dữ liệu được quét trên web sẽ xác định giai đoạn tiếp theo của việc xây dựng tập dữ liệu.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chiến lược nhà cung cấp. Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
- Chi phí và ngân sách. Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
- Rủi ro và an toàn. Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
coi chừng
- Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
- Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
- Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Các bước tiếp theo
- Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
- Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
- Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
- Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the LAION and Open Datasets quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
LAION và Bộ dữ liệu mở là gì?
LAION là một tổ chức phi lợi nhuận của Đức đã phát hành bộ dữ liệu văn bản hình ảnh mở khổng lồ, nổi tiếng nhất là LAION-5B, hỗ trợ việc đào tạo các mô hình thế hệ mở như Stable Diffusion. Nó quan trọng vì nó cung cấp miễn phí dữ liệu đa phương thức trên quy mô web cho các nhà nghiên cứu bên ngoài các tập đoàn lớn.
LAION chủ yếu phân phối những gì trong bộ dữ liệu văn bản hình ảnh của mình?
LAION không lưu trữ hình ảnh; nó phân phối URL và siêu dữ liệu để người dùng tìm nạp hình ảnh từ nguồn web ban đầu của họ.
Có khoảng bao nhiêu cặp văn bản-hình ảnh trong LAION-5B?
LAION-5B chứa khoảng 5,85 tỷ cặp văn bản-hình ảnh, do đó có tên '5B'.
LAION đã sử dụng mô hình nào để lọc các cặp văn bản-hình ảnh nhằm đảm bảo chất lượng căn chỉnh?
LAION đã sử dụng CLIP của OpenAI để đo mức độ tương tự của chú thích hình ảnh và loại bỏ các cặp không khớp.
Mô hình thế hệ mở nổi bật nào đã được đào tạo bằng dữ liệu LAION?
Khuếch tán ổn định, một mô hình chuyển văn bản thành hình ảnh mở, đã được đào tạo về dữ liệu văn bản hình ảnh LAION.
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này