คู่มือบริษัท
LAION และชุดข้อมูลแบบเปิด
LAION เป็นองค์กรไม่แสวงผลกำไรในเยอรมนีที่เปิดตัวชุดข้อมูลข้อความรูปภาพแบบเปิดขนาดใหญ่ ซึ่งเป็นที่รู้จักมากที่สุดคือ LAION-5B ซึ่งกระตุ้นการฝึกอบรมโมเดลแบบเปิด เช่น Stable Diffusion
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
เป็นเรื่องสำคัญเนื่องจากทำให้นักวิจัยภายนอกองค์กรขนาดใหญ่สามารถเข้าถึงข้อมูลต่อเนื่องหลายรูปแบบในระดับเว็บได้อย่างอิสระ
เจาะลึก
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
การใช้งานจริงในโลกแห่งความเป็นจริง
ฝึกอบรมโมเดลข้อความเป็นรูปภาพแบบเปิด เช่น Stable Diffusion บนคู่คำบรรยายภาพหลายพันล้านคู่
การสร้างและการเปรียบเทียบระบบการดึงข้อความรูปภาพสไตล์ CLIP และระบบการจำแนกประเภทซีโร่ช็อต
ศึกษาความลำเอียงของชุดข้อมูล ความปลอดภัยของเนื้อหา และแหล่งที่มาของข้อมูลในระดับเว็บ
การกรองชุดย่อยตามภาษา ความละเอียด หรือคะแนนความสวยงามเพื่อสร้างชุดข้อมูลที่มีการปรับแต่งเฉพาะทาง
อนาคตของ LAION และชุดข้อมูลแบบเปิด
ชุดข้อมูลหลายรูปแบบแบบเปิดจะเผชิญกับแรงกดดันที่เพิ่มขึ้นเกี่ยวกับลิขสิทธิ์ ความยินยอม และเนื้อหาที่เป็นอันตราย ซึ่งผลักดันไปสู่การกรองที่แข็งแกร่งขึ้น การรวบรวมใบอนุญาตที่ตระหนักถึงใบอนุญาต และการลงทะเบียนที่ไม่เข้าร่วม การเปิดตัวชุดข้อมูลที่ล้างสะอาดแล้วอีกครั้งของ LAION ส่งสัญญาณถึงการเปลี่ยนแปลงไปสู่การตรวจสอบความปลอดภัยเป็นขั้นตอนเริ่มต้น คาดหวังข้อมูลสังเคราะห์หรือข้อมูลลิขสิทธิ์ มาตรฐานแหล่งที่มา และเครื่องมือการตรวจจับเพิ่มเติม ความตึงเครียดระหว่างการเข้าถึงแบบเปิดสำหรับห้องปฏิบัติการขนาดเล็กและความเสี่ยงทางกฎหมายและจริยธรรมของข้อมูลที่คัดลอกมาจากเว็บจะเป็นตัวกำหนดขั้นตอนต่อไปของการสร้างชุดข้อมูล
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- กลยุทธ์ของผู้ขาย. โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
- ต้นทุนและงบประมาณ. ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
- ความเสี่ยงและความปลอดภัย. สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
ระวัง
- การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
- การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
- การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
ขั้นตอนต่อไป
- ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
- ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
- รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
- ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the LAION and Open Datasets quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
LAION และ Open Dataset คืออะไร
LAION เป็นองค์กรไม่แสวงผลกำไรในเยอรมนีที่เปิดตัวชุดข้อมูลข้อความรูปภาพแบบเปิดขนาดใหญ่ ซึ่งเป็นที่รู้จักมากที่สุดคือ LAION-5B ซึ่งกระตุ้นการฝึกอบรมโมเดลแบบเปิด เช่น Stable Diffusion เป็นเรื่องสำคัญเนื่องจากทำให้นักวิจัยภายนอกองค์กรขนาดใหญ่สามารถเข้าถึงข้อมูลต่อเนื่องหลายรูปแบบในระดับเว็บได้อย่างอิสระ
LAION แจกจ่ายอะไรในชุดข้อมูลข้อความรูปภาพเป็นหลัก
LAION ไม่ได้โฮสต์ภาพ โดยจะกระจาย URL และข้อมูลเมตา ดังนั้นผู้ใช้จึงดึงรูปภาพจากแหล่งเว็บดั้งเดิมของตน
LAION-5B มีคู่ข้อความรูปภาพประมาณกี่คู่
LAION-5B มีคู่ข้อความรูปภาพประมาณ 5.85 พันล้านคู่ จึงเป็นที่มาของชื่อ '5B'
LAION ใช้โมเดลใดในการกรองคู่ข้อความรูปภาพเพื่อคุณภาพการจัดตำแหน่ง
LAION ใช้คลิปของ OpenAI เพื่อวัดความคล้ายคลึงของคำบรรยายภาพและละทิ้งคู่ที่จับคู่ไม่ดี
โมเดล Open Generative ที่โดดเด่นใดได้รับการฝึกฝนโดยใช้ข้อมูล LAION
Stable Diffusion ซึ่งเป็นโมเดลการแปลงข้อความเป็นรูปภาพแบบเปิด ได้รับการฝึกอบรมเกี่ยวกับข้อมูลข้อความรูปภาพ LAION
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้