LAION και Open Datasets
Το LAION είναι ένας γερμανικός μη κερδοσκοπικός οργανισμός που κυκλοφόρησε τεράστια σύνολα δεδομένων ανοιχτού κειμένου-εικόνας, το πιο διάσημο LAION-5B, το οποίο τροφοδότησε την εκπαίδευση ανοιχτών μοντέλων παραγωγής όπως το Stable Diffusion.
Επισκόπηση
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Βαθιά κατάδυση
Το LAION (Μεγάλης κλίμακας Ανοικτό Δίκτυο Τεχνητής Νοημοσύνης) είναι ένας γερμανικός μη κερδοσκοπικός οργανισμός που ιδρύθηκε το 2021 για να εκδημοκρατίσει την έρευνα μηχανικής μάθησης με την κυκλοφορία μεγάλων ανοιχτών συνόλων δεδομένων. Η πιο γνωστή έκδοσή του, LAION-5B, περιέχει περίπου 5,85 δισεκατομμύρια ζεύγη εικόνας-κειμένου φιλτραρισμένα από δεδομένα ιστού Common Crawl χρησιμοποιώντας το μοντέλο CLIP του OpenAI για να διατηρηθούν τα ζεύγη όπου ευθυγραμμίζονται οι λεζάντες και η εικόνα. Το σημαντικό είναι ότι το LAION δεν φιλοξενεί τις ίδιες τις εικόνες. Διανέμει διευθύνσεις URL και μεταδεδομένα, έτσι ώστε οι χρήστες να κάνουν λήψη εικόνων από τις αρχικές πηγές Ιστού. Αυτά τα σύνολα δεδομένων συνέβαλαν καθοριστικά στην εκπαίδευση του Stable Diffusion και άλλων ανοιχτών μοντέλων κειμένου σε εικόνα. Το LAION αντιμετώπισε σοβαρό έλεγχο: το 2023 οι ερευνητές βρήκαν συνδέσμους με εικόνες παράνομης κατάχρησης στο σύνολο δεδομένων, ωθώντας το LAION να το αφαιρέσει, να το καθαρίσει και να επανακυκλοφορήσει μια ασφαλέστερη έκδοση, τονίζοντας τους κινδύνους της αφιλτράριστης απόξεσης σε κλίμακα ιστού.
Τεχνική διορατικότητα
Το LAION-5B δημιουργήθηκε με σάρωση ετικετών εικόνων Common Crawl για HTML με εναλλακτικό κείμενο και στη συνέχεια χρησιμοποιώντας CLIP για τον υπολογισμό της ομοιότητας μεταξύ κάθε εικόνας και λεζάντας. Τα ζεύγη κάτω από ένα όριο ομοιότητας συνημιτόνου απορρίφθηκαν, επομένως παρέμειναν μόνο εύλογα αντιστοιχισμένα ζεύγη εικόνας-κειμένου. Το σύνολο δεδομένων χωρίζεται ανά γλώσσα και περιλαμβάνει προ-υπολογισμένες ενσωματώσεις CLIP, επιτρέποντας γρήγορη αναζήτηση ομοιότητας. Επειδή αποθηκεύονται μόνο διευθύνσεις URL, η αποσύνθεση συνδέσμων υποβαθμίζει σταδιακά την αναπαραγωγιμότητα με την πάροδο του χρόνου.
Στρατηγικός αντίκτυπος
Στρατηγική προμηθευτή
Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
Κόστος και προϋπολογισμός
Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
Κίνδυνος και ασφάλεια
Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
The Future of LAION και Open Datasets
Τα ανοιχτά πολυτροπικά σύνολα δεδομένων θα αντιμετωπίσουν αυξανόμενη πίεση σχετικά με τα πνευματικά δικαιώματα, τη συναίνεση και το επιβλαβές περιεχόμενο, ωθώντας προς ισχυρότερο φιλτράρισμα, συλλογή βάσει αδειών και μητρώα εξαίρεσης. Η επανέκδοση ενός καθαρισμένου συνόλου δεδομένων από τη LAION σηματοδοτεί μια στροφή προς τον έλεγχο ασφάλειας ως προεπιλεγμένο βήμα. Αναμένετε περισσότερα συνθετικά ή αδειοδοτημένα δεδομένα, πρότυπα προέλευσης και εργαλεία ανίχνευσης. Η ένταση μεταξύ της ανοιχτής πρόσβασης για μικρά εργαστήρια και των νομικών και ηθικών κινδύνων των δεδομένων που έχουν αφαιρεθεί από τον ιστό θα καθορίσει την επόμενη φάση της δημιουργίας δεδομένων.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση μοντέλων ανοιχτού κειμένου σε εικόνα όπως το Stable Diffusion σε δισεκατομμύρια ζεύγη εικόνων-υπότιτλων
Δημιουργία και συγκριτική αξιολόγηση συστημάτων ανάκτησης κειμένου και εικόνας σε στυλ CLIP και ταξινόμησης μηδενικών λήψεων
Έρευνα μεροληψίας δεδομένων, ασφάλειας περιεχομένου και προέλευσης δεδομένων σε κλίμακα ιστού
Φιλτράρισμα υποσυνόλων κατά γλώσσα, ανάλυση ή αισθητική βαθμολογία για τη δημιουργία εξειδικευμένων συνόλων δεδομένων λεπτομερούς ρύθμισης
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Οδικός Χάρτης Εφαρμογής
Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LAION and Open Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
AI ανοιχτού κώδικα
Συχνές ερωτήσεις
What is LAION and Open Datasets?
Το LAION είναι ένας γερμανικός μη κερδοσκοπικός οργανισμός που κυκλοφόρησε τεράστια σύνολα δεδομένων ανοιχτού κειμένου-εικόνας, το πιο διάσημο LAION-5B, το οποίο τροφοδότησε την εκπαίδευση ανοιχτών μοντέλων παραγωγής όπως το Stable Diffusion. Έχει σημασία γιατί έκανε ελεύθερα διαθέσιμα πολυτροπικά δεδομένα κλίμακας ιστού σε ερευνητές εκτός μεγάλων εταιρειών.
Τι διανέμει κυρίως το LAION στα σύνολα δεδομένων εικόνας-κειμένου του;
Το LAION δεν φιλοξενεί εικόνες. διανέμει διευθύνσεις URL και μεταδεδομένα, ώστε οι χρήστες να ανακτούν εικόνες από τις αρχικές τους πηγές Ιστού.
Πόσα περίπου ζεύγη εικόνας-κειμένου υπάρχουν στο LAION-5B;
Το LAION-5B περιέχει περίπου 5,85 δισεκατομμύρια ζεύγη εικόνας-κειμένου, εξ ου και το '5B' στο όνομά του.
Ποιο μοντέλο χρησιμοποίησε η LAION για να φιλτράρει τα ζεύγη εικόνας-κειμένου για ποιότητα στοίχισης;
Η LAION χρησιμοποίησε το CLIP του OpenAI για να μετρήσει την ομοιότητα εικόνας-υπότιτλου και να απορρίψει τα κακώς αντιστοιχισμένα ζεύγη.
Ποιο εξέχον ανοιχτό μοντέλο παραγωγής εκπαιδεύτηκε χρησιμοποιώντας δεδομένα LAION;
Το Stable Diffusion, ένα ανοιχτό μοντέλο κειμένου σε εικόνα, εκπαιδεύτηκε σε δεδομένα εικόνας κειμένου LAION.
Ποιο σοβαρό πρόβλημα ανακάλυψαν οι ερευνητές στο LAION-5B το 2023;
Οι ερευνητές βρήκαν συνδέσμους με παράνομο υλικό κακοποίησης παιδιών, με αποτέλεσμα η LAION να αφαιρέσει το σύνολο δεδομένων, να το καθαρίσει και να επανακυκλοφορήσει μια ασφαλέστερη έκδοση.