ΕπόμενοΕπόμενος οδηγός
AI ανοιχτού κώδικα
Εταιρείες
ΟΔΗΓΟΣ Εταιρειών
LAION και Open Datasets
Το LAION είναι ένας γερμανικός μη κερδοσκοπικός οργανισμός που κυκλοφόρησε τεράστια σύνολα δεδομένων ανοιχτού κειμένου-εικόνας, το πιο διάσημο LAION-5B, το οποίο τροφοδότησε την εκπαίδευση ανοιχτών μοντέλων παραγωγής όπως το Stable Diffusion.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Έχει σημασία γιατί έκανε ελεύθερα διαθέσιμα πολυτροπικά δεδομένα κλίμακας ιστού σε ερευνητές εκτός μεγάλων εταιρειών.
Βαθιά κατάδυση
Το LAION (Μεγάλης κλίμακας Ανοιχτό Δίκτυο Τεχνητής Νοημοσύνης) είναι ένας γερμανικός μη κερδοσκοπικός οργανισμός που ιδρύθηκε το 2021 για να εκδημοκρατίσει την έρευνα μηχανικής μάθησης με την κυκλοφορία μεγάλων ανοιχτών συνόλων δεδομένων. Η πιο γνωστή κυκλοφορία του, LAION-5B, περιέχει περίπου 5,85 δισεκατομμύρια ζεύγη εικόνας-κειμένου φιλτραρισμένα από δεδομένα ιστού Common Crawl χρησιμοποιώντας το μοντέλο CLIP του OpenAI για να διατηρηθούν τα ζεύγη όπου ευθυγραμμίζονται οι λεζάντες και η εικόνα. Η LAION διανέμει διευθύνσεις URL και μεταδεδομένα ενώ τα αρχικά αρχεία εικόνας παραμένουν στους κεντρικούς υπολογιστές Ιστού τους. Το σύνολο δεδομένων βοήθησε τους ερευνητές να εκπαιδεύσουν και να μελετήσουν ανοιχτά μοντέλα κειμένου-εικόνων, συμπεριλαμβανομένου του Stable Diffusion. Τον Δεκέμβριο του 2023, οι ερευνητές ανέφεραν URL σε υλικό ύποπτης σεξουαλικής κακοποίησης παιδιών στο LAION-5B και η LAION απέσυρε το σύνολο δεδομένων για μια αναθεώρηση ασφαλείας. Τον Αύγουστο του 2024, η LAION περιέγραψε τις εκδόσεις Re-LAION που δημιουργήθηκαν συγκρίνοντας υπάρχουσες εγγραφές με λίστες κατακερματισμού που παρέχονται από συνεργάτες. Η κυκλοφορία εξαιρεί γνωστούς ύποπτους συνδέσμους που προσδιορίστηκαν από αυτούς τους συνεργάτες από τον Ιούλιο του 2024. Η LAION δηλώνει ρητά ότι τα φίλτρα δεν μπορούν να εγγυηθούν ότι έχει αφαιρεθεί όλο το επιβλαβές περιεχόμενο από δεδομένα κλίμακας ιστού.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση μοντέλων ανοιχτού κειμένου σε εικόνα όπως το Stable Diffusion σε δισεκατομμύρια ζεύγη εικόνων-υπότιτλων
Δημιουργία και συγκριτική αξιολόγηση συστημάτων ανάκτησης κειμένου και εικόνας σε στυλ CLIP και ταξινόμησης μηδενικών λήψεων
Έρευνα μεροληψίας δεδομένων, ασφάλειας περιεχομένου και προέλευσης δεδομένων σε κλίμακα ιστού
Φιλτράρισμα υποσυνόλων κατά γλώσσα, ανάλυση ή αισθητική βαθμολογία για τη δημιουργία εξειδικευμένων συνόλων δεδομένων λεπτομερούς ρύθμισης
The Future of LAION και Open Datasets
Τα ανοιχτά πολυτροπικά σύνολα δεδομένων θα αντιμετωπίσουν αυξανόμενη πίεση σχετικά με τα πνευματικά δικαιώματα, τη συναίνεση και το επιβλαβές περιεχόμενο, ωθώντας προς ισχυρότερο φιλτράρισμα, συλλογή βάσει αδειών και μητρώα εξαίρεσης. Η επανέκδοση ενός καθαρισμένου συνόλου δεδομένων από τη LAION σηματοδοτεί μια στροφή προς τον έλεγχο ασφάλειας ως προεπιλεγμένο βήμα. Αναμένετε περισσότερα συνθετικά ή αδειοδοτημένα δεδομένα, πρότυπα προέλευσης και εργαλεία ανίχνευσης. Η ένταση μεταξύ της ανοιχτής πρόσβασης για μικρά εργαστήρια και των νομικών και ηθικών κινδύνων των δεδομένων που έχουν αφαιρεθεί από τον ιστό θα καθορίσει την επόμενη φάση της δημιουργίας δεδομένων.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Στρατηγική προμηθευτή. Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
- Κόστος και προϋπολογισμός. Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
- Κίνδυνος και ασφάλεια. Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
Προσέξτε
- Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
- Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
- Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Επόμενα βήματα
- Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
- Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
- Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
- Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the LAION and Open Datasets quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το LAION και τα Open Datasets;
Το LAION είναι ένας γερμανικός μη κερδοσκοπικός οργανισμός που κυκλοφόρησε τεράστια σύνολα δεδομένων ανοιχτού κειμένου-εικόνας, το πιο διάσημο LAION-5B, το οποίο τροφοδότησε την εκπαίδευση ανοιχτών μοντέλων παραγωγής όπως το Stable Diffusion. Έχει σημασία γιατί έκανε ελεύθερα διαθέσιμα πολυτροπικά δεδομένα κλίμακας ιστού σε ερευνητές εκτός μεγάλων εταιρειών.
Τι διανέμει κυρίως το LAION στα σύνολα δεδομένων εικόνας-κειμένου του;
Το LAION δεν φιλοξενεί εικόνες. διανέμει διευθύνσεις URL και μεταδεδομένα, ώστε οι χρήστες να ανακτούν εικόνες από τις αρχικές τους πηγές Ιστού.
Πόσα περίπου ζεύγη εικόνας-κειμένου υπάρχουν στο LAION-5B;
Το LAION-5B περιέχει περίπου 5,85 δισεκατομμύρια ζεύγη εικόνας-κειμένου, εξ ου και το '5B' στο όνομά του.
Ποιο μοντέλο χρησιμοποίησε η LAION για να φιλτράρει τα ζεύγη εικόνας-κειμένου για ποιότητα στοίχισης;
Η LAION χρησιμοποίησε το CLIP του OpenAI για να μετρήσει την ομοιότητα εικόνας-υπότιτλου και να απορρίψει τα κακώς αντιστοιχισμένα ζεύγη.
Ποιο εξέχον ανοιχτό μοντέλο παραγωγής εκπαιδεύτηκε χρησιμοποιώντας δεδομένα LAION;
Το Stable Diffusion, ένα ανοιχτό μοντέλο κειμένου σε εικόνα, εκπαιδεύτηκε σε δεδομένα εικόνας κειμένου LAION.
Ποιο ζήτημα οδήγησε τη LAION να αποσύρει το LAION-5B τον Δεκέμβριο του 2023;
Οι ερευνητές εντόπισαν διευθύνσεις URL σε ύποπτο CSAM στο LAION-5B. Η LAION απέσυρε το σύνολο δεδομένων και αργότερα περιέγραψε μια αναθεώρηση χρησιμοποιώντας λίστες κατακερματισμού που παρέχονται από συνεργάτες. Αυτό δεν αποδεικνύει ότι κάθε ύποπτος σύνδεσμος ήταν ζωντανός ή ότι κάθε πιθανό επιβλαβές στοιχείο έχει αφαιρεθεί.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα