Als nächstesNächster Leitfaden
Gewichte und Voreingenommenheiten
Unternehmen
Leitfaden für Unternehmen
EleutherAI
EleutherAI ist ein gemeinnütziges Basisforschungskollektiv, das Pionierarbeit für Open-Source-Modelle für große Sprachen geleistet hat, als die Grenz-KI hinter Unternehmensmauern eingeschlossen war.
Auf dieser Seite2 Minuten gelesen
Übersicht
Es hat sich gezeigt, dass eine Freiwilligengemeinschaft Modelle entwickeln und frei veröffentlichen kann, die mit geschlossenen Systemen konkurrieren, und so neu bestimmen kann, wer an der KI-Forschung teilnehmen darf.
Tiefer Einblick
EleutherAI begann im Juli 2020 als Discord-Community, die von Connor Leahy, Sid Black und Leo Gao organisiert wurde und ursprünglich darauf abzielte, GPT-3 von OpenAI nachzubilden. Um solche Modelle zu trainieren, erstellten und veröffentlichten sie zunächst The Pile, einen 825 GB großen, kuratierten Textdatensatz, der zu einem standardmäßigen offenen Trainingskorpus wurde. Anschließend veröffentlichten sie GPT-Neo, GPT-J-6B und das 20 Milliarden Parameter GPT-NeoX-20B, eines der größten offen verfügbaren Sprachmodelle ihrer Zeit. Ihre Tools, darunter die GPT-NeoX-Schulungsbibliothek und das LM Evaluation Harness, die branchenweit für Benchmarking verwendet werden, wurden zu einer Infrastruktur, auf der andere aufbauten. Im Jahr 2023 wurde EleutherAI als gemeinnütziges Forschungsinstitut formalisiert und erweiterte sein Angebot um Interpretierbarkeit, Ausrichtung und die Wissenschaft, wie Modelle lernen.
Strategische Auswirkungen
Anbieterstrategie
Anbieter-Roadmaps beeinflussen, welche Funktionen Ihr Team als Nächstes entwickeln kann.
Kosten und Budget
Kommerzielle Bedingungen und Bereitstellungsoptionen wirken sich auf die langfristigen Kosten und Risiken aus.
Risiko und Sicherheit
Unternehmensanreize prägen Produktstandards, Sicherheitslage und Offenheit.
Die Zukunft von EleutherAI
EleutherAI verlagert sich von einem reinen Modellskalierungswettlauf hin zu Interpretierbarkeit, Trainingsdatentransparenz und strenger Auswertung, Bereichen, in denen offene Wissenschaft am dringendsten benötigt wird. Erwarten Sie weitere Arbeiten zum Verständnis dessen, was Modelle intern darstellen, die Veröffentlichung gut dokumentierter Datensätze und die Unterstützung unabhängiger Sicherheitsforschung. Da Grenzlabore immer geheimer werden, ist die Rolle von EleutherAI als Gegengewicht im öffentlichen Interesse, das die nächste Generation von Forschern ausbildet, wahrscheinlich wichtiger als die Parameteranzahl eines einzelnen von ihm ausgelieferten Modells.
Reale Umsetzung
Der Pile-Datensatz wird von Forschern weltweit verwendet, um offene Sprachmodelle reproduzierbar zu trainieren und zu studieren.
GPT-J-6B und GPT-NeoX-20B werden von Startups und Akademikern als kostenlose Alternativen zu kommerziellen API-Modellen eingesetzt.
Das LM Evaluation Harness ist das Standardtool, das viele Labore verwenden, um die Modellleistung bei Hunderten von Aufgaben zu bewerten.
Unabhängige Sicherheits- und Interpretierbarkeitsforscher nutzen die offenen Gewichte von EleutherAI, um Modellinterna zu untersuchen, die geschlossene APIs verbergen.
Risiken und Leitplanken
Markteinführungsankündigungen können die Stabilität realer Produktionsabläufe übertreffen.
API-Preise oder Richtlinienänderungen können Annahmen über Nacht zunichte machen.
Die Abhängigkeit von einem einzigen Anbieter erhöht die Bindungs- und Migrationskosten.
Implementierungs-Roadmap
Bewerten Sie Anbieter anhand Ihrer eigenen Aufgaben und Datensätze.
Lesen Sie vor der Integration Datenschutz, Sicherheit und rechtliche Bestimmungen.
Pflegen Sie einen Fallback-Plan für alle Modelle oder Anbieter.
Überwachen Sie die Versionshinweise, damit Roadmap-Änderungen die Teams nicht überraschen.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Häufig gestellte Fragen
Was ist EleutherAI?
EleutherAI ist ein gemeinnütziges Basisforschungskollektiv, das Pionierarbeit für Open-Source-Modelle für große Sprachen geleistet hat, als die Grenz-KI hinter Unternehmensmauern eingeschlossen war. Es wurde bewiesen, dass eine Freiwilligengemeinschaft Modelle erstellen und frei veröffentlichen kann, die mit geschlossenen Systemen konkurrieren, und so neu bestimmen kann, wer an der KI-Forschung teilnehmen darf.
Wie begann EleutherAI ursprünglich im Jahr 2020?
EleutherAI begann als informelles Discord-Kollektiv von Freiwilligen, das organisiert wurde, um das damals geschlossene GPT-3 nachzubilden.
Was ist „Der Haufen“?
Der Stapel ist ein großes, vielfältiges, offen veröffentlichtes Textkorpus, das EleutherAI zum Trainieren und Studieren von Sprachmodellen erstellt hat.
Welches davon ist ein EleutherAI-Sprachmodell?
GPT-NeoX-20B ist eines der offenen Flaggschiffmodelle von EleutherAI. die anderen stammen von Google oder Meta.
Wofür wird das LM Evaluation Harness verwendet?
Der Harness ist ein weit verbreitetes offenes Tool zur standardisierten Bewertung von Sprachmodellen anhand von Hunderten von Benchmarks.
Wie hat EleutherAI frühzeitig die Rechenleistung erhalten, um große Modelle zu trainieren?
Da es kein Unternehmensrechenzentrum gab, war EleutherAI beim Trainieren seiner Modelle auf von Sponsoren gespendete TPU- und GPU-Ressourcen angewiesen.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt