SıradakiSonraki rehber
AI Diş Röntgeni Boşluk Tespiti
Görsel Yapay Zeka
Teknik KILAVUZ
Dağıtılmış Yapay Zeka için Ray
Ray, Python ve AI iş yüklerini bir dizüstü bilgisayardan binlerce makineden oluşan bir kümeye ölçeklendirmeyi kolaylaştıran açık kaynaklı bir çerçevedir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Bu önemlidir çünkü eğitim, ayarlama, veri işleme ve sunma işlemlerini her biri için kodunuzu yeniden yazmanıza gerek kalmadan dağıtmanın basit ve birleşik bir yolunu sunar.
Derin Dalış
Ray'in temel fikri, sıradan Python fonksiyonlarını ve sınıflarını minimum değişiklikle dağıtılmış birimlere dönüştürmektir. Uzak 'görev' olarak işaretlenen bir işlev, kümedeki herhangi bir çalışan üzerinde eşzamansız olarak çalışır; Uzak bir 'aktör' olarak işaretlenen sınıf, bir işçi üzerinde yaşayan durum bilgisi olan bir hizmet haline gelir. Ray, hafif vadeli işlemleri (nesne referansları) döndürür ve zamanlamayı, paylaşılan bir nesne deposu aracılığıyla veri hareketini ve hata toleransını yönetir. Bu temel amaca yönelik oluşturulmuş kitaplıkların yanı sıra: Dağıtılmış model eğitimi için Ray Train, hiperparametre araması için Ray Tune, akış veri hatları için Ray Data, takviye öğrenimi için RLlib ve ölçeklenebilir model sunumu için Ray Serve. Bu, bir kümenin tüm makine öğrenimi iş akışını uçtan uca yönetmesine olanak tanır.
Gerçek Dünya Uygulaması
En iyi model yapılandırmasını bulmak için bir GPU kümesinde yüzlerce hiperparametre kombinasyonunu paralel olarak aramak için Ray Tune'u çalıştırma
Derin öğrenme modelinin eğitimini minimum kod değişikliğiyle birçok GPU ve düğüme dağıtmak için Ray Train'i kullanma
Milyonlarca kaydın bir kümedeki bir model aracılığıyla akışını sağlayarak puanlanması için Ray Data ile bir toplu çıkarım hattı oluşturma
Değişken üretim trafiğini yönetmek için Ray Serve ile tek bir otomatik ölçeklendirme uç noktasının arkasında birden fazla modelin dağıtılması
Dağıtılmış Yapay Zeka için Ray'in Geleceği
Ray, özellikle büyük dil modellerinin eğitiminde ve sunulmasında kullanılan, büyük ölçekli yapay zekanın omurgası haline geldi. LLM'ye özgü sunumda (vLLM ile Ray Serve), heterojen GPU planlamasında, KubeRay aracılığıyla data lake'ler ve Kubernetes ile daha sıkı entegrasyonda ve ani üretimli iş yükleri için daha iyi otomatik ölçeklendirmede büyüme bekleyebilirsiniz. Modeller büyüdükçe Ray'in çok düğümlü eğitimi, RLHF işlem hatlarını ve binlerce hızlandırıcıda toplu çıkarımı düzenlemedeki rolünün de artması muhtemeldir.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Ray for Distributed AI quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Dağıtılmış Yapay Zeka için Ray nedir?
Ray, Python ve AI iş yüklerini bir dizüstü bilgisayardan binlerce makineden oluşan bir kümeye ölçeklendirmeyi kolaylaştıran açık kaynaklı bir çerçevedir. Bu önemlidir çünkü eğitim, ayarlama, veri işleme ve sunma işlemlerini her biri için kodunuzu yeniden yazmanıza gerek kalmadan dağıtmanın basit ve birleşik bir yolunu sunar.
Ray öncelikle hangi sorunu çözüyor?
Ray, her iş yükü türü için kodunuzu yeniden yazmaya gerek kalmadan hesaplamayı birçok makineye dağıtmanın birleşik ve basit bir yolunu sağlar.
Ray'de 'görev' ile 'aktör' arasındaki fark nedir?
Görevler paralel olarak çalışan durum bilgisi olmayan uzak işlevlerdir; aktörler ise yüklü bir model gibi durumu koruyan uzun ömürlü nesnelerdir.
Uzak bir görevi başlattığınızda Ray hemen neyi döndürür?
Ray, hafif bir geleceğe hemen geri döner, böylece iş eşzamansız olarak yürütülür; Gerektiğinde gerçek sonucu almak için ray.get() işlevini çağırırsınız.
Dağıtılmış hiperparametre araması için hangi Ray kütüphanesi tasarlanmıştır?
Ray Tune, bir küme boyunca birçok hiperparametre denemesini paralel olarak yürütme konusunda uzmanlaşmıştır.
Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi