SıradakiSonraki rehber
TensorRT ve Çıkarım Motorları
Teknik
Teknik KILAVUZ
Seldon Çekirdeği ve Çıkarım Grafikleri
Seldon Core, göze çarpan bir özelliği olan çıkarım grafikleri ile makine öğrenimi modellerini Kubernetes'te dağıtmaya yönelik açık kaynaklı bir platformdur.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
Derin Dalış
Birçok gerçek üretim kullanım durumu, tek bir model çağrısından fazlasını içerir. Girişi önceden işleyebilir, bir isteği birkaç modelden birine yönlendirebilir, bir topluluk çalıştırabilir ve ardından sonucu sonradan işleyebilirsiniz. Seldon Core bunu bir SeldonDeployment'ta (veya v2 mimarisinde Seldon Core Operator ve MLServer aracılığıyla) tanımlanan bir çıkarım grafiği olarak ifade eder. Grafik, yeniden kullanılabilir bileşen türlerinden oluşturulmuştur: Model tahminler sunar, Transformatör girişleri veya çıkışları değiştirir, Yönlendirici hangi çocuğun çağrılacağına karar verir (A/B testlerini ve çok kollu haydutları etkinleştirir) ve Birleştirici, birleştirme için birden fazla modelden gelen çıktıları toplar. Seldon, önceden paketlenmiş sunucular ve özel Python paketleyicileri aracılığıyla birçok çerçeveyi destekler ve gözlemlenebilirlik ve açıklanabilirlik için zengin ölçümleri, dağıtılmış izlemeyi ve yükten çıkış yapma özelliğini kullanıma sunar.
Gerçek Dünya Uygulaması
Borç veren, özellikleri bir model düğümüne sıcak kodlayan bir Transformer'ı, ardından puanı biçimlendiren bir Transformer'ı tek bir SeldonDeployment olarak zincirler.
Bir medya şirketi, hangi öneri modelinin daha yüksek tıklama ödülü kazandığına dinamik olarak daha fazla trafik göndermek için çok kollu bir haydut çalıştıran bir Yönlendirici düğümü kullanıyor.
Bir ekip, arayan kişiye tek bir karar vermeden önce puanlarının ortalamasını alan bir Birleştirici düğüm ile üç dolandırıcılık modelini birleştirir.
Denetimlere tabi bir sigorta şirketi, Seldon'un yük kayıtlarını ve Alibi açıklayıcılarını bir çıkarım grafiğine ekleyerek her tahminin denetimler için izlenebilmesini ve açıklanabilmesini sağlar.
Seldon Çekirdeğinin Geleceği ve Çıkarım Grafikleri
Seldon, Core v2'nin işlem hattı ve veri akışı tasarımının yanı sıra sürüklenme algılama (Alibi Detect) ve açıklanabilirlik (Alibi Understand) ile daha sıkı bağlantıya sahip modüler, veri merkezli MLOps'a doğru ilerliyor. LLM'ler ve aracılı sistemler, erişim, modeller ve araçların bileşik grafikleri haline geldikçe, çıkarım grafiği soyutlaması doğal olarak bu iş akışlarıyla eşleşir. Karmaşık, çok adımlı yapay zeka sistemlerinin üretimde hata ayıklanabilir ve yönetilebilir kalması için çoklu model sunma verimliliğine, akışa ve standartlaştırılmış gözlemlenebilirliğe daha fazla önem verilmesini bekleyin.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Seldon Core and Inference Graphs quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is Seldon Core and Inference Graphs?
Seldon Core, göze çarpan bir özelliği olan çıkarım grafikleri ile makine öğrenimi modellerini Kubernetes'te dağıtmaya yönelik açık kaynaklı bir platformdur. Yalıtılmış bir model sunmak yerine modelleri, yönlendiricileri, birleştiricileri ve transformatörleri tek bir konuşlandırılabilir hizmet olarak çalışan tek bir yönlendirilmiş grafikte zincirlemenize olanak tanır.
Seldon Core'u tek modelli bir sunucudan ayıran tanımlayıcı özellik nedir?
Seldon Core, modelleri, yönlendiricileri, birleştiricileri ve transformatörleri tek bir hizmet olarak dağıtılan tek bir çıkarım grafiğinde oluşturmanıza olanak tanır.
A/B testlerini etkinleştirerek hangi alt düğüme istek gönderileceğine hangi Seldon grafik bileşeni karar verir?
Bir Yönlendirici, isteklerini çocuklarından birine yönlendirir ve A/B testleri veya çok kollu haydutlar uygulayabilir.
Hangi bileşen türü, birleştirme için birden fazla modelden elde edilen çıktıları bir araya getirir?
Birleştirici, birden fazla alt modelin yanıtlarını tek bir çıktıda birleştirir; topluluklar bu şekilde oluşturulur.
Seldon çıkarım grafiği ne tür bir grafik yapısı oluşturur?
Seldon çıkarım grafikleri, her düğümün standart bir tahmin arayüzüne sahip bir mikro hizmet olduğu, yönlendirilmiş asiklik grafiklerdir.
Seldon Core v2'de hangi sunucu ve protokol grafikte çoklu model hizmetini etkinleştirir?
Core v2, çoklu model sunumu için MLServer ve Açık Çıkarım Protokolünü kullanarak grafiği model sunuculardan ayırır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi