Seldon Çekirdeği ve Çıkarım Grafikleri
Seldon Core, göze çarpan bir özelliği olan çıkarım grafikleri ile makine öğrenimi modellerini Kubernetes'te dağıtmaya yönelik açık kaynaklı bir platformdur.
Genel Bakış
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
Derin Dalış
Birçok gerçek üretim kullanım durumu, tek bir model çağrısından fazlasını içerir. Girişi önceden işleyebilir, bir isteği birkaç modelden birine yönlendirebilir, bir topluluk çalıştırabilir ve ardından sonucu sonradan işleyebilirsiniz. Seldon Core bunu bir SeldonDeployment'ta (veya v2 mimarisinde Seldon Core Operator ve MLServer aracılığıyla) tanımlanan bir çıkarım grafiği olarak ifade eder. Grafik, yeniden kullanılabilir bileşen türlerinden oluşturulmuştur: Model tahminler sunar, Transformatör girişleri veya çıkışları değiştirir, Yönlendirici hangi çocuğun çağrılacağına karar verir (A/B testlerini ve çok kollu haydutları etkinleştirir) ve Birleştirici, birleştirme için birden fazla modelden gelen çıktıları toplar. Seldon, önceden paketlenmiş sunucular ve özel Python paketleyicileri aracılığıyla birçok çerçeveyi destekler ve gözlemlenebilirlik ve açıklanabilirlik için zengin ölçümleri, dağıtılmış izlemeyi ve yükten çıkış yapma özelliğini kullanıma sunar.
Teknik Bilgi
Çıkarım grafiği, her düğümün standart bir tahmin arayüzüne sahip bir mikro hizmet olduğu ve Seldon'un orkestratörünün (hizmet orkestratörü/yürütücüsü) bir isteği grafik aracılığıyla yönlendirdiği ve yanıtları birleştirdiği, yönlendirilmiş, döngüsel olmayan bir grafiktir. Yönlendiriciler çok kollu haydut mantığını uygulayabildiğinden, trafik, canlı ödül sinyallerine dayalı olarak daha iyi performans gösteren modellere uyarlanabilir bir şekilde kayabilir. Seldon Core v2, MLServer ve Açık Çıkarım Protokolünü kullanarak grafiği ayrı model sunuculardan ayırarak, çoklu model sunumuna ve paylaşılan donanım üzerinde aşırı taahhüte olanak tanır.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Seldon Çekirdeğinin Geleceği ve Çıkarım Grafikleri
Seldon, Core v2'nin işlem hattı ve veri akışı tasarımının yanı sıra sürüklenme algılama (Alibi Detect) ve açıklanabilirlik (Alibi Understand) ile daha sıkı bağlantıya sahip modüler, veri merkezli MLOps'a doğru ilerliyor. LLM'ler ve aracılı sistemler, erişim, modeller ve araçların bileşik grafikleri haline geldikçe, çıkarım grafiği soyutlaması doğal olarak bu iş akışlarıyla eşleşir. Karmaşık, çok adımlı yapay zeka sistemlerinin üretimde hata ayıklanabilir ve yönetilebilir kalması için çoklu model sunma verimliliğine, akışa ve standartlaştırılmış gözlemlenebilirliğe daha fazla önem verilmesini bekleyin.
Gerçek Dünya Uygulaması
Borç veren, özellikleri bir model düğümüne sıcak kodlayan bir Transformer'ı, ardından puanı biçimlendiren bir Transformer'ı tek bir SeldonDeployment olarak zincirler.
Bir medya şirketi, hangi öneri modelinin daha yüksek tıklama ödülü kazandığına dinamik olarak daha fazla trafik göndermek için çok kollu bir haydut çalıştıran bir Yönlendirici düğümü kullanıyor.
Bir ekip, arayan kişiye tek bir karar vermeden önce puanlarının ortalamasını alan bir Birleştirici düğüm ile üç dolandırıcılık modelini birleştirir.
Denetimlere tabi bir sigorta şirketi, Seldon'un yük kayıtlarını ve Alibi açıklayıcılarını bir çıkarım grafiğine ekleyerek her tahminin denetimler için izlenebilmesini ve açıklanabilmesini sağlar.
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Seldon Core and Inference Graphs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
TensorRT ve Çıkarım Motorları
Sık sorulan sorular
What is Seldon Core and Inference Graphs?
Seldon Core, göze çarpan bir özelliği olan çıkarım grafikleri ile makine öğrenimi modellerini Kubernetes'te dağıtmaya yönelik açık kaynaklı bir platformdur. Yalıtılmış bir model sunmak yerine modelleri, yönlendiricileri, birleştiricileri ve transformatörleri tek bir konuşlandırılabilir hizmet olarak çalışan tek bir yönlendirilmiş grafikte zincirlemenize olanak tanır.
Seldon Core'u tek modelli bir sunucudan ayıran tanımlayıcı özellik nedir?
Seldon Core, modelleri, yönlendiricileri, birleştiricileri ve transformatörleri tek bir hizmet olarak dağıtılan tek bir çıkarım grafiğinde oluşturmanıza olanak tanır.
A/B testlerini etkinleştirerek hangi alt düğüme istek gönderileceğine hangi Seldon grafik bileşeni karar verir?
Bir Yönlendirici, isteklerini çocuklarından birine yönlendirir ve A/B testleri veya çok kollu haydutlar uygulayabilir.
Hangi bileşen türü, birleştirme için birden fazla modelden elde edilen çıktıları bir araya getirir?
Birleştirici, birden fazla alt modelin yanıtlarını tek bir çıktıda birleştirir; topluluklar bu şekilde oluşturulur.
Seldon çıkarım grafiği ne tür bir grafik yapısı oluşturur?
Seldon çıkarım grafikleri, her düğümün standart bir tahmin arayüzüne sahip bir mikro hizmet olduğu, yönlendirilmiş asiklik grafiklerdir.
Seldon Core v2'de hangi sunucu ve protokol grafikte çoklu model hizmetini etkinleştirir?
Core v2, çoklu model sunumu için MLServer ve Açık Çıkarım Protokolünü kullanarak grafiği model sunuculardan ayırır.