SıradakiSonraki rehber
Derinliklerin Karışımı
Dil Yapay Zeka
Dil AI KILAVUZU
Aracıların Karışımı (MoA), birkaç dil modelinin yanıtları tasarladığı ve ardından bir toplayıcı modelin en iyi fikirlerini tek bir gelişmiş yanıtta birleştirdiği bir tekniktir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Açık modellerden oluşan bir ekibin tek bir üst düzey modele rakip olmasını veya onu yenmesini sağlar.
Together AI'nın 2024 tarihli bir makalesinde tanıtılan Mixture-of-Agents, birden fazla LLM'yi katmanlar halinde düzenler. İlk katmanda, çeşitli 'teklif sahibi' modellerin her biri bağımsız olarak istemi yanıtlar. Çıktıları daha sonra birleştirilir ve bir sonraki katmana aktarılır; burada modeller artık önceki tüm taslaklara göre yeniden yanıt verir. Bu tür bir veya daha fazla turdan sonra, nihai bir 'toplayıcı' model, her şeyi tek bir yanıtta sentezler. Yazarların 'LLM'lerin işbirlikçiliği' olarak adlandırdığı temel fikir, modellerin akranlarının cevapları gösterildiğinde, kusurlu olsa bile daha iyi tepkiler üretmesidir. AlpacaEval 2.0 değerlendirmesinde, tamamen açık kaynaklı modellerden oluşturulan bir MoA'nın GPT-4 Omni'nin puanını aştığı, çeşitli, daha ucuz modellerin dikkatli bir şekilde bir araya getirilmesinin tek bir sınır sistemini yenebileceğini gösterdiği bildirildi.
Teklif verenler olarak üç farklı açık sohbet modelini birleştirmek, ardından gösterişli bir müşteri desteği yanıtı üretmek için güçlü bir toplayıcı kullanmak.
Yalnızca açık kaynaklı modeller kullanılarak AlpacaEval tarzı kıyaslamalarda talimat takip puanlarının artırılması.
Çeşitli modellerden gelen çeşitli kod önerilerini tek, daha sağlam bir işlev uygulamasında birleştiriyor.
Verilerin bir şirketin sunucularından ayrılamayacağı gizliliğe duyarlı bir dağıtım için sınır kalitesine yaklaşan açık ağırlıklı bir işlem hattının çalıştırılması.
Çıkarım ucuzladıkça ve düzenleme çerçeveleri olgunlaştıkça MoA tarzı toplamanın yayılmasını bekleyin. Araştırma talimatları arasında, sorgu başına hangi teklif verenlere güvenileceğinin öğrenilmesi (yönlendirme), teklif verenleri paralel olarak çalıştırarak ve zayıf olanları erkenden budayarak gecikme cezasını azaltma ve toplayıcının yalnızca metni değil eylemleri ve alınan kanıtları birleştirmesi için MoA'yı araç kullanan aracılarla birleştirme yer alır. Açık modeller çoğaldıkça, bunların akıllıca bir araya getirilmesi, tek bir dev model olmadan, sınır düzeyinde kaliteye giden giderek daha pratik bir yol haline geliyor.
Ücretsiz bülten
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Aracıların Karışımı (MoA), birkaç dil modelinin yanıtları tasarladığı ve ardından bir toplayıcı modelin en iyi fikirlerini tek bir gelişmiş yanıtta birleştirdiği bir tekniktir. Açık modellerden oluşan bir ekibin tek bir üst düzey modele rakip olmasını veya onu yenmesini sağlar.
Toplayıcı, tüm aday yanıtlarını okur ve birleştirilmiş, daha yüksek kaliteli bir yanıt oluşturur.
Yazarlar, modellerin diğer modellerin taslaklarına, hatta kusurlu taslaklara göre koşullandırıldığında cevaplarını iyileştirdiğini gözlemliyor.
Oy vermenin aksine, MoA yalnızca mevcut bir yanıtı seçmez; adayları harmanlayan yeni bir yanıt üretir.
Çeşitli teklif sahipleri daha fazla alan kaplayarak toplayıcıya birleştirilecek daha zengin bir fikir seti ve filtrelenecek hatalar sağlar.
Her katman daha fazla LLM çağrısı ekler, böylece MoA daha iyi yanıt kalitesi için ekstra bilgi işlem ve zaman harcar.
Öğrenmeye devam et
Bu konu için daha fazla rehber seçildi
SıradakiSonraki rehber
Derinliklerin Karışımı
Dil Yapay Zeka