Düşünce İskeleti Paralel Kod Çözme
Düşünce İskeleti (SoT), önce bir dil modelinden cevap noktalarının kısa bir iskeletini çizmesini isteyen, ardından her noktayı paralel olarak genişleten bir yönlendirme ve kod çözme tekniğidir.
Genel Bakış
It matters because it can cut the wall-clock latency of long answers by roughly 2x without retraining the model.
Derin Dalış
Büyük dil modelleri normalde bir seferde bir belirteç üretir, bu nedenle uzun bir yanıt yavaştır çünkü her sözcük bir öncekini bekler. Tsinghua ve Microsoft araştırmacıları tarafından 2023'te tanıtılan Düşünce İskeleti, çalışmayı yeniden yapılandırıyor. İlk çağrıda modelden kısa bir iskelet istenir: her biri yalnızca birkaç kelimeden oluşan 3 ila 10 noktalı başlıklardan oluşan numaralandırılmış bir liste. İkinci bir çağrı grubu daha sonra her noktayı bağımsız ve eş zamanlı olarak genişletir çünkü noktalar birbirine bağlı değildir. Genişletmeler nihai yanıtta bir araya getirilir. Yavaş genişletme aşaması paralel olarak çalıştığından, ipuçlarının listelenmesi veya seçeneklerin karşılaştırılması gibi yanıtları doğal olarak bağımsız bölümlere ayrılan sorular için toplam gecikme keskin bir şekilde düşer.
Teknik Bilgi
SoT, kod çözücü çıkarımının her zaman hesaplamaya bağlı değil, gecikmeye bağlı olduğundan yararlanır: tek bir istek genellikle GPU'nun gereğinden az kullanılmasına neden olur. Nokta genişletmelerini toplu olarak çalıştırmak, donanımı meşgul eder ve nokta başına üretimle örtüşür. API modellerinde genişletmeler eşzamanlı istekler halinde yayınlanır; yerel modellerle toplu ileri geçişi paylaşıyorlar. İskelet aşaması sabit bir kısa ek yük ekler, böylece net hızlanma yanıt uzunluğu ve bağımsız noktaların sayısıyla birlikte artar.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Düşünce İskeleti Paralel Kod Çözmenin Geleceği
SoT fikirlerinin uyarlanabilir yönlendirmeyle birleşmesini bekleyin: Sistemler, bir sorgunun temiz bir şekilde ayrıştığını algılayacak ve paralel genişletmeye geçerek matematik kanıtları gibi sıkı bağımlı görevler için sıralı akıl yürütmeye geri dönecektir. Dinamik grafik bağımlılıklarına sahip SoT gibi değişkenler, birbirine referans veren noktalara izin verir. Hizmet çerçeveleri yerel toplu alt istek desteği ve spekülatif kod çözme ekledikçe paralel ayrıştırma stratejileri, manuel bir istem hilesi yerine standart bir gecikme azaltma katmanı haline gelecektir.
Gerçek Dünya Uygulaması
Sekiz ipucunun tamamını aynı anda genişleterek "bulut maliyetlerini azaltmak için bana 8 ipucu ver" yanıtını veren bir sohbet robotunu hızlandırmak.
Daha düşük yanıt gecikmesine sahip yapılandırılmış, çok bölümlü bir sorun giderme kılavuzu oluşturan bir müşteri destek asistanı.
Her bir madde işaretinin aynı anda doldurulduğu bir karşılaştırma yanıtı (iki ürünün artıları ve eksileri) üretmek.
Uzun form oluşturma sırasında GPU kullanımını artırmak için bağımsız yanıt bölümlerini gruplayan arka uç hizmet sistemleri.
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Skeleton-of-Thought Parallel Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
MaskGIT Paralel Token Kod Çözme
Sık sorulan sorular
What is Skeleton-of-Thought Parallel Decoding?
Düşünce İskeleti (SoT), önce bir dil modelinden cevap noktalarının kısa bir iskeletini çizmesini isteyen, ardından her noktayı paralel olarak genişleten bir yönlendirme ve kod çözme tekniğidir. Bu önemli çünkü modeli yeniden eğitmeden uzun yanıtların duvar saati gecikmesini kabaca 2 kat azaltabiliyor.
Düşünce İskeleti'nin ilk aşaması ne üretir?
SoT ilk önce modeli nokta başlıklarından oluşan kısa bir çerçeve oluşturmaya yönlendirir ve bunlar daha sonra ayrı ayrı genişletilir.
Nokta genişletme aşaması neden paralel olarak yürütülebilir?
İskelet noktaları bağımsız olacak şekilde tasarlanmıştır, dolayısıyla bunları genişletmek kardeşleri beklemeyi gerektirmez.
Normal LLM kod çözmede ana darboğaz SoT hedefleri nedir?
Standart kod çözme gecikmeye bağlıdır çünkü her jeton bir öncekini bekler; SoT örtüşmeleri duvar saati süresini azaltmak için çalışır.
SoT en büyük hızlandırmayı hangi soru türünde sağlar?
Her parça aynı anda genişlediğinden, birçok bağımsız parçaya ayrılan yanıtlar en fazla faydayı sağlar.
SoT, tek bir sıralı nesile kıyasla ne kadar ek yük katıyor?
İskelet aşaması, uzun yanıtlardaki paralel genişlemeyle ağır basan küçük bir sabit gecikme ekler.