Genel Bakış
Doğrudan Tercih Optimizasyonu (DPO), ayrı bir ödül modeli eğitmeden veya takviyeli öğrenmeyi çalıştırmadan, dil modellerini insan tercihleriyle uyumlu hale getirmenin bir yoludur. Karmaşık, çok aşamalı bir boru hattını tek ve istikrarlı bir eğitim kaybına dönüştürür.
Doğrudan Tercih Optimizasyonu, metni ve konuşmayı uygun ölçekte okumak, oluşturmak, sınıflandırmak ve dönüştürmek için kullanılan dil yapay zeka yığınının bir parçasıdır.
Derin Dalış
Rafailov ve Stanford'daki meslektaşları tarafından 2023'te tanıtılan DPO, insanların tercih ettiği bir modeli nasıl öğrettiğimizi yeniden düşünüyor. Geleneksel yaklaşım (RLHF), insan karşılaştırmaları üzerine bir ödül modeli eğitir ve ardından bu ödülü en üst düzeye çıkarmak için takviyeli öğrenmeyi kullanır. DPO'nun temel görüşü matematikseldir: Bu RLHF hedefi kapsamındaki en uygun politikanın ödülle kapalı formda bir ilişkisi vardır, böylece denklemleri yeniden düzenleyebilir ve dil modelini doğrudan tercih çiftleri üzerinde optimize edebilirsiniz. Ona bir uyarı, bir 'seçilmiş' (tercih edilen) yanıt ve bir 'reddedilmiş' yanıt verirsiniz ve basit bir sınıflandırma tarzı kayıp, seçilen yanıtı nispeten daha olası hale getirmek için modeli dürtükler. Ödül modeli yok, örnekleme döngüsü yok, ödül hackleme yok. Çalıştırılması çok daha basit ve daha kararlı.
Teknik Bilgi
DPO, tercih çiftleri üzerinde ikili çapraz entropi kaybını kullanır. Seçilen yanıtın reddedilen yanıta göre log-olasılık oranını artırır; her biri donmuş bir referans modeline (genellikle denetimli-ince ayarlı başlangıç noktası) göre ölçülür. Bir sıcaklık parametresi beta, politikanın bu referanstan ne kadar uzaklaşabileceğini kontrol ederek RLHF'nin açıkça uyguladığı KL kısıtlamasını örtülü olarak zorlar. Ödül asla gerçekleşmez; politikanın kendi günlük olasılıklarında örtülüdür.
Doğrudan Tercih Optimizasyonunda Uzmanlaşma
Doğrudan Tercih Optimizasyonu (DPO), ayrı bir ödül modeli eğitmeden veya takviyeli öğrenmeyi çalıştırmadan, dil modellerini insan tercihleriyle uyumlu hale getirmenin bir yoludur. Karmaşık, çok aşamalı bir boru hattını tek ve istikrarlı bir eğitim kaybına dönüştürür. Doğrudan Tercih Optimizasyonu, metni ve konuşmayı uygun ölçekte okumak, oluşturmak, sınıflandırmak ve dönüştürmek için kullanılan dil yapay zeka yığınının bir parçasıdır. Derin bir anlayış oluşturmak için Doğrudan Tercih Optimizasyonunu tek bir özellik olarak değil, bir işletim modeli olarak ele alın: arzu edilen sonuçları tanımlayın, varsayımları netleştirin ve sistemin güvenilir bir şekilde yapabileceklerini hâlâ uzman görüşü gerektiren şeylerden ayırın.
Uygulamada, Doğrudan Tercih Optimizasyonu tasarımını kullanan güçlü ekipler, tek bir entegre iletişim sistemi olarak döngüleri yönlendirir, alır ve gözden geçirir. Açık başarı kriterlerini belgeliyorlar, gerçekçi verilere ve iş akışlarına göre test ediyorlar ve tek seferlik kıyaslama kazanımları yerine gözlemlenen başarısızlık modellerine dayalı olarak yineleniyorlar. Burası teorik anlayışın ürün, politika ve operasyonlar genelinde dayanıklı yeteneğe dönüştüğü yerdir.
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir. Aynı zamanda Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir. En dayanıklı yaklaşım, deneme hızını yönetişim disiplini ile birleştirmektir: pilot uygulamaları çalıştırın, kanıtları toplayın, karar günlüklerini yayınlayın ve model davranışı, kullanıcı beklentileri ve düzenleyici gereksinimler geliştikçe koruma önlemlerini sürekli olarak güncelleyin.
Stratejik Etki
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir. Yüksek kaliteli dağıtımlarda bu, ölçülebilir işletim kurallarına, sahiplik sınırlarına ve yinelenen inceleme ritüellerine dönüştürülür, böylece ekipler belirsizliği ölçeklendirmek yerine güveni ölçeklendirebilir.
Diller ve iletişim tarzları arasında erişimi genişletir.
Diller ve iletişim tarzları arasında erişimi genişletir. Yüksek kaliteli dağıtımlarda bu, ölçülebilir işletim kurallarına, sahiplik sınırlarına ve yinelenen inceleme ritüellerine dönüştürülür, böylece ekipler belirsizliği ölçeklendirmek yerine güveni ölçeklendirebilir.
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir. Yüksek kaliteli dağıtımlarda bu, ölçülebilir işletim kurallarına, sahiplik sınırlarına ve yinelenen inceleme ritüellerine dönüştürülür, böylece ekipler belirsizliği ölçeklendirmek yerine güveni ölçeklendirebilir.
Gerçek Dünya Uygulaması
Tercih veri kümelerinde DPO ile uyumlu hale getirilen Zephyr ve birçok Llama ve Mistral türevi gibi açık ağırlıklı sohbet modellerinde ince ayar yapılması
Sorunlu yanıt yerine güvenli, yararlı yanıtın 'seçildiği' çiftleri kullanarak zararlı veya yararsız çıktıları azaltmak
Geliştirici tarafından derecelendirilmiş karşılaştırmalar kullanarak bir kodlama asistanına hatalı çözümler yerine doğru, iyi belgelenmiş çözümleri tercih etmesini öğretmek
Modellerin ayrıntılı veya halüsinasyonlu özetler yerine kısa ve aslına sadık özetleri tercih etmesi için özetleme stilinin ayarlanması
Uygulama Modelleri
Uygulamada Doğrudan Tercih Optimizasyonu
Tercih veri kümelerinde DPO ile uyumlu hale getirilen Zephyr ve birçok Llama ve Mistral türevi gibi açık ağırlıklı sohbet modellerine ince ayar yapıldı.
Tercih veri kümelerinde DPO ile uyumlu hale getirilen Zephyr ve birçok Llama ve Mistral türevi gibi açık ağırlıklı sohbet modellerinde ince ayar yapılması Ekipler genellikle kalite eşiklerini önceden belirlediklerinde, uç durumlar için insani bir yükseltme yolunu tuttuklarında ve zaman içinde hem üretkenlik kazanımlarını hem de hata maliyetlerini takip ettiklerinde daha iyi sonuçlar elde ederler.
Uygulamada Doğrudan Tercih Optimizasyonu
Sorunlu yanıt yerine güvenli, yararlı yanıtın 'seçildiği' çiftleri kullanarak zararlı veya yararsız çıktıları azaltmak.
Sorunlu cevap yerine güvenli, yararlı cevabın 'seçildiği' çiftleri kullanarak zararlı veya faydasız çıktıları azaltmak Ekipler genellikle kalite eşiklerini önceden tanımladıklarında, uç durumlar için insani bir yükseltme yolu tuttuklarında ve zaman içinde hem üretkenlik kazanımlarını hem de hata maliyetlerini takip ettiklerinde daha iyi sonuçlar elde ederler.
Uygulamada Doğrudan Tercih Optimizasyonu
Geliştiricinin derecelendirdiği karşılaştırmaları kullanarak bir kodlama asistanına hatalı çözümler yerine doğru, iyi belgelenmiş çözümleri tercih etmesini öğretmek.
Geliştirici tarafından derecelendirilmiş karşılaştırmalar kullanarak bir kodlama asistanına hatalı çözümler yerine doğru, iyi belgelenmiş çözümleri tercih etmesini öğretmek Ekipler genellikle kalite eşiklerini önceden belirlediklerinde, uç durumlar için insani bir yükseltme yolu tuttuklarında ve zaman içinde hem üretkenlik kazanımlarını hem de hata maliyetlerini takip ettiklerinde daha iyi sonuçlar elde ederler.
Uygulamada Doğrudan Tercih Optimizasyonu
Özetleme stilini, modellerin ayrıntılı veya halüsinasyonlu özetler yerine kısa, aslına sadık özetleri tercih edeceği şekilde ayarlamak.
Özetleme stilini, modellerin ayrıntılı veya halüsinasyonlu özetler yerine kısa, aslına uygun özetleri tercih edeceği şekilde ayarlamak Ekipler genellikle kalite eşiklerini önceden belirlediklerinde, uç durumlar için insani bir yükseltme yolunu tuttuklarında ve zaman içinde hem üretkenlik kazanımlarını hem de hata maliyetlerini takip ettiklerinde daha iyi sonuçlar elde ederler.
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın. Her adımı bir kanıt kapısı olarak değerlendirin: Kriterler karşılanmazsa, kullanıma sunumu duraklatın, boşluğu kapatın ve ancak bundan sonra kullanımı genişletin.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri. Her adımı bir kanıt kapısı olarak değerlendirin: Kriterler karşılanmazsa, kullanıma sunumu duraklatın, boşluğu kapatın ve ancak bundan sonra kullanımı genişletin.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun. Her adımı bir kanıt kapısı olarak değerlendirin: Kriterler karşılanmazsa, kullanıma sunumu duraklatın, boşluğu kapatın ve ancak bundan sonra kullanımı genişletin.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin. Her adımı bir kanıt kapısı olarak değerlendirin: Kriterler karşılanmazsa, kullanıma sunumu duraklatın, boşluğu kapatın ve ancak bundan sonra kullanımı genişletin.