SıradakiSonraki rehber
GPU Bellek Yönetimi ve Parçalanması
Teknik
Teknik KILAVUZ
Bağlam Sıkıştırma ve Konuşma Geçmişi Yönetimi
Konuşma geçmişi yönetimi, uzun bir sohbet veya temsilci oturumunu bir modelin bağlam sınırı altında tutan bir dizi tekniktir.
Bu sayfada4 dakikalık okuma
Genel Bakış
Bunlardan başlıcaları eski dönüşleri bırakmak, önceki kısımları özetlemek, tüm geçmişi yoğunlaştırılmış bir kısa özete sığdırmak ve eski araç çıktılarını temizlemektir. Bu önemlidir çünkü bir dil modelinin, uygulamanın yeniden gönderdiğinin ötesinde çağrılar arasında hafızası yoktur. Tarih pencereyi aştığında bir şeyin kesilmesi gerekir ve kesilen şey asistanın tutarlı kalıp kalmayacağına karar verir.
Derin Dalış
Çoğu sohbet API'si durum bilgisine sahip değildir. Şu ana kadar olan her istek konuşmayı yeniden gönderir ve model bunu sıfırdan okur. Bu nedenle oturum uzadıkça, geçmiş bağlam sınırına ulaşana ve istek başarısız olana veya kesilene kadar jetonlar, maliyet ve gecikme de artar. İlgili ayrıntılar eski malzemelerin arasına gömüldüğü için kalite bu noktadan önce bile düşebilir. En basit strateji, genellikle kayan bir pencere olarak kesmedir: Sistemin hızlı ve en son dönüşleri koruyun ve gerisini bırakın. Ucuz ve öngörülebilirdir ancak kullanıcının başlangıçta belirttiği kısıtlamalar gibi erken gerçekleri unutur. Yaygın olarak yapılan bir iyileştirme, önemli mesajların hiçbir zaman düşürülmemesi için sabitlenmesidir. Devamlı özetleme, eski sıraları, konuşma büyüdükçe güncellenen, modelle yazılmış bir özetle değiştirir. Ana fikri çok daha az tokenda tutar. Bunun maliyeti, özetlerin ayrıntıları kaybetmesi ve hatalara neden olabilmesi ve özetin kendisi yeniden özetlendiğinde bu hataların artmasıdır. Sıkıştırma, aracı araçlarında kullanılan daha bilinçli bir versiyondur. Token kullanımı bir eşiği aştığında sistem modelden hedefi, ilerlemeyi, kararları, açık sorunları ve anahtar dosya adlarını kapsayan yapılandırılmış bir aktarım yazmasını ister. Daha sonra bu aktarım ve en son dönüşlerle yeni bir bağlam başlatır. Örneğin Claude Code kompakt bir komuta sahiptir ve ayrıca sınıra yakın yerlerde otomatik olarak kompaktlaştırabilir. Araç-sonuç temizleme, aracı oturumlarındaki en büyük şişkinlik kaynağını hedefler: aramalardan, dosya okumalarından ve bir zamanlar faydalı olan komutlardan elde edilen büyük çıktılar. Bunları kısa yer tutucularla değiştirmek, alanı boşaltır ve yine de çağrının gerçekleştiğini kaydeder. Harici bellek, gerçekleri bir dosya veya veritabanında saklar ve ilgili olduğunda bunları alır, böylece her türlü düzeltmeden sonra hayatta kalırlar. Yaygın bir yanılgı, modelin sohbetin önceki bölümlerini kendi başına hatırlamasıdır. Herhangi bir süreklilik, uygulamanın yeniden göndermeyi veya almayı seçtiği şeyden gelir.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Kalite kontrolü
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Bağlam Sıkıştırma ve Konuşma Geçmişi Yönetiminin Geleceği
Sağlayıcılar platformlarında geçmiş yönetimini oluşturmaya başladı. Özellikler arasında sunucu tarafı konuşma durumu, otomatik sıkıştırma ve eski araç sonuçlarını temizleyen içerik düzenleme yer alır. Bu standart kalıpları ortadan kaldırıyor, ancak geliştiricilerin yine de neyin asla unutulmaması gerektiğine karar vermesi gerekiyor. Uzun bağlamları daha güvenilir bir şekilde kullanan modeller ve oturumlar arasında gerçekleri saklayan ve alan bellek sistemleri üzerindeki araştırmalar devam etmektedir. Sıkıştırma muhtemelen aracı çerçevelerinde varsayılan bir davranış haline gelecektir, ancak ayrıntı ve alan arasındaki ödünleşim ortadan kalkmayacak. Hiçbir yöntem her şeyi ücretsiz olarak saklamaz; dolayısıyla neyin kaybolduğunu test etmek işin bir parçası olarak kalacaktır.
Gerçek Dünya Uygulaması
Bir sohbet robotu, sistemin istemini ve son 20 mesajı saklar ve daha eski olanları bırakır. Bu ucuzdur ancak kullanıcının ilk mesajda verdiği adı ve bütçeyi unutur.
Her 10 turda bir, daha küçük bir model, konuşmanın eski kısmını bağlamın en üstünde yer alan bir paragrafta özetliyor. Bu bir özettir.
Sınırına yaklaşan bir kodlama aracısı bir aktarım yazar: hedef, değişen dosyalar, açık hatalar ve alınan kararlar. Daha sonra bu aktarımı ve en yeni dosyaları içeren yeni bir bağlam başlatır.
Bir aracı, birkaç turdan daha eski arama sonuçlarını '[web arama çıktısı temizlendi: 12 sonuç]' gibi kısa bir yer tutucuyla değiştirir. Temsilci bunlara göre hareket ettikten sonra ham sonuçlara nadiren tekrar ihtiyaç duyulur.
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Context Compaction and Conversation History Management quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Sık sorulan sorular
Bağlam Sıkıştırma ve Konuşma Geçmişi Yönetimi Nedir?
Konuşma geçmişi yönetimi, uzun bir sohbet veya temsilci oturumunu bir modelin bağlam sınırı altında tutan bir dizi tekniktir. Bunlardan başlıcaları eski dönüşleri bırakmak, önceki kısımları özetlemek, tüm geçmişi yoğunlaştırılmış bir kısa özete sığdırmak ve eski araç çıktılarını temizlemektir. Bu önemlidir çünkü bir dil modelinin, uygulamanın yeniden gönderdiğinin ötesinde çağrılar arasında hafızası yoktur. Tarih pencereyi aştığında bir şeyin kesilmesi gerekir ve kesilen şey asistanın tutarlı kalıp kalmayacağına karar verir.
Uzun sohbet oturumları neden giderek daha pahalı hale geliyor?
Durum bilgisi olmayan API'ler her çağrıdaki tüm geçmişi işler. Geçmiş büyüdükçe her isteğin jetonları, maliyeti ve gecikmesi de artar.
Kayar pencere kesmenin temel zayıflığı nedir?
Yalnızca son dönüşleri saklamak ucuz ve öngörülebilirdir, ancak pencereden düşen her şey sabitlenmediği sürece kaybolur.
Dönen özetlemeye özgü risk hangisidir?
Her özetleme turu kayıplıdır. Bir özetteki hata diğerine de yansır, dolayısıyla hatalar uzun bir oturumda birikebilir.
Sıkıştırma, ajan araçlarında tipik olarak ne üretir?
Sıkıştırma, oturumu kasıtlı bir brifingde yoğunlaştırır ve onunla ve en son dönüşlerle yeni bir bağlam başlatır. Temsilci tam geçmiş olmadan devam edebilir.
Temsilci oturumlarında eski araç sonuçlarını temizlemek neden bu kadar etkili?
Araç çıktıları çok büyük olabilir ve genellikle yalnızca bir kez faydalıdır. Bunları yer tutucularla değiştirmek, çok fazla alan boşaltır ve aramanın gerçekleştiğine dair bir kayıt tutar.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi