MemT-1.0 Açık Kaynak Yayınlandı: Hafızayı Modelin İçine Alan Yeni Mimari
Yazar: KOZBA
İçindekiler
MemTensor ekibi (MemOS geliştiricileri), hafızayı modelin dışında bir ek değil, hesaplamanın içinde bir yetenek olarak konumlandıran MemT-1.0 ailesini açık kaynak olarak yayınladı. İki model duyuruldu: MemT-1.0-Nano ve MemT-1.0-Flash. Teknik rapor arXiv'te (2610.26825), kod ve ağırlıklar Hugging Face ile GitHub üzerinde erişilebilir durumda.
Mimari: hafıza modelin içinde
MemT-1.0, Metis üzerine inşa edilmiş bir "hafıza temelli model" mimarisi. Her tur içinde kararlı, token düzeyinde hafıza güncellemesi yapan Gated DeltaNet-2 kullanılıyor. Kapasiteyi büyütmek için Mixture-of-Storage (MoS) adı verilen bir yapı eklenmiş. Eğitim iki aşamalı: sürekli ön eğitim ve ardından son eğitim; toplam 34 milyar token veri kullanılmış.
Kritik tasarım kararı şu: kalıcı hafıza durumu sabit boyutta kalıyor. Yani konuşma uzadıkça bağlam penceresi gibi şişmiyor. Projenin ölçümüne göre 128K token geçmiş uzunluğunda MemT-1.0-Nano, tam bağlam KV önbelleğine kıyasla yaklaşık 1,86 kat uçtan uca çıkarım hızlanması ve kalıcı depolamada 66 kat azalma sağlıyor.
Model ailesi
- MemT-1.0-Nano: Qwen3.6-35B-A3B omurga; 36 milyar toplam parametre, 3 milyar aktif parametre, 451 milyon eğitilebilir hafıza parametresi, 10 milyon dinamik hafıza durumu.
- MemT-1.0-Flash: DeepSeek-V4-Flash omurga; 288 milyar toplam, 17 milyar aktif parametre, 3,61 milyar eğitilebilir hafıza parametresi, 336 milyon dinamik hafıza durumu.
Nano'nun iki grafik kartıyla çalıştırılabildiği, yani görece mütevazı donanımda denendiği belirtiliyor. Flash ise çok daha büyük kaynak gerektiriyor.
Hafıza testlerinde sonuç
11 hafıza kıyaslama setinde MemT-1.0-Flash birinci, MemT-1.0-Nano ikinci sırada - ancak bu sıralama yalnızca "parametrik hafıza" yöntemleri arasında. Metin tabanlı hafıza sistemleri genel toplamda hâlâ önde; özellikle uzun geçmişlerde ayrıntılı kanıt getirmeyi gerektiren görevlerde fark açılıyor. Ekibin kendi raporu da bu sınırı açıkça kabul ediyor.
Yani iddia "en iyi hafıza modeli" değil, "hafızayı dışarıda metin olarak taşımadan benzer performans" iddiası. Bu ayrım, değerlendirme okurken kritik.
Ajan kodlamada deneyim aktarımı
En ilgi çekici bölüm, kodlama ajanlarının geçmiş deneyimden öğrenmesi. Klasik yöntemde geçmiş çözümlerden çıkarılan "deneyim" metin olarak bağlama ekleniyor; bu da zaten büyüyen bağlamı daha da şişiriyor. MemT-1.0 deneyimi doğal hafızaya yazıyor ve bağlamda metin taşımıyor.
SWE-bench Verified'ta (500 görev) her görev üç kez bağımsız çalıştırıldı. Deneyimsiz omurga Qwen3.6-35B-A3B ortalama yüzde 66,07 başarı ve yüzde 54,00 "üç koşuda da doğru" (pass^3) oranı üretiyor. Metin olarak deneyim verildiğinde ortalama yüzde 68,87 ve pass^3 yüzde 61,60. MemT-1.0-Nano, deneyim çalıştırma öncesi hafızaya yazıldığında yüzde 69,33 ortalama ve yüzde 61,60 pass^3'e ulaşıyor; süreç içinde (harness tetiklemeli) yazıldığında yüzde 69,73 ortalama ve yüzde 62,80 pass^3.
Yani üç koşuda da çözülen görev oranı 54,00'dan 62,80'e çıkıyor: 8,8 puanlık artış. Çok dilli sette (SWE-bench Multilingual, 300 görev, 9 dil) ortalama başarı yüzde 60,00'dan 63,56'ya, pass^3 yüzde 45,33'ten 55,33'e yükseliyor.
Dikkat edilmesi gereken nokta: "en az bir kez çözülen" görev oranı (pass@3) tutarlı biçimde artmıyor. Kazanç daha çok tekrarlanabilirlikte, yani aynı görevi her seferinde çözme istikrarında. Bu, ajanların üretimde kullanılması için aslında en çok istenen özellik.
Sınırlar ve lisans
Model ailesi açık kaynak olarak duyurulsa da lisans ticari kullanımı kapsamıyor: teknik rapor CC BY-NC-SA 4.0, depo yazılımı (SGLang entegrasyonu dahil) PolyForm Noncommercial 1.0.0 ile lisanslı. Ticari kullanım için yazarlarla iletişime geçilmesi gerekiyor. Ağırlıkların ve veri setlerinin lisansları ayrıca belirtilecek.
İkinci sınır, hafızanın neyi sakladığı: sabit boyutlu durum, uzun geçmişte ayrıntılı kanıt gerektiren sorularda metin tabanlı sistemlere karşı dezavantaj yaratıyor. Yani "hafıza" ile "arama" birbirinin yerine geçmiyor.
Kimler için anlamlı?
Uzun soluklu ajanlar kuran ekipler, her turda geçmiş konuşmayı yeniden göndermek yerine sabit maliyetli bir hafıza durumu taşımak isteyebilir. Aynı görevi tekrar tekrar çalıştıran kod ajanları için istikrar artışı doğrudan maliyet ve güvenilirlik anlamına geliyor. Buna karşılık ticari üründe kullanmak isteyenler için lisans engeli var; araştırma ve deney amaçlı kullanım daha uygun.
Sonuç
MemT-1.0, "hafızayı bağlama yaz" yaklaşımına alternatif, ölçülebilir bir yol öneriyor: sabit boyutlu içsel durum, 66 kata varan depolama tasarrufu ve ajan görevlerinde tekrarlanabilirlik artışı. Raporun kendi verileri, metin tabanlı hafızanın ayrıntılı kanıt gerektiren işlerde hâlâ önde olduğunu gösteriyor; bu yüzden iki yaklaşımın bir arada kullanılması kısa vadede en gerçekçi senaryo.