Ağırlık Uzayı Programlama: Yerel Qwen 3.8 27B Ağırlıkları Okuyabiliyor
Diğer AI Modelleri

Ağırlık Uzayı Programlama: Yerel Qwen 3.8 27B Ağırlıkları Okuyabiliyor

· 3 DK

Yazar: KOZBA

İçindekiler
  1. Ağırlık uzayı programlama nedir?
  2. Makalenin en çarpıcı örneği
  3. Willison'ın dizüstü testi
  4. Yerel model ne yaptı?
  5. Ciddi itirazlar var
  6. Pratik anlamı
  7. Bu bir devrim mi?

Yapay zeka modellerinin ham ağırlıklarını okuyup yorumlayabildiği iddiası, bu hafta yayınlanan bir makaleyle tartışmanın merkezine oturdu. Sparks of Weight-Space Programming başlıklı çalışma, GPT-6 Astra gibi modellerin bir sinir ağının ağırlıklarına bakarak o ağın ne için eğitildiğini anlayabildiğini öne sürüyor. Simon Willison ise aynı deneyi kendi dizüstü bilgisayarında açık ağırlıklı bir modelle tekrarladı ve sonuç kısmen başarılı çıktı.

Ağırlık uzayı programlama nedir?

Bir sinir ağının ağırlıkları, milyonlarca ondalık sayıdan oluşan bir metin dosyası gibi düşünülebilir. Weight-Space Programming, bir dil modelinin bu sayıları okuyup ağın davranışını çıkarsaması ve gerektiğinde ağırlıkları doğrudan düzenlemesi anlamına geliyor. Makalenin yazarları Rikiya Takehi, Jayden Teoh, Alex Zhang ve Omar Khattab, modelin hiçbir araç kullanmadan yalnızca ağırlıklara bakarak küçük oyun ağlarının ne oynadığını bilebildiğini ve sıfırdan oynayan ağlar yazabildiğini belirtiyor.

Makalenin en çarpıcı örneği

Çalışmada anlatılan örneklerden biri Qwen3.5-0.8B modelinin matematik performansıyla ilgili. Astra'nın, modelin kendi kartında da uyarılan akıl yürütme döngüsü sorununu ağırlıklarda tespit ettiği ve ağırlıkların yalnızca %0,016'sını düzenleyerek MATH-500 skorunu %7,9'dan %48,1'e çıkardığı iddia ediliyor. Aynı müdahale, talimat takibi testi IFEval'de üç kat artış sağlıyor. Tüm bunlar modelin eğitim döngüsü yazmasına izin verilmeden yapılıyor.

Willison'ın dizüstü testi

Willison, makalenin kendi deney dosyalarını LLM aracıyla çalıştırdı. Önce Kimi K3.1 Pro ile Breakout istemini denedi: model 9 dakika 41 saniyede, 19.493 akıl yürütme tokenı harcayarak doğru cevabı verdi. Ardından 17 GB'lık Q4_K_M sürümüyle Qwen 3.8 27B'yi LM Studio üzerinde çalıştırdı. Varsayılan 8192 tokenlık bağlam yetersiz kaldığı için bağlamı büyütmek zorunda kaldı.

Yerel model ne yaptı?

Qwen 3.8 27B, Pac-Man istemini 46 dakika 12 saniyede ve 43.506 akıl yürütme tokenıyla doğru bildi; Breakout'u 52 dakika 25 saniyede %88 güvenle tanımladı. Freeway isteminde ise başarısız oldu ve oyunu Pac-Man benzeri bir ızgara oyunu olarak yorumladı. Willison bunun şaşırtıcı olmadığını, çünkü Freeway'in diğer üç oyuna göre çok daha az bilinen bir Atari 2600 oyunu olduğunu söylüyor. Deney, 17 GB'lık bir modelin bir dizüstünde bu tür bir çıkarımı yapabildiğini göstermesi açısından dikkat çekici.

Ciddi itirazlar var

Makale, iki farklı yeteneği birbirine karıştırmakla eleştiriliyor. spaCy'nin yazarı Matthew Honnibal çalışmayı yanıltıcı buluyor: Modelin ağırlıkları araçsız okuması ile kod çalıştırarak başka bir modeli iyileştirmesi aynı şey değil. Sean Goedecke ise Qwen3.5-0.8B örneğini parçalara ayırarak modelin aslında bir insan makine öğrenmesi araştırmacısının izleyeceği adımları attığını savunuyor. Willison da bu eleştirilere kısmen katılıyor ve kaynak kodun devri bitti türü sonuçlara varmak için erken olduğunu söylüyor.

Pratik anlamı

Tartışma akademik görünse de iki pratik sonucu var. Birincisi, açık ağırlıklı modellerin denetlenebilirliği artıyor: Bir modelin ne öğrendiğini anlamak için her zaman dev bir test seti gerekmiyor olabilir. İkincisi, model güvenliği ve lisanslama tartışmaları derinleşecek; ağırlıklar okunabilir ve düzenlenebilir hale geldikçe modelin içeriği kavramı hem hukuken hem teknik olarak yeniden tanımlanmak zorunda kalacak.

Bu bir devrim mi?

Sonuçlar etkileyici ama sınırlı. Deneyler 10x10 ızgarada oynanan dört küçük oyun ağıyla sınırlı ve modeller saatler süren akıl yürütme harcıyor. Yine de iki şey değişti: Ağırlıkları okumak artık yalnızca uzmanların yapabildiği bir iş değil ve yerel donanım bu iş için yeterli olabiliyor. Bu, model denetimi ve açıklanabilirlik araştırmalarında yeni bir kapı açıyor; üretimde güvenilir bir araç olması ise henüz erken.

Paylaş