Huawei MACaQ: 122B Model 64 Dakikada 4 Bit

Huawei'nin Computing Systems Lab ekibi, 4 bit ağırlık ve aktivasyon kuantizasyonu için geliştirdiği MACaQ aracını Apache 2.0 lisansıyla açık kaynağa aldı. Proje 10 Kasım 2026'da GitHub'da yayımlandı; yöntemin ayrıntıları arXiv'deki 2611.10649 numaralı makalede anlatılıyor. Deponun öne çıkan iddiası net: 122 milyar parametreli bir model, yalnızca 32,5 GB cihaz belleği kullanılarak 64 dakikada kuantize edilebiliyor.

W4A4 ne demek, neden zor?

Yerel model kullananların indirdiği 4 bit dosyaların çoğu yalnızca ağırlıkları sıkıştırıyor. MACaQ ise W4A4'ü, yani hem ağırlıkları hem aktivasyonları 4 bite indirmeyi hedefliyor. Aktivasyonlar modelin çalışırken ürettiği ara değerler; bunları sıkıştırmak daha zor çünkü hatalar katman katman birikiyor. Yaygın yöntemler bu yüzden bir katmandaki dönüşümü komşu katmanlara taşıyarak çıkarım sırasında ek maliyet doğurmamaya çalışıyor. MACaQ tersini yapıyor: küçük bir kanal başına ölçek ve 32 noktalı blok-Hadamard dönüşümünü çalışma anında, katmanın içinde uyguluyor.

Katman-yerel tasarımın getirisi

Her doğrusal katman bağımsız işlendiği için katmanlar arası bağımlılık kalmıyor. Bu da akış halinde bir kuantizasyon sağlıyor: bellekte aynı anda yalnızca tek katman bulunuyor, modelin geri kalanı ana bellekte bekliyor. Makale, Qwen3.5-122B-A10B modelini tek bir 96 GB GPU'da bu yöntemle işliyor. FP16 ağırlıkları yaklaşık 244 GB tutan model, 32,5 GB tepe bellek kullanımıyla 64 dakikada dönüştürülüyor. Sonuçtaki MXFP4 model 74 GB yer kaplıyor ve aynı 96 GB'lık GPU'da çalışabiliyor. WikiText-2 şaşkınlığı 5,14; tam hassasiyetli modelde bu değer 5,06.

Hız ve kalite rakamları

Qwen3-32B üzerinde vLLM'de batch 1'de saniyede 69,8 token; FP16'da 22,8 token. Yani yaklaşık 3 kat.
Batch 256'da 5.252,8 token/sn'ye karşı 3.061,5 token/sn.
Saf MXFP4'e kıyasla uçtan uca ek yük yalnızca %2,3.
Llama-3-8B'de DuQuant++ ve MR-GPTQ'nun en iyi şaşkınlık değerine 11 kat daha kısa kuantizasyon süresiyle ulaşıyor.

Kalite tarafında tablo tamamen tek yönlü değil. Makalenin IFEval ve MATH-500 tablosunda sonuçlar karışık: MACaQ bazı kolonlarda en iyi kuantize skoru alıyor, bazılarında MR-GPTQ önde. Örneğin Qwen3-32B MATH-500'de MR-GPTQ %97,44 ile MACaQ'nun %97,26'sının önünde. Qwen3.5-35B-A3B IFEval'de ise MACaQ %85,42 ile altı kuantize yöntem arasında dördüncü.

MACaQ-R: mevcut GGUF dosyalarını iyileştirme

Evde model çalıştıranlar için en pratik parça MACaQ-R. Bu araç, hâlihazırda kuantize edilmiş bir GGUF dosyasını alıp ağırlık kodlarını iyileştiriyor; yerel formatları ve blok ölçeklerini koruduğu için sonuç standart llama.cpp kurulumunda açılıyor. Depodaki örnekte Qwen3.6-35B-A3B modelinin Q4_K_XL dosyası 22,36 GB boyutunda kalırken FP16'ya göre KL sapması 0,015731'den 0,013367'ye, yani yaklaşık %15 iyileşmeyle düşüyor.

Hangi arka uçlar destekleniyor?

Dört arka uç listeleniyor: metin üretimi için llama.cpp (2, 3 ve 4 bit GGUF), vLLM (W4A4 veya yalnızca ağırlık), görsel-video-ses üretimi için Diffusers ve konuşma üretimi için PyTorch. Kurulum Linux, Python 3.12 ve her arka uç için ayrı sanal ortam istiyor; llama.cpp tarafında CUDA araç seti gerekiyor. Tam W4A4 hattı, depoyla gelen değiştirilmiş bir llama.cpp çalışma zamanına bağlı; yani tek başına indirilen bir dosya gibi çalışmıyor. Standart kurulumda yalnızca MACaQ-R çıktısı doğrudan açılıyor.

Sınırlar

Makalenin kendi belirttiği en önemli kısıt, tasarımın katman-yerel olması nedeniyle katmanlar arası hata telafisinin mümkün olmaması. Yazarlar bunun ikinci bir geçişle eklenebileceğini, ancak bunun diğer yöntemlerin yavaş sürelerini geri getireceğini söylüyor. MoE deneylerinde de pratiklik nedeniyle yalnızca uzman kuantizasyonu yapılmış. Yine de açık kaynak, Apache 2.0 lisansı ve GGUF çıktısı, tek GPU'da büyük modelleri yerelleştirmek isteyenler için somut bir seçenek oluşturuyor.