KQuant Kuantizasyon Tekniği: Qwen Modellerinde KL Farkı 3,7 Kata Kadar Düşüyor
Yazar: KOZBA
İçindekiler
Apple Silicon üzerinde yerel dil modeli çalıştıran geliştiriciler için yeni bir kuantizasyon tekniği yayınlandı: KQuant. Nace AI tarafından bir üniversite akademisyeniyle birlikte geliştirilen yöntem, K-quant hassasiyetini MLX ekosistemine taşıyor ve aynı boyuttaki standart 4-bit paketlere göre orijinal modele belirgin biçimde daha yakın sonuç veriyor.
Proje iki parçadan oluşuyor: C++/Metal ile yazılmış mlx-kquant eklentisi ve Hugging Face üzerinde yayınlanan kalibre edilmiş model paketleri. Paketler Qwen3.5-4B'den Qwen3.8-Flash-Next 180B'ye kadar farklı boyutları kapsıyor.
KQuant Nedir?
Kuantizasyon, bir modelin ağırlıklarını daha düşük hassasiyette saklayarak bellekte ve diskte yer açma işlemi. Standart MLX yaklaşımı "affine" kuantizasyon kullanıyor: her grup için bir ölçek ve kaydırma değeri tutuluyor. KQuant ise llama.cpp dünyasında yaygın olan K-quant süper blok yapısını ve blok başına tamsayı kodeklerini MLX'e taşıyor.
Teknik olarak eklenti, stok bir mlx tekerleğinin üzerine kq.* ad alanıyla dört çekirdek işlem ekliyor: dequantize, quantized_matmul, gather_qmm ve quantize. Metal çekirdekleri derleme sırasında .metallib dosyasına dönüştürülüyor, yani çalışma zamanında JIT derlemesi yok. Araç zinciri ise mlx-kquant quantize / run / chat / lora / fuse komutlarıyla checkpoint oluşturma, çalıştırma, LoRA eğitimi ve birleştirme imkânı veriyor.
Ölçülen Sonuçlar
Kalite, tam hassasiyetli öğretmen model ile kuantize öğrenci model arasındaki KL ıraksaması (KLD) ile ölçülüyor. Düşük değer, dağılımların birbirine daha yakın olduğu anlamına geliyor. Yayınlanan paketlerdeki karşılaştırmalar şöyle:
- Qwen3.8-Flash-Next 180B: KL 0,067 — mlx-community 4-bit pakette 0,249. Yaklaşık 3,7 kat daha yakın, 5,4 GB daha az dil modeli ağırlığı.
- Qwen3.5-9B: KL 0,030 — 4-bit karşılığında 0,081. Yaklaşık 2,7 kat, yüzde 5 daha büyük paket.
- Qwen3.6-35B-A3B: KL 0,059 — 4-bit karşılığında 0,096. Yaklaşık 1,6 kat, aynı boyut.
- Qwen3.8-27B: KL 0,035 — 4-bit karşılığında 0,054. Yaklaşık 1,5 kat, aynı boyut.
- Qwen3.5-4B: KL 0,048 — lmstudio 4-bit pakette 0,070. Yaklaşık 1,5 kat, aynı boyut.
5-bit katmanı da yayınlandı: Qwen3.5-9B Q5'te KL 0,010 ve 6,21 GB, Qwen3.8-27B Q5'te KL 0,022 ve 19,43 GB dil modeli ağırlığı, Qwen3.6-35B-A3B Q5'te KL 0,027 ve 22,1 GB. Yani bir bit yukarı çıkmak, kaliteyi 4-bit seviyesinin çok altına indiriyor.
KL Iraksaması Neden Önemli?
KL değeri soyut görünse de pratik bir karşılığı var. Ölçümler wikitext-103 üzerinde, llama.cpp'nin --kl-divergence protokolüyle uyumlu biçimde yapılıyor ve değer "nat" cinsinden okunuyor. 0,006 nat yaklaşık yüzde 0,6, 0,06 nat yaklaşık yüzde 6 token başına olasılık cezası anlamına geliyor.
Bu yüzden 180B'lik bir modelde 0,249 ile 0,067 arasındaki fark, kağıt üzerinde küçük görünen ama uzun kod veya ajan oturumlarında biriken bir bozulma farkı. Ölçüm tarafında mlx-kld aracı, öğretmen modelin logitlerini diskte önbelleğe alarak yirmi öğrenci modelini tek maliyetle puanlamaya izin veriyor; ayrıca p50 ve p99 persentilleriyle hasarın kuyrukta mı yoksa her tokenda mı yoğunlaştığını gösteriyor.
Apple Silicon'da Nasıl Kullanılır?
En kısa yol, hazır paketleri indirmek. Ölçüm yapmak isteyenler için araç zinciri Python tarafında şu komutlarla geliyor:
mqt-quantize-kquant— Q2_K ile Q6_K arası K-quant formatında kuantizasyon.mqt-score-kld— kuantize checkpoint ile öğretmen model arasındaki KL farkını ölçer; GGUF dosyalarını dönüştürmeden puanlayabilir.mqt-inspect-recipe— bir checkpoint'in tensör bazlı kuantizasyon tarifini çıkarır.mqt-make-kld-rollup— birden çok ölçümü sıralı karşılaştırma tablosuna çevirir.
Paketler MLX formatında safetensors olarak geliyor ve mlx-vlm gibi yükleyicilerle uyumlu. Nace AI, 180B'lik Flash-Next paketi için kendi çıkarım motoru Kapitsa'yı işaret ediyor.
Sınırlar ve Dikkat Edilmesi Gerekenler
KQuant sihirli bir çözüm değil. Aynı model içinde farklı tensör tipleri farklı hassasiyet istiyor: dikkat katmanları ve hiper bağlantı katmanları hassas, MLP katmanları daha toleranslı. Qwen3.8-Flash-Next örneğinde 180B'lik model diskte 106 GB yer kaplıyor, GPU belleğine yaklaşık 73 GB giriyor ve 128 GB bir Mac gerekiyor. 32 GB'lık n-gram gömme tablosu diske bellek eşlemeyle okunuyor.
Ayrıca tüm ölçümler Apple Silicon ve MLX özelinde. CUDA ya da farklı çıkarım motorlarında aynı sayıları beklemek doğru olmaz; KL değerleri araçlar arasında mutlak olarak karşılaştırılamıyor.
Kimler İçin Anlamlı?
- Mac üzerinde 27B-35B sınıfı modelleri 4-bit yerine daha yüksek kaliteyle çalıştırmak isteyenler.
- LoRA eğitimi ve birleştirme adımlarını kuantize taban üzerinde yürütmek isteyenler.
- Kuantizasyon kalitesini ölçerek paket seçmek isteyen ekipler.
Sonuç
KQuant, "aynı boyutta daha iyi kalite" iddiasını ölçülebilir KL değerleriyle ortaya koyuyor ve bunu açık araçlarla yapıyor. Yerel çıkarımda bellek sınırına takılan geliştiriciler için en pratik katkı, boyutu büyütmeden kaliteyi artırması. Yine de karar verirken kendi görev setinizde ölçüm yapmanız gerekiyor; çünkü KL ortalaması iyi olan bir paket, kod veya işlev çağırma gibi kuyruk hassas görevlerde farklı davranabilir.