İçindekiler
DeepSeek, kendi üretim hattında çalışan büyük ölçekli çıkarım (inference) çatısını açık kaynağa açtı. Şirket, DeepSeek-V4.1-Flash modelini servis eden DeepInfer çatısını Apache 2.0 lisansıyla yayınladı. Depo, 20 Ekim 2026 itibarıyla 14,7 bin yıldız ve 1,4 bin fork seviyesine ulaştı.
DeepInfer nedir?
DeepInfer, DeepSeek'in bulut hizmetlerinde kullandığı yüksek performanslı çıkarım çatısı. Şirketin açıklamasına göre bu çatı, arka planda yüksek verimlilik ve düşük gecikmeyle çalışan servis altyapısını oluşturuyor. Açık kaynak sürüm, çevrimdışı (offline) çıkarım için gerekli çekirdek özellikleri içeriyor; yani üretim ortamında kullandıkları bileşenlerin tamamı değil, motorun kalbi paylaşılıyor.
Depo 16 Ekim 2026'da oluşturuldu ve sürüm 20 Ekim'de kamuya duyuruldu. Projenin kökleri vLLM'e dayanıyor; ekip, SGLang ve TensorRT-LLM'den de ilham aldıklarını belirtiyor.
Çatının öne çıkan özellikleri
DeepInfer'ın desteklediği yetenekler, doğrudan üretim ölçeğinde karşılaşılan problemlere cevap veriyor:
- Optimize çekirdekler: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ve özel TileLang çekirdekleri.
- Paralelleştirme: Attention tarafında veri paralel (DP) ve dengeli bağlam paralel (CP), MoE tarafında uzman paralel (EP) ve EPLB.
- DSpark ve güven bazlı doğrulama: Taslak tokenlarla çözümlemeyi hızlandırıyor, doğrulamayı güven tahminine göre planlıyor.
- SWA sınırlı yeniden oynatma: Decoder ön dolum işini, yalnızca sınırlı bir kuyruğu yeniden oynatarak azaltıyor.
- Eşzamansız zamanlama: CPU'daki toplu zamanlamayı cihaz yürütmesiyle örtüştürüyor; varsayılan olarak açık.
- Batch-invariant çıkarım ve deterministik örnekleme: Aynı girdi ve örnekleme parametreleriyle aynı çıktıyı üretmeyi hedefliyor.
- Yapılandırılmış çıktı: Üretimi regex, JSON şeması veya EBNF dilbilgisiyle sınırlayabiliyor.
Açık kaynak olmayan parçalar
DeepSeek, tam bir çevrimiçi servis için gereken her şeyi paylaşmadı. Açıklamaya göre KV bellek (cache) sistemi, prefill/decode ayrıştırması ve veri paralel replikalar arasında yük dengeleme şu an açık kaynak sürümde yok. Bu bileşenler şirketin kendi altyapısıyla sıkı biçimde bağlı olduğu için kod dışarıda bırakılmış durumda. Yani DeepInfer'ı tek başına kurup DeepSeek'in üretimdeki servisini birebir kopyalamak mümkün değil; motoru kendi yığınınıza entegre etmeniz gerekiyor.
Rakamlarla DeepInfer
DeepSeek'in soru-cevap dokümanında paylaştığı veriler, ölçeğin büyüklüğünü gösteriyor: tek bir küme günde 155 trilyon token servis ediyor. Şirket, vadi (valley) fiyatlamasında GPU-saat başına 38 dolar gelir elde ettiklerini belirtiyor. Bu iki rakam, çatının neden üretim odaklı tasarlandığını açıklıyor.
Desteklenen donanım ve gereksinimler
Çatı, NVIDIA'nın SM100 GPU'ları ve Huawei'nin Ascend 950 NPU'ları üzerinde çalışıyor. Kurulum için Linux, GCC 13 veya üzeri, Python 3.12, NVIDIA tarafında CUDA 13, Ascend tarafında CANN 9.2 gerekiyor. Varsayılan kontrol noktası deepseek-ai/DeepSeek-V4.1-Flash-1017; ilk çalıştırmada Hugging Face önbelleğine indiriliyor, yerel bir kopyayla çalışmak için ortam değişkeni tanımlanabiliyor.
deepseek-recipe de açıldı
DeepInfer ile birlikte deepseek-recipe adlı bileşen de yayınlandı. Bu araç, yaygın LLM API protokolleriyle model token dizileri arasında dönüşüm yapıyor ve resmî DeepSeek API'siyle aynı davranışı hedefliyor. Üçüncü taraf kurulumların, resmî API ile aynı çıktı davranışını yakalaması için tasarlanmış.
Ne anlama geliyor?
DeepSeek, geçmişte TileLang ve bir dizi çıkarım çekirdeği kütüphanesini açık kaynağa açmıştı. DeepInfer bu zincirin en üst halkası: çekirdeklerden model çalıştırmaya kadar tüm hattı gösteren bir referans. Şirket, gelecekteki DeepSeek modellerinin çıkarım kodunu da aynı depoda açmayı planladığını söylüyor. Kendi sunucusunda V4.1 Flash çalıştırmak isteyen ekipler için bu, resmî bir başlangıç noktası anlamına geliyor; ancak KV bellek ve yük dengeleme gibi parçaları kendilerinin tamamlaması gerekecek.
Kaynak: DeepSeek'in GitHub deposu ve resmî soru-cevap dokümanı (20 Ekim 2026).