SGLang-Neuron Yayınlandı: AWS Trainium'da Açık Kaynak Model Servisi
Haberler

SGLang-Neuron Yayınlandı: AWS Trainium'da Açık Kaynak Model Servisi

· 3 DK

Yazar: KOZBA

İçindekiler
  1. Eklenti mimarisi nasıl kurulmuş?
  2. PyTorch ve Neuron Kernel Interface
  3. Prefill-decode ayrıştırması ve EFA
  4. Nasıl başlanır?
  5. Neden önemli?
  6. Pekiştirmeli öğrenme tarafı
  7. Kimler için anlamlı?

AWS, açık kaynak model servis motoru SGLang'ı Trainium çiplerinde çalıştıran SGLang-Neuron eklentisini genel kullanıma açtı. Eklenti, RadixArk tarafından Annapurna Labs iş birliğiyle geliştirildi ve bir AWS Deep Learning Container imajı üzerinden erişilebilir hale geldi.

Kritik nokta şu: geliştiriciler mevcut SGLang iş akışını değiştirmek zorunda kalmıyor. Model, SGLang'ın sunucu arayüzüyle ayağa kaldırılıyor ve aynı üretim API'leriyle çağrılıyor. Altta ise Trainium donanımı, yerel PyTorch üzerinden çalışıyor.

Eklenti mimarisi nasıl kurulmuş?

SGLang-Neuron, "ağaç dışı" (out-of-tree) bir eklenti olarak tasarlanmış. Kurulum, neuron platformunu SGLang'ın eklenti giriş noktalarına kaydediyor; sunucu başlatılırken SGLANG_PLATFORM=neuron değişkeni ayarlanarak seçiliyor.

Bu ayrımın pratik faydası var: SGLang çekirdeği API sunucusunu, istek yaşam döngüsünü, RadixAttention'ı ve önek önbelleği muhasebesini sağlamaya devam ediyor. Trainium'a özgü modeller, dikkat mekanizması, uzman karışımı (MoE) ve grafik çalıştırıcısı ise eklentide yer alıyor. Böylece Trainium desteği ile SGLang çekirdeği birbirinden bağımsız ve daha hızlı gelişebiliyor.

PyTorch ve Neuron Kernel Interface

TorchNeuron, Trainium'u yerel bir PyTorch aygıtı olarak kaydediyor. SGLang-Neuron model yürütme yolunda standart PyTorch işlemlerini kullanıyor, performans için ise Neuron Kernel Interface (NKI) ile yazılmış çekirdekleri devreye alıyor. Bu işlem ve çekirdekler torch.compile ile çalıştırılabilir programlara derleniyor; grafik çalıştırıcısı bunları servis sırasında hazırlayıp yürütüyor.

Prefill-decode ayrıştırması ve EFA

Eklenti, PD ayrıştırmasını (prefill-decode disaggregation) da destekliyor. Bu kurulumda bir prefill sunucusu istemin KV önbelleğini hesaplayıp NIXL üzerinden, Elastic Fabric Adapter (EFA) ağı kullanarak decode sunucusuna aktarıyor. Decode sunucusu kalan token'ları üretiyor. Her iki sunucu da SGLang'ın zamanlayıcısını ve istek yaşam döngüsünü kullanmaya devam ederken, Trainium yürütmesi ve KV önbellek aktarımı eklentinin sorumluluğunda.

Nasıl başlanır?

AWS'nin yürüyüş rehberi Trainium3 tabanlı bir EC2 örneği ve pytorch-inference-sglang-neuronx konteyneri üzerine kurulu. Konteyner imajı public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04 etiketiyle veriliyor.

Örnek kurulumda 120 milyar parametreli openai/gpt-oss-120b modeli, 8'lik tensör paralelliği, 8'lik uzman paralelliği, fp8 KV önbelleği ve 64 eşzamanlı istek sınırıyla sunucuya alınıyor. Sunucu /v1/chat/completions uç noktası üzerinden standart OpenAI uyumlu isteklerle çağrılıyor.

Neden önemli?

Trainium, AWS'nin yapay zeka eğitimi ve çıkarımı için konumlandırdığı çip ailesi. Açık kaynak SGLang desteğinin genel kullanıma açılması, Nvidia dışı donanımda çalışan ekipler için model servis katmanında tanıdık bir araç anlamına geliyor. AWS ayrıca aynı eklentinin pekiştirmeli öğrenme rollout'ları üretmek için de kullanılabildiğini belirtiyor; bu, ekiplerin eğitim ve servis hattını tek arayüzde tutmasını sağlıyor.

Kurumsal tarafta maliyet ve tedarik çeşitlendirmesi son aylarda daha sık konuşuluyor. SGLang-Neuron, bu tartışmada "altyapıyı değiştir ama kodu değiştirme" vaadiyle pratik bir seçenek sunuyor.

Pekiştirmeli öğrenme tarafı

AWS'nin duyurusunda altı çizilen ikinci kullanım alanı, pekiştirmeli öğrenme (RL) rollout'ları. Model eğitiminde ajanların denediği yolların üretilmesi, yüksek çıkarım kapasitesi gerektiriyor. Eklenti, bu iş yükünü de aynı SGLang arayüzü üzerinden Trainium'da çalıştırabiliyor. Ekipler için pratik sonuç şu: eğitim ve servis hattı ayrı araç zincirlerine bölünmek zorunda kalmıyor.

Kimler için anlamlı?

Bu duyuru herkesi ilgilendirmiyor; hedef kitle oldukça net. Trainium üzerinde çalışan veya maliyet nedeniyle Nvidia dışı donanımı değerlendiren ekipler için SGLang-Neuron, tanıdık bir servis katmanını yeni donanıma taşıyor. Yalnızca API üzerinden model kullanan uygulama geliştiricileri için ise doğrudan bir değişiklik yok.

Buna karşılık altyapı kararları veren ekipler için sinyal değerli: açık kaynak çıkarım yazılımı artık alternatif çip ailelerinde birinci sınıf destek görüyor. Bu, tedarikçi bağımlılığını azaltma tartışmasında somut bir adım.

Paylaş