Alibaba QwenGyre: Ajan Eğitiminde 1,85 Kat Hız

Yapay zeka ajanları giderek daha uzun görevler üstleniyor: tek bir yürütme saatler sürebiliyor, yüzlerce model-ortam etkileşimini kapsıyor ve rollout başına neredeyse 1 milyon token'a ulaşabiliyor. Bu "aşırı uzun ufuk" (xLong) rejimde çevrimiçi pekiştirmeli öğrenme (RL) uygulamak iki temel sorunu beraberinde getiriyor. Alibaba Token Hub, Çin Bilim ve Teknoloji Üniversitesi (USTC) ve Tsinghua Üniversitesi araştırmacıları, bu sorunları çözmek için QwenGyre adlı uçtan uca çerçeveyi tanıttı.

İki temel sorun: GPU boşluğu ve yörünge tekrarı

Araştırmacılara göre sorunların ilki, şiddetli yürütme varyansı ve uzun rollout gecikmelerinin yol açtığı yoğun GPU boşta kalması. İkincisi ise karmaşık, doğrusal olmayan dallanmanın ürettiği büyük yörünge (trajectory) tekrarı; bu durum eğitim verimliliğini ciddi biçimde düşürüyor.

Klasik yaklaşımlar burada tıkanıyor: birlikte yerleştirilmiş (colocate) kurulumlarda eğitim adımları yavaş çıkarım rollout'larını beklerken tamamen duruyor. Statik asenkron çözümlerde ise ayrılmış eğitim hızlandırıcıları, tüm yığın toplanana kadar boş bekliyor.

Elastik zamanlayıcı: canlı yürütmeleri kesmeden GPU tahsisi

QwenGyre bu darboğazı bir elastik zamanlayıcı ile aşıyor. Sistem, GPU'ları rollout üretimi ile model eğitimi arasında dinamik olarak taşıyor ve bu sırada aktif yürütmeleri kesmiyor. Yeniden tahsis edilen düğümler, çalışan merkezî veri-paralel eğitim yığınına sıfırdan başlamadan katılabiliyor. Zamanlama dengesizliklerini önlemek için çerçeve, dağıtık kümedeki grup ilerlemesini eşzamanlayan "akışlı eğitim" (streaming training) uyguluyor.

Yörünge ağacı: dallanan geçmişi tekilleştirme

Ajan harness'ları görev çözerken karmaşık yürütme grafikleri üretiyor; başarısız komutları yeniden denerken veya geçmişi sıkıştırırken ayrışan yollar oluşuyor. Alt görevlerin ikincil ajanlara devredilmesi bu yapısal ayrışmayı daha da artırıyor. QwenGyre'ın Yörünge İşleyicisi (Trajectory Processor), bu dallanan geçmişleri paylaşılan önekleri olan yörünge ağaçları halinde düzenliyor, yinelenen yolları tekilleştiriyor ve kısmi ilerlemeyi puanlıyor. Böylece görev zaman aşımına uğradığında bile değerlendirilebilir kısmi ilerleme ödül sinyali olarak korunuyor.

Rakamlar: %52,5'ten %58,5'e

Değerlendirmeler, QwenGyre'ın klasik mimarilere göre belirgin kazanç sağladığını gösteriyor. Qwen 3.8 2.4T üzerinde, rollout başına 700 bin token ile sistem 48 eğitim adımında NL2RepoBench skorunu %52,5'ten %58,5'e — yani 6,0 puanlık mutlak kazanç — taşıdı. Aynı 48 adım 75,42 saatte tamamlandı; asenkron kurulumda 134,55 saat, colocate kurulumda ise 91,47 saat gerekiyordu. Test edilen konfigürasyonlarda QwenGyre, colocate'e göre 1,21–1,85 kat, asenkron kuruluma göre ise 1,38–1,78 kat uçtan uca hızlanma sağladı. Qwen 3.6 122B üzerinde DeepSWE ve TerminalBench değerlendirmeleri de yapıldı.

Sonuç olarak QwenGyre, uzun ufuklu ajan RL'sini yalnızca "büyütülmüş" bir sürüm olarak değil, farklı bir sistem ve yörünge modellemesi problemi olarak ele alıyor. Bu yaklaşım, çok adımlı ajan iş akışlarında eğitim maliyetini ve süresini düşürmek isteyen ekipler için pratik bir şablon sunuyor.

QwenGyre'ı farklı kılan ne?

Benzer araçlar çoğu zaman ajan harness'larını yeniden yazmayı veya basit, yalnızca ekleme yapan (append-only) bir yörünge varsayımını dayatmayı gerektiriyor. QwenGyre ise harness'ı "kara kutu" olarak ele alıp, kayıt katmanını eğitim arayüzü haline getiriyor. Bu sayede ekipler, kapalı ve hızla değişen dağıtım harness'ları üzerinde, onları kendi RL çerçevesi içinde yeniden kurmak zorunda kalmadan eğitim yapabiliyor. Yaklaşım, çok adımlı ajan iş akışlarında maliyet ve süreyi düşürmek isteyenler için pratik bir şablon sunuyor.

Rakamlarla QwenGyre

Geliştirenler: Alibaba Token Hub, USTC ve Tsinghua Üniversitesi
Odak: xLong ufuklu ajanlar (rollout başına ~1 milyon token, saatler süren görevler)
Test modelleri: Qwen 3.8 2.4T ve Qwen 3.6 122B
Kazanç: NL2RepoBench'te %52,5'ten %58,5'e (48 adımda +6,0 puan)
Hızlanma: Colocate'e göre 1,21–1,85 kat, asenkron kuruluma göre 1,38–1,78 kat
48 adım süresi: 75,42 saat (asenkron 134,55 saat, colocate 91,47 saat)
Değerlendirme setleri: NL2RepoBench, DeepSWE ve TerminalBench

Sonuç

QwenGyre, pekiştirmeli öğrenmeyi yalnızca büyütülmüş bir eğitim işi değil, farklı bir sistem zamanlama ve yörünge modellemesi problemi olarak ele alıyor. Elde edilen hızlanma oranları, RL çalıştıran kurumlar için doğrudan eğitim verimliliği ve maliyet anlamına geliyor. Uzun ufuklu ajanlar yaygınlaştıkça, bu tür elastik ve tekilleştirme odaklı çerçevelerin standart hale gelmesi beklenebilir.