İçindekiler
AllenAI, büyük dil modellerinin (LLM) eğitiminde kullanılan açık kaynak çerçevesi Olmo-core'un üçüncü büyük sürümünü duyurdu. Olmo-core 3, özellikle mixture-of-experts (MoE) mimarisine sahip modellerin trilyon parametre ölçeğinde eğitilmesini hedefleyen yeniden tasarlanmış bir eğitim yığını sunuyor. Şirket, bu altyapının gelecek nesil Olmo modellerinin arkasındaki temel sistemlerden biri olduğunu belirtiyor.
MoE eğitiminde darboğaz neden büyüyor?
MoE modelleri, her girdinin modelin tamamını değil yalnızca ilgili "uzman" parçalarını kullanmasına izin vererek daha verimli çalışmayı vaat ediyor. Ancak model büyüdükçe tüm ağırlıkların GPU belleğinde tutulması, eğitim sırasında güncellenmesi ve girdilerin doğru uzmanlara yönlendirilmesi ciddi iletişim ve koordinasyon maliyeti doğuruyor. Bu maliyetler, MoE'nin teorik verimlilik avantajını büyük ölçüde eritebiliyor. Olmo-core 3 tam da bu açığı kapatmak için geliştirildi.
Yeni eğitim yığını neler getiriyor?
NVIDIA'nın Megatron-Core'u büyük MoE'ler için yerleşik bir seçenek olsa da Olmo-core 3, Olmo'nun arkasındaki çerçeveye entegre bir MoE eğitim yığını ekliyor. Şirketin önceki FSDP tabanlı uygulamasına kıyasla throughput'u artıran yeni tasarım, modelin ve eğitim durumunun donanım üzerinde nasıl bölüneceğini belirleyen üç tekniği bir arada kullanıyor. Bu tekniklerin birbirleriyle uyumlu çalışması gerekiyor; çünkü eğitimin bir bölümünü hızlandırmak başka bir yerde maliyet yaratabiliyor.
Ölçülen performans ne söylüyor?
AllenAI'nın paylaştığı ilk testlerde, sekiz NVIDIA B300 GPU üzerinde 47 milyar parametreli bir MoE, yeni yığınla GPU başına saniyede 52 bin token işledi. Aynı modelin önceki uygulamadaki karşılığı 19 bin 400 token seviyesindeydi. Bu, yaklaşık 2,7 katlık bir verim artışına işaret ediyor.
Şirket ayrıca 512 GPU üzerinde, token başına 58,36 milyar parametresi aktif olan 1,2 trilyon parametreli bir modeli de test etti. Ölçülen en yüksek değer GPU başına 858 TFLOP/s oldu. Bu testlerde rastgele yönlendirme (random routing) kullanıldığı, yani amaçlananın eğitilmiş model kalitesi değil sistem performansı olduğu vurgulanıyor.
Açık kaynak neden önemli?
Büyük modelleri eğitmek yoğun hesaplama gücü gerektiriyor; bu da maliyetleri ve enerji tüketimini artırarak ileri seviye model geliştirmeyi birçok akademik araştırmacı ve küçük laboratuvarın erişiminin dışına itiyor. Olmo-core 3'ün tamamen açık olması sayesinde araştırmacılar kendi MoE modellerini eğitebiliyor, altyapıyı farklı donanımlara uyarlayabiliyor ve yönlendirme ile paralelleştirme gibi bileşenlerle deney yapabiliyor.
AllenAI, gelecek nesil Olmo modelinin MoE mimarisini kullanacağını ve bugüne kadarki en yetenekli, en geniş veri kümesiyle ve en uzun bağlam penceresiyle eğitilmiş Olmo olmayı hedeflediklerini belirtiyor. Açık modellerin ağırlıklarının yanı sıra arkasındaki eğitim kararlarının ve altyapının da açık olması gerektiği fikri, bu sürümün temel motivasyonunu oluşturuyor.
Teknikler ve dikkat edilen dengeler
AllenAI, modelin ve eğitim durumunun donanıma nasıl dağıtılacağını belirleyen üç ayrı tekniği bir arada kullanıyor. Şirket, bu tekniklerin ve optimizasyonların birbirleriyle uyumlu çalışması gerektiğini vurguluyor: eğitimin bir bölümünü hızlandırmak başka bir yerde maliyet yaratabiliyor; daha hızlı hesaplama daha fazla veri hareketi gerektirebiliyor, daha az bit taşımak ise dönüştürme süresi uzadığında işe yaramayabiliyor. Olmo-core 3 tam da bu dengeyi tüm eğitim süreci boyunca gözetmek üzere tasarlandı. Bazı testlerde aşırı örtüşme (overlap) kullanımının uçtan uca çalışmayı yavaşlattığı görüldü; bu da "daha fazla paralellik her zaman daha yüksek verim demek değildir" dersini doğruluyor.
MoE mimarisi, yalnızca ilgili uzman parçalarını devreye sokarak hesaplama maliyetini ve dolayısıyla enerji tüketimini düşürmeyi vaat ediyor. Ancak model büyüdükçe saklama ve yönlendirme maliyetleri bu avantajı eritebiliyor. Olmo-core 3'ün sunduğu iyileştirmeler, bu dengeyi koruyarak büyük modellerin maliyetini kontrol altında tutmayı amaçlıyor. Açık kaynak bir eğitim yığını olması sayesinde akademik araştırmacılar da aynı altyapıyı kendi donanımlarında deneyebiliyor.
Özetle Olmo-core 3, MoE eğitimindeki verimlilik sorununa açık kaynak bir çözüm getiriyor ve trilyon parametreli modellerin eğitimini daha erişilebilir kılmayı amaçlıyor.