İçindekiler
NVIDIA, yapay zeka fabrikalarının operasyonunu izlemek için geliştirdiği Minerva platformunu duyurdu. Minerva bir AIOps ürünü: altyapı ve yapay zeka iş yüklerinden gelen telemetriyi topluyor, bu veriyi amaca özel modellerle işliyor ve operatöre eyleme dönüştürülebilir bilgi veriyor.
Sorun tanımı oldukça somut. Yapay zeka fabrikaları, yüz binlerce GPU'nun yüksek hızlı ağlar üzerinden birlikte çalıştığı tesisler. Bu ölçekte tek bir bozuk bileşen bütün bir işi yavaşlatabiliyor. Üstelik uyarı işaretleri kolay fark edilmiyor: akranlarından daha sıcak çalışan bir GPU ya da yük altında performans kaybeden bir NVMe sürücü gibi.
Minerva nedir?
NVIDIA Minerva, "yapay zeka fabrikası verimi" (AI factory yield) kavramı etrafında kurgulanmış. Şirket bu verimi dört metrikle tanımlıyor: GPU saatleri, goodput, küme çalışma süresi (uptime) ve üretilen token sayısı. Minerva'nın işi, bu metrikleri düşüren nedenleri erken bulmak.
Klasik izleme araçları veri merkezini ayrı pencerelere böler: ağ ekibi, hesaplama ekibi, saha güvenilirlik ekibi ve makine öğrenmesi ekibi farklı panolara bakar. Minerva, NVIDIA GPU'ları, ağ, depolama, zamanlayıcılar ve iş yüklerinden gelen sinyalleri aynı yerde birleştiriyor.
Bilgi grafiği ile kök nedene iniş
Platformun teknik çekirdeği dinamik bir bilgi grafiği. Bu grafik, altyapıyı mantıksal olarak haritalıyor: GPU'lar, SuperNIC'ler, switch'ler ve kablolar ile bunların üzerinde çalışan işler. Amaç, yavaşlayan bir eğitim işini o yavaşlamaya neden olan bileşene kadar izleyebilmek.
Bu izleme, yüz binlerce GPU'lu bir fabrikada bile çalışacak şekilde tasarlanmış. Minerva saatte milyarlarca veri noktasını gözetimli ve gözetimsiz makine öğrenmesiyle analiz ediyor; normal davranışı öğreniyor, daha önce görülmemiş sapmaları tespit ediyor, yaklaşan arızaları tahmin ediyor ve olayları fabrikanın topolojisine göre ilişkilendiriyor.
Operasyonel faydası burada ortaya çıkıyor: Olay fırtınası olarak bilinen, aynı anda yüzlerce alarmın geldiği durumlarda Minerva bunları tek ve odaklı bir olaya indirgeyebiliyor; olası kök nedeni de yanına yazıyor.
AIOps asistanı ve ajan bağlantısı
Minerva yanında yerel bir yapay zeka asistanıyla geliyor ve dış ajan tabanlı yapay zeka araçlarına bağlanabiliyor. Asistan, canlı telemetriye dayanan doğal dil arayüzü sağlıyor: Operatör küme sağlığını sorabiliyor, önerilen müdahaleyi konuşarak alabiliyor.
Düzeltmeleri insan mı yoksa otomasyon mu uygulayacak, bu tercihe bırakılmış. Ekipler insanı döngüde tutup müdahaleyi elle yapabiliyor ya da Minerva'yı altyapı API'leri ve dış sistemler üzerinden otomasyona bağlayabiliyor. Kurumsal yapay zeka operasyonlarında bu ayrım kritik: Tanı otomatik, uygulama ise kontrollü.
Fabrika veriminde hedeflenen üç kazanç
NVIDIA, Minerva'nın değerini üç başlıkta anlatıyor:
- Kesintiler arası sürenin uzaması: Sorun gerçekleşmeden görüldüğü için işler daha uzun süre kesintisiz çalışıyor.
- Onarım süresinin kısalması: Olay olduğunda platform sorunu işaret ediyor, çözüm süresi belirgin biçimde düşüyor.
- Daha fazla görünürlük: Modern yapay zeka altyapısının ürettiği veri seli filtreleniyor, gerçekten önemli olan birkaç alarm kalıyor.
Bu üç başlık, doğrudan maliyetle bağlantılı. GPU'ların boş beklemesi, veri merkezi ekonomisinde en pahalı kalemlerden biri; bu yüzden "kesinti süresini kısaltmak" pratikte "aynı donanımdan daha fazla iş almak" anlamına geliyor.
Kimler kullanacak?
NVIDIA, IREN'in Minerva'yı kullanan ortaklar arasında olduğunu belirtiyor. IREN CTO'su Denis Skrinnikoff, açıklamada platformun ağ, GPU'lar ve üzerlerinde çalışan işleri tek görünümde topladığını, bunun da sorun giderme yerine proaktif bakıma odaklanmayı sağladığını söylüyor.
Şirket, IREN'in yanı sıra Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI ve Tesla'nın Minerva'yı devreye almayı planladığını açıkladı. Donanım tarafında Dell Technologies, Lenovo ve Supermicro, Minerva'yı yapay zeka fabrikası operasyon portföylerinin parçası olarak sunacak.
Neden önemli?
Yapay zeka yatırımlarının büyük kısmı bugün hesaplama kapasitesine gidiyor; buna karşılık operasyonel verimlilik araçları genellikle geriden geliyor. Minerva gibi platformlar, "daha fazla GPU al" ile "mevcut GPU'yu daha az boşta tut" arasındaki dengeyi ölçülebilir hale getirmeyi hedefliyor.
Bu tür bir katmanın önemi, özellikle çok kiracılı ve çok bölgeli yapay zeka fabrikalarında artıyor: Arızanın nerede olduğunu bulmak için saatlerce log taramak yerine, topolojiye dayalı bir kök neden önerisi almak operasyon ekibinin en kıt kaynağı olan zamanı koruyor.