İçindekiler
Kodlama ajanları işleri görev görev yürütüyor: geliştirici bir değişiklik istiyor, ajan dosyaları okuyor, kodu düzenliyor ve testleri çalıştırıyor. Tek bir görev birkaç model çağrısıyla bitebildiği gibi onlarca çağrı da sürebiliyor. Geliştiricinin ödediği şey tek bir çağrı değil, görevin tamamı.
AWS Machine Learning Blog'da yayınlanan teknik yazı, bu tabloda sık yapılan bir hatayı düzeltiyor: token başına fiyat, bir görevin toplam maliyetini göstermez. Toplam maliyet, modelin kaç tur ihtiyaç duyduğuna, her turda ne kadar geçmişi yeniden işlediğine ve görevin kaç kez yeniden denendiğine bağlı. Hiç bitmeyen görevlerin denemeleri de faturaya giriyor.
Doğru metrik: çözülen görev başına maliyet
Yazının önerdiği ölçüt net: toplam koşu maliyetini, testleri geçen koşu sayısına bölmek. Bu metrik, model yönlendirmesini gerçek iş yükü üzerinden değerlendirmeyi sağlıyor. Ucuz ama görevi bitiremeyen bir model, pahalı ama tek denemede bitiren bir modelden daha maliyetli çıkabiliyor.
NeMo Switchyard nasıl çalışıyor?
NVIDIA NeMo Switchyard, bir ajanın her isteği hangi modelin karşılayacağına karar vermesine yardım eden açık kaynak bir kütüphane. Kullanılabilir modelleri ve izlenecek stratejiyi siz tanımlıyorsunuz. LiteLLM entegrasyonu iki stratejiyi destekliyor:
- Stage routing: İstek geçmişindeki son araç faaliyetini ve sonuçlarını okuyup iki aday modelden birini seçiyor.
- Random routing: Tanımlı modeller arasından isteğe bağlı ağırlıklarla seçim yapıyor; trafik bölme ve A/B karşılaştırması için kullanılıyor.
LiteLLM tarafında ayrıca yerleşik bir Switchyard stage router'ı otomatik yönlendirici stratejisi olarak sunuldu; yazı bunu da alternatif olarak not ediyor.
Referans mimari
Yazı, AWS Cloud Development Kit (CDK) ile LiteLLM'i ve Switchyard eklentisini kendi AWS hesabınızda dağıtmayı anlatıyor. LiteLLM, Amazon Bedrock üzerindeki modelleri çağırıyor. Ardından örnekteki benchmark koşucuları, yönlendirilmiş bir model grubu ile tek modelden oluşan referans grupları için çözülen görev başına maliyeti ölçüyor. Böylece yönlendirmeyi kendi iş yükünüzde sınayabiliyorsunuz.
Örnek, crates.io üzerinden switchyard-server 0.3.0 sürümünü ve LiteLLM v1.102.0 imajını kuruyor. AWS yazısı bu bileşenlerin deneysel olduğunu, yapılandırmanın sürümler arasında değişebileceğini ve örnek kodun üretim dışı kullanım için verildiğini açıkça belirtiyor. Üretime almadan önce üretim dışı bir hesapta test etmek, güvenlik ve hukuk ekipleriyle uyum kontrolü yapmak gerekiyor.
Hangi ekipler için anlamlı?
Kodlama ajanı işleten ve aylık modele ödeme yapan ekipler için bu yaklaşım somut bir tasarruf kapısı açıyor. Basit düzenleme ve test turlarını hızlı ve ucuz bir modele, mimari karar gerektiren turları güçlü bir modele yönlendirmek mümkün. Ancak yönlendirme kuralı yanlış kurulursa kalite düşer; bu yüzden ölçüm olmadan optimizasyon yapılmaması gerekiyor.
Sınırlar ve dikkat noktaları
Yazı bir ürün duyurusu değil, teknik nasıl-yapılır içeriği. Paylaşılan sonuçlar örnek iş yüklerine ait; kendi kod tabanınızda farklı bir tablo çıkabilir. Ayrıca yönlendirme katmanı, gecikme ve hata ayıklama karmaşıklığı ekliyor: hangi isteğin hangi modele gittiğini izlemek için ek gözlemlenebilirlik gerekiyor. Küçük ekipler için bu karmaşıklık, sağlanan tasarrufun üstüne çıkabilir.
Yine de yaklaşımın çerçevesi değerli: ajan maliyetini token fiyatı yerine çözülen görev üzerinden okumak, hem bütçe planlamasını hem model seçimini daha sağlıklı hale getiriyor.
Daha basit alternatifler
Yönlendirme katmanı kurmak tek seçenek değil. Küçük ekipler için en pratik yol, görev tipine göre iki farklı modeli elle ayırmak: rutin düzenlemeler için hızlı ve ucuz model, mimari kararlar için güçlü model. Bu yaklaşım yönlendirme altyapısının karmaşıklığını getirmez, ama esnekliği de sınırlar; her görev tipini önceden tanımlamak gerekir.
Orta yol, LiteLLM'in yerleşik otomatik yönlendiricisini kullanmak. Switchyard'ın stage routing mantığını hazır bir strateji olarak sunuyor ve ayrı bir sunucu bileşeni kurmayı gerektirmiyor. Hangi seçeneğin işe yaradığını anlamanın yolu aynı: kendi iş yükünüzde çözülen görev başına maliyeti ölçmek.
Son not: maliyet optimizasyonu, kalite ölçümü olmadan yapıldığında sessizce ürün kalitesini düşürür. Testleri geçen koşu sayısını izlemek, bu nedenle tasarruf kadar önemli.