İçindekiler
Yapay zeka ajanlarını üretim ortamında çalıştıran şirketlerin en büyük sıkıntısı genellikle yetenek değil, maliyet ve gecikme. Asana'nın son deneyimi bu denklemi tersine çevirmenin mümkün olduğunu gösteriyor. Şirket, tarayıcı ajanının çalıştırma maliyetini 76 kat düşürdü ve işlem süresini 5 kat iyileştirdi. Bunu da OpenAI'ın yeni modeli GPT-6.1 Sol ile Codex üzerinde çalışan GPT-6 Astra'yı deneyleri otomatikleştirmek için kullanarak başardı.
Asana ve StackAI: Tarayıcı Ajanı Nedir?
Asana, iş uygulamaları arasında otomasyon sağlayan StackAI platformunu satın almıştı. Müşteriler StackAI ile kod yazmadan, web sitelerinde gezinip form dolduran ve bilgi toplayan iş akışları kurabiliyor. Asana'nın ölçeğinde ise bu akışlardaki küçük verimsizlikler hızla büyük maliyetlere dönüşüyor. StackAI CTO'su Dr. Frank Hidalgo, tam da bu noktada ajanı daha hızlı ve daha ucuz hale getirmek için çalışma başlattı.
İki Ay Araştırma, Bir Haftada Tamamlandı
Hidalgo'nun elle yapması hâlinde bir ile iki ay süreceğini tahmin ettiği iş, GPT-6 Astra sayesinde yaklaşık bir haftada tamamlandı. Yöntem oldukça pratik: Hidalgo gece yatmadan önce bir hedef tanımlıyor, sabah sonuçları inceliyordu. Astra, kod tabanını haritaladı, ajanın nasıl istek oluşturduğunu açıkladı ve iyileştirmeleri test etti. Toplamda 144 koşuluk bir çalışma düzenlendi; GPT-6.1 Sol ile üç rakip frontier model karşılaştırıldı.
Darboğaz: Önbelleğe Alınmayan Tarama Geçmişi
Astra'nın bulduğu temel sorun netti: Ajan, sabit talimatlarını ve araç tanımlarını önbelleğe alıyordu ama sayfa metinleri ile ekran görüntülerinden oluşan büyüyen geçmişini almıyordu. Bu yüzden her istek, geçmişi tam fiyattan yeniden gönderiyordu. Üstüne, ajan neredeyse her adımda eski ekran görüntülerini atıyor ve metni kırpıyordu. Her düzenleme geçmişi değiştirdiği için yalnızca önbellekleme çözmüyordu; üstelik kaybedilen bilgiler yüzünden ajan daha önce okuduğu sayfalara geri dönmek zorunda kalıyordu.
Üç İyileştirme: Önbellek, Geçmiş Bütçesi, Ekran Görüntüsü Politikası
Hidalgo, Astra'nın önerdiği üç çözümü seçti: tarama geçmişini de önbelleğe almak, tutulan metin miktarını artırmak ve ekran görüntülerini her adımda değil parti parti silmek. En iyi performans, ekran görüntülerinin 20'ye kadar birikmesine izin verip sonra yalnızca en yenisini tutan politikada çıktı. Büyük geçmiş bütçesiyle birleşince bu, optimize edilmiş iş akışı hâline geldi.
Rakamlarla Sonuç: 36 Dolardan 0,47 Dolara
Orijinal üretim kurulumunda koşu başına model maliyeti en az 36,21 dolardı; bazı koşular adım limitine takılıyordu. Ara iyileştirme bunu 1,24 dolara (29 kat) indirdi; GPT-6.1 Sol üzerindeki optimize iş akışı ise 0,47 dolara çekti. Bu rakam, orijinal kuruluma göre 76 kat ucuzluk anlamına geliyor. Süre en az 22,5 dakikadan yaklaşık 4 dakikaya indi; 89% giriş önbellekten geldiği için her çağrı yaklaşık 3 kat ucuzladı. Daha önemlisi, küçük geçmiş bütçesinde 18 koşunun yalnızca üçü cevap üretirken, büyük bütçede 18'inin tamamı doğru cevap verdi.
Şirketler İçin Anlamı
Asana artık GPT-6 Astra'yı Codex üzerinden ürün özelliklerini test etmek için de kullanıyor: Astra platformda gezinip farklı girdileri deniyor ve hataları insan QA ekibine raporluyor. Bu vaka, ajanların maliyetini düşürmenin yeni bir model eğitmekten değil, iş akışını doğru kurgulamaktan geçtiğini gösteriyor. Önbellek politikası, bağlam yönetimi ve deney otomasyonu bir araya geldiğinde, "pahalı ve yavaş" diye kenara atılan ajanlar yeniden cazip hâle gelebiliyor.
Dikkat çeken bir başka nokta, deneyleri bir modele yaptırmanın süreci hızlandırması: Hidalgo'nun haftalar sürecek işi bir haftada bitirmesi, asıl kazancın geliştirme döngüsünde olduğunu gösteriyor. Ölçüm yapmadan model değiştirmek ise çoğu zaman gereksiz harcama demek. Maliyet baskısı yaşayan ekipler için en hızlı kazanç, yeni model arayışından önce mevcut iş akışını ölçmek ve kontrollü testlerle iyileştirmek olabilir.