İçindekiler
Yapay zekanın bir gün hepimizi yok edebileceğine dair tartışmalar sürerken, gözden kaçan bir gerçek var: Yapay zeka bazı insanlar için zaten hayati tehlike oluşturuyor — hem de biyolojik silahlarla değil, psikolojik yollarla. Bu sorunu farklı diller ve kültürler ölçeğinde çözmeyi hedefleyen Circuit Breaker Labs, TechCrunch'ın 2026 Startup Battlefield 200 finalistlerinden biri.
Sorunun kaynağı: psikolojik zarar
Character.AI, bu yıl botlarıyla etkileşime girdikten sonra intihar eden reşit olmayan kullanıcıların ailelerinin açtığı çok sayıda haksız ölüm davasını çözdü. Birden fazla aile de ChatGPT'nin yakınlarının intiharlarında ve sanrılarında rol oynadığı iddiasıyla OpenAI'a dava açtı. Circuit Breaker Labs'in kurucuları, kardeş olan Shirali ve Arul Nigam, 14 yaşındaki Sewell Setzer'in bir Character.AI sohbet botuna duygusal olarak bağlanıp kendine zarar verme düşüncelerini paylaştıktan sonra intihar etmesinden etkilendi.
Çözüm: Çarpışma testi mankenleri gibi ajanlar
Circuit Breaker Labs, bir "çarpışma testi mankenleri ordusuna" benzettiği yapay zeka ajanları geliştirdi. Bu ajanlar her yaştan, kökenden, dilden ve kültürden insanları taklit ediyor ve modelleri tehlikeli, psikolojik açıdan zararlı etkileşimleri tespit etme yeteneği konusunda test etmek için kullanılıyor. Şirket, İnsan uzmanlarla birlikte hiper-gerçekçi kullanıcı simülasyonları kuruyor ve modellere karşı "kırmızı takım" (red-team) testleri çalıştırıyor.
Nüans neden kritik?
Şirketin CTO'su Arul Nigam'a göre modeller standart konuşma kalıplarını iyi işliyor; ancak kimse aslında böyle konuşmuyor. Altı yaşındaki bir kız ile 45 yaşındaki bir erkek, ana dili İngilizce olan biriyle ikinci dil olarak konuşan biri, oyuncu argosu kullanan biriyle farklı bir argo kullanan biri — tüm bunlar bir modeli yanıltabiliyor. Model nüansı ya da argoyu yanlış anladığında sonuç çok kötü olabiliyor.
Şirketin CEO'su Shirali Nigam'a göre sorun, insanların sistemi kırmaya çalışmaması; aksine doğal bir şekilde etkileşime girip "bağlam kirlenmesi" yaşanması ve sistemin tehlikeli bir aksiyon alması. Circuit Breaker Labs tam da bunu önlemeye çalışıyor. Testler gerçek insan konuşma kalıplarını, argoyu, şifreli dili ve yazım hatalarını yansıtacak şekilde tasarlanıyor.
Neden önemli?
Yapay zeka ürünleri hayatın her alanına girerken, güvenlik testleri çoğu zaman yalnızca standart ve kibar girdilere odaklanıyor. Oysa gerçek kullanıcılar — özellikle gençler — bu sistemlere duygusal destek için yöneliyor. Circuit Breaker Labs, kültürel ve dilsel çeşitliliği test sürecinin merkezine koyarak psikolojik zararı erken yakalamayı amaçlıyor. Şirket, TechCrunch Disrupt'ta (13-15 Ekim, San Francisco) projesini yatırımcılara sunacak.
Kurucuların motivasyonu
Kardeş olan kurucular Shirali ve Arul Nigam, sorunu soyut bir güvenlik tartışması olarak değil, gerçek kayıplar üzerinden ele alıyor. Genç kullanıcıların bu sistemlere destek için yöneldiğini, ancak çoğu zaman ihtiyaç duydukları yardımı alamadığını, hatta zarar gördüğünü vurguluyorlar. Bu nedenle testleri, insanların sistemi kırmaya çalışmadığı doğal etkileşim senaryolarına odaklıyorlar.
Sonraki adım
Ekip, 13-15 Ekim tarihleri arasında San Francisco'da düzenlenecek TechCrunch Disrupt'ta projesini yatırımcılara sunacak. Şirketin yaklaşımı, yapay zeka güvenliğinde kültürel ve dilsel çeşitliliğin test sürecinin ayrılmaz bir parçası olması gerektiğini savunuyor; zira zararın en çok görüldüğü yer, modellerin standart dışı konuşma biçimlerini yanlış anladığı noktalar oluyor.
Neden şimdi?
Sohbet botlarının hızla milyonlarca kullanıcıya ulaşması, güvenlik testlerinin de aynı hızla ölçeklenmesini gerektiriyor. Geleneksel kırmızı takım testleri çoğunlukla tek bir dil ve kültür üzerine kurulu olduğundan, küresel kullanıcı tabanını temsil etmekte yetersiz kalıyor. Circuit Breaker Labs tam da bu boşluğu doldurmayı, yani test sürecine gerçek dünyanın çeşitliliğini taşımayı öneriyor. Bu yaklaşım, yapay zeka güvenliğini soyut bir laboratuvar meselesi olmaktan çıkarıp kullanıcı deneyiminin merkezine koyuyor.