İçindekiler
Robotlar çamaşır katlamayı, parça ayıklamayı ve tanımadıkları nesneleri tutmayı öğreniyor. Ancak bu gösterimler genellikle dar kapsamlı kalıyor ve robotun ne öğrendiğini ya da neden başarısız olduğunu açıklamıyor. Allen Institute for AI (Ai2), bu soruyu incelemek için laboratuvar ölçeğinde kontrollü bir ortam yayınladı: ToyBlocks.
FoundationWorlds: robotik için petri kabı
Bilim insanları karmaşık bir sistemi incelerken genellikle küçük ve kontrollü bir ortamla başlar; bir petri kabı veya teraryum gibi. Koşulları değiştirip etkileri gözlemlemek bu sayede mümkün olur. Ai2'ye göre robotik öğrenme de aynı yaklaşımı gerektiriyor: araştırmacı eğitim verisini veya model tasarımını değiştirebilmeli, testi tekrarlayabilmeli ve başarısızlığın kaynağını izleyebilmeli.
Ai2 bu ortamlara "FoundationWorlds" adını veriyor. Her biri, belirli bir robotik alanını incelemeye yönelik kontrollü bir simülasyon dünyasını; görevleri ve eğitim gösterimlerini otomatik üreten araçlarla ve robotun davranışını zaman içinde ölçen metriklerle birleştiriyor. İlk FoundationWorld, masanın üzerindeki bir robot kolu ve bloklar etrafında kurulan ToyBlocks.
ToyBlocks nasıl çalışıyor?
ToyBlocks, Ai2'nin MolmoAct 2, MolmoBot ve MolmoSpaces gibi önceki açık robot öğrenme çalışmalarının üzerine kurulu. Kapsamı bilinçli olarak dar tutulmuş: bir robot kolu, bir masa ve bloklar. Buna rağmen robot, blokların birbirini nasıl etkilediğini ve itme, çevirme, üst üste koyma sırasında nasıl düzenleneceğini düşünmek zorunda.
Çerçeve dört gereksinim etrafında tasarlanmış: gerçekçi fizik ve görünüm, görevlerin ve gösterimlerin ölçekli otomatik üretimi, muhakeme ile el becerisini birleştiren zorluklar ve alan içindeki görevlerin geniş kapsamı. Açık uçlu alanlarda bu dört koşulu birden sağlamak pratik değil; ToyBlocks'un dar kapsamı tam olarak bunu mümkün kılıyor.
Blokların üzerinde harf ve resimler bulunuyor. Bu sayede robot yalnızca blok kaldırmıyor; arama, sıralama ve düzenleme görevleri de yapabiliyor. Bir bloğun gizli yüzünü görmek için çevirmesi ve ardından nereye ait olduğuna karar vermesi gerekebiliyor. Blok boyutu, masa yüksekliği gibi fiziksel özelliklerin sahneden sahneye değiştirilmesi (domain randomization), modellerin geometri değiştiğinde ne kadar genelleştiğini test ediyor.
Teleoperasyon olmadan veri üretimi
ToyBlocks, kısa ufuklu beceriler üretmek için pekiştirmeli öğrenme ve hareket planlamayı birlikte kullanıyor. Beceri eğitimi, NVIDIA'nın açık kaynak robot öğrenme çerçevesi Isaac Lab içinde yapılıyor. Deneme yanılma yoluyla elde edilen politikalar, bloğu kaldırmadan masada itmek veya başka bir yüze çevirmek gibi kavramayan becerileri öğreniyor.
Beceri üretimi, simülatörün doğrudan sağlayabildiği ayrıcalıklı bilgilerden yararlanabiliyor; örneğin bloğun tam konumu ve yönü. Gerçek bir robotun kamera görüntüsünden tahmin etmek zorunda olduğu bu bilgiler, simülasyonda doğrudan verilebiliyor. Bu da gerçek dünyada teleoperasyon gerektirecek becerilerin otomatik üretilmesini sağlıyor.
Gösterim verisi üretmek için görev ve hareket planlayıcısı (TAMP), bir görevi çözmek için gereken becerileri otomatik seçip sıralıyor ve robotun hareketlerini planlıyor. Her planın simülasyonda çalıştırılması, etiketlenmiş gösterim verisi üretiyor. ToyBlocks, tek bir GPU'da yüzlerce planı paralel üretip çalıştırarak veri üretimini gerçek zamanın 24 katına kadar hızlandırıyor.
Ölçülen kazanımlar
Ai2'nin paylaştığı sonuçlar, çerçevenin neden önemli olduğunu gösteriyor. Yüksek seviye muhakeme tarafında, model tarafından öğrenilen görev tanımları başarı oranını varsayılan tanımlarla yüzde 24'ten yüzde 63'e çıkarıyor. Bu oran, insan uzman tarafından yazılan tanımlarla elde edilen yüzde 36'nın da üzerinde.
Eylem koşullu dünya modelleri tarafında ise poz ve başarı tahmininde daha iyi puan alan modellerin daha iyi eğitim verisi ürettiği görüldü. En iyi video üretim modelinden alınan 100 model kaynaklı yörünge eklemek, bir politikanın görülmemiş bölgedeki başarısını yüzde 19'dan yüzde 78'e çıkarıyor.
Açık kaynak ve sonraki adımlar
ToyBlocks'un kodu GitHub'da, veri seti Hugging Face'te ve modeller ayrı bir koleksiyonda yayınlandı. Ai2, çerçevenin araştırma topluluğu tarafından kendi deneylerinde ve hatta kendi FoundationWorld'lerini kurmak için temel olarak kullanılmasını teşvik ediyor.
Sonraki adımlar arasında iki kollu manipülasyon, kuvvet ve dokunma sensörleriyle donatılmış hassas robot elleri ve düzensiz blok yığınlarıyla oynama yer alıyor. Bu son başlık, yeni davranışların etkileşim yoluyla nasıl ortaya çıkabileceğini incelemek için veri toplama aracı olarak görülüyor.
Özet
- Ai2, robot öğrenmeyi kontrollü koşullarda incelemek için FoundationWorlds yaklaşımını duyurdu.
- İlk dünya ToyBlocks: robot kolu, masa ve harf/resim baskılı bloklardan oluşan açık simülasyon.
- Beceri eğitimi Isaac Lab'de pekiştirmeli öğrenme ve hareket planlamayla yapılıyor; TAMP gösterimleri otomatik üretiyor.
- Tek GPU'da gerçek zamanın 24 katına kadar veri üretimi ölçüldü.
- Öğrenilen görev tanımları başarıyı yüzde 24'ten yüzde 63'e çıkarıyor; 100 sentetik yörünge eklemek görülmemiş bölgede başarıyı yüzde 19'dan yüzde 78'e taşıyor.