Generalist AI'dan yeni görevleri saniyeler içinde öğrenen robot modeli: GEN-1.5

Generalist AI , robotların yeni fiziksel görevleri tek bir gösterimle öğrenmesini sağlayan yeni temel modeli GEN-1.5’i tanıttı . Şirketin paylaştığı bilgilere göre GEN-1.5, 3 ila 12 saniyelik bir gösterimi bağlam içinde değerlendirerek herhangi bir gradyan güncellemesi veya ince ayar sürecine ihtiyaç duymadan görevi yerine getirebiliyor.

Generalist AI, sensör verileri ile hareket dizilerinden oluşan örneklerin modele bağlam olarak verilmesini “fiziksel istem” olarak tanımlıyor. Büyük ve çok modlu bir model olan GEN-1.5; video görüntülerinin yanı sıra sensör, dil ve robotun kendi konum ile hareket bilgilerini işliyor. Model, 30 saniyelik bir bağlam penceresi kullanarak saniyede 100 hareket komutu üretebiliyor.

Şirketin gerçekleştirdiği deneylerde GEN-1.5, 10 farklı kısa süreli manipülasyon görevinde tek gösterimle ortalama yüzde 59 başarı oranına ulaştı. Model, görev başına yaklaşık 50 gösterim içeren beş dakikalık veriyle 10 gradyan adımı boyunca uyarlandığında ise başarı oranı yüzde 83’e yükseldi. Bir dakikalık veri ve tek bir gradyan adımının kullanıldığı testte başarı oranı yüzde 66,5 olarak ölçüldü.

Modelin yetenekleri yalnızca gösterilen hareketi tekrar etmekle sınırlı değil. GEN-1.5, birbirinden bağımsız iki fiziksel istemi birleştirerek daha uzun bir görev dizisi oluşturabiliyor. Örneğin kalem kutusunun fermuarını açma ve içindeki parayı alma gösterimleri ayrı ayrı sunulduğunda model, iki görevi tek bir kesintisiz hareket dizisi halinde gerçekleştirebiliyor. Bu sırada yeniden konumlanma ve hatalardan kurtulma gibi gösterimlerde bulunmayan ara hareketleri de kendisi oluşturuyor.

GEN-1.5’in öne çıkan yeteneklerinden biri de simülasyondan gerçek dünyaya sıfır örnekli aktarım yapabilmesi. Modelin ön eğitiminde herhangi bir simülasyon verisi bulunmamasına rağmen, simülasyon ortamında kaydedilen bir gösterim gerçek bir robot için fiziksel istem olarak kullanılabiliyor. Model ayrıca bazı görevlerde insanların kendi elleriyle yaptığı hareketleri robotun kameralarından izleyerek aynı görevi robot elleriyle tekrar edebiliyor.

Generalist AI’ın paylaştığı örnekler, modelin beklenmedik durumlarda farklı stratejiler geliştirebildiğini de gösteriyor. Bir nesneyi fırçayla kaseye süpürme görevi gösterilen model, daha sonra aynı amaç için muzu geçici bir fırça olarak kullandı.