Fei-Fei Li'nin girişimi World Labs'ten yeni dünya modeli: Atlas

Yapay zeka araştırmacısı Fei-Fei Li 'nin kurucu ortakları arasında yer aldığı World Labs , mekansal zeka alanında geliştirdiği yeni dünya modeli Atlas'ı tanıttı . Şirketin "omni model" olarak nitelendirdiği Atlas, metin, görsel, video ve 3D verileri tek bir mimari içinde işleyebiliyor.

Sıfırdan önceden eğitilen Atlas, teknik olarak çok modlu otoregresif bir difüzyon transformer'ı üzerine kurulu. Model, kendisine verilen farklı türdeki girdileri ortak bir mekansal bağlamda birleştiriyor. Böylece yalnızca görüntü üretmekle kalmıyor; nesnelerin ve ortamların üç boyutlu yapılarını dikkate alarak sahnenin görünmeyen bölümlerini tahmin edebiliyor.

Atlas'ın öne çıkan özelliklerinden biri, kamera konumlarını ve hareket rotalarını doğrudan girdi olarak kabul etmesi. Mevcut video üretim modellerinde kamera hareketleri çoğunlukla metin komutlarıyla tarif edilirken Atlas, kamera geometrisini modelin doğal girdilerinden biri olarak kullanıyor. Kullanıcılar böylece kamera açısını, konumunu ve sahne içindeki hareketini daha ayrıntılı biçimde belirleyebiliyor.

Model, bir ila altı referans görsel ve önceden belirlenen kamera rotalarıyla 1440p çözünürlükte, bir dakikaya kadar video oluşturabiliyor. Tek bir fotoğraftan nesnelerin ya da ortamların farklı açılardan nasıl görüneceğini tahmin edebilen Atlas, giriş görselinde yer almayan kısımları da üreterek sahneyi genişletebiliyor. Birbiriyle bağlantısı bulunmayan farklı görsellerin üç boyutlu uzayda konumlandırılması ve aralarındaki geçişlerin tek bir ortam içinde oluşturulması da mümkün.

Atlas, gerçek dünyadaki alanların 3D olarak yeniden oluşturulmasında da kullanılabiliyor. Model, tek bir görselden başlayarak yeni bakış açıları ve 3D geometri üretebildiği gibi, daha yüksek doğruluk gerektiğinde onlarca hatta yüzü aşkın görseli bağlam olarak işleyebiliyor. World Labs'e göre iki veya üç fotoğraf dahi birçok sahnenin yeniden oluşturulması için yeterli olabiliyor. Girdi sayısı arttıkça modelin görünmeyen alanları tahmin etme ihtiyacı azalıyor ve ortaya çıkan sonuç gerçek ortama daha fazla yaklaşıyor.

Oluşturulan sahneler yalnızca iki boyutlu görseller veya videolar şeklinde sunulmuyor. Atlas, oyun, tasarım, görsel efekt ve robotik çalışmalarında kullanılabilecek 3D nokta bulutları ile "3D Gaussian splat" formatında çıktılar da verebiliyor.