NVIDIA Cosmos-H-Dreams: Cerrahi Robotik için Gerçek Zamanlı Üretken Simülasyonu Getiriyor

Makalelere Geri Dön 1. Cerrahi Dünya Modelinden İnteraktif Simülatöre 2. Cosmos-H-Cerrahi Simülatörün Gerçek Zamanlı Olarak Damıtılması 2.1. Cerrahi Öğretmeni 2.2. Nedensel Isınma 2.3. Kendi Kendini Zorlayan Damıtma 3. FlashDreams: Gerçek Zamanlı Çıkarım Motoru 4. Kendi Verilerinize Uyarlama 5. Sırada Ne Var: Kapalı Döngü Cerrahi Fiziksel Yapay Zekaya Doğru 6. Bugün Başlayın Cerrahi robotik, teleoperasyondan giderek daha yetenekli görüş-dil-eylem politikalarına doğru hızla ilerliyor. Ancak bu sistemleri değerlendirmek ve eğitmek hala zor. Fiziksel robotik platformların çalıştırılması pahalıdır, deneylerin çoğaltılması yavaştır ve arızalar aletlere veya biyolojik materyale zarar verebilir. Geleneksel simülatörler daha güvenli bir alternatif sağlar ancak cerrahi sahnelerin modellenmesi son derece zordur: deforme olabilen doku, ince alet etkileşimleri, speküler yüzeyler, dikişler, iğneler, duman ve tıkanıklıklar hepsi önemlidir. Dünya temel modelleri farklı bir yol sunuyor. Her nesneyi ve fiziksel etkileşimi manuel olarak yazmak yerine, görsel dinamikleri doğrudan senkronize video ve robot kinematiğinden öğreniyorlar. NVIDIA'nin Cosmos-H-Surgical-Simulator'ı, bir başlangıç ​​sahnesinden ve bir dizi robot eyleminden gelecekteki cerrahi videoyu oluşturarak bu yaklaşımı gösterdi. Open-H-Embodiment ekosisteminde fiziksel değerlendirmeden daha hızlı değerlendirmeye ve sentetik veri üretimine olanak sağladı.

Bugün bir sonraki adımı tanıtıyoruz: Cerrahi robotlar için gerçek zamanlı, aksiyona dayalı üretken bir simülatör olan Cosmos-H-Dreams. Cosmos-H-Dreams, Cosmos-H-Surgical-Simulator'ın yeteneklerini nedensel, birkaç adımlı bir öğrenci modeline dönüştürür ve bunu NVIDIA'nin hızlandırılmış akış çıkarım kütüphanesi FlashDreams aracılığıyla sunar. Tek bir NVIDIA RTX PRO 6000 GPU üzerinde çalışan sonuç, bir kişinin veya öğrenilmiş bir politikanın kapalı bir döngüde kontrol edebileceği etkileşimli bir ortamdır. 1. Cerrahi Dünya Modelinden İnteraktif Simülatöre Cosmos-H-Surgical-Simulator, NVIDIA Cosmos-Predict2.5-2B üzerine inşa edilmiş ve Open-H-Embodiment veri seti ��zerinde sonradan eğitilmiş, aksiyona dayalı bir dünya temel modelidir. Cerrahi bağlam çerçevesi ve gelecekteki robot yörüngesi göz önüne alındığında, bu eylemlerin olası görsel sonuçlarını gösteren bir video üretiliyor. Bu, onu çevrimdışı politika değerlendirmesi ve sentetik veri üretimi için faydalı kılar.