Yapay zeka iş yüklerini herhangi bir bulutta çalıştırın, Hugging Face üzerinde depolayın: SkyPilot ile sıfır çıkışlı depolama

Makalelere Geri Dön Çoğu ekip için modeller ve veri kümeleri tek bir bulutun tek bir bölgesindeki bir pakette yaşar. Geliştirme, eğitim veya hizmet amacıyla alabileceğiniz GPU'lar giderek verilerinizden farklı bir bulutta yer alıyor. Bu ikisi birbirinden ayrıldığı anda, sırf kendi verilerinizi kendi GPU'larınıza okumak için bulutlar arası transfer vergisi ödersiniz. Hugging Face ile birlikte iki yarıyı birleştirdik: modelleriniz ve veri kümeleriniz Hub'da kalır ve SkyPilot, GPU'ların bulunduğu kümede hesaplamayı (geliştirme, eğitim veya sunma) çalıştırır. Bir Hugging Face Bucket'i veya herhangi bir Hub deposunu, bir hf:// URL'si ve halihazırda sahip olduğunuz HF TOKEN ile bir SkyPilot işine bağlayın, ardından kapasitenin olduğu yerde başlatın. Hugging Face hiçbir çıkış ücreti talep etmez, dolayısıyla verilerinizi bu GPU'lara okumanın herhangi bir bulutta hiçbir maliyeti yoktur. İşte yenilikler: Her işteki Hub verileriniz. mağaza: hf, MOUNT veya COPY yoluyla bir Hugging Face Kovayı (okuma-yazma) veya herhangi bir modeli / veri kümesini / Uzay deposunu (salt okunur) bir hf:// URL'si ve mevcut HF TOKEN'iniz ile bir SkyPilot görevine bağlar. Herhangi bir GPU'da, herhangi bir bulutta çalıştırın. SkyPilot, iş hesaplamasının 20'den fazla bulut, Kubernetes, Slurm ve şirket içi ortamda gerçekleştiğini tespit eder; böylece aynı çalıştırma, herhangi bir satıcıda ayrılmış veya isteğe bağlı GPU'larınızdan hangisi mevcutsa onu kullanır. Verilerinizi okumak için çıkış yok. Hugging Face Depolamada çıkış veya CDN ücreti alınmaz, bu nedenle SkyPilot işi nerede yaparsa yapsın, modellerinizi ve veri kümelerinizi bulut başına kopya olmadan ve bunları içeri çekecek bir çıkış faturası olmadan doğrudan aynı klasörden okur. Xet destekli tekilleştirme.

Kovalar Xet üzerinde oluşturulduğundan artımlı kontrol noktaları ve model çeşitleri yalnızca değişen parçaları saklar ve aktarır. Birlikte inşa edildi. Hugging Face ve SkyPilot bunu ortak olarak gönderdi ve Hugging Face ekibi, bunun imtiyazsız konteynerlerde çalışmasını sağlayan hf montajlı FUSE düzeltmelerini yukarı akışa aldı. Hugging Face Depolama artık birinci sınıf bir SkyPilot arka ucudur SkyPilot görevleri, bulut nesne depolarını (S3, GCS, Azure, R2 ve daha fazlası) yerel bir yola monte ederek zaten okur ve yazar. Hugging Face Depolama artık bu listeye hf:// şeması aracılığıyla ulaşılan mağaza: hf olarak katılıyor: dosya bağlantıları: A Hugging Face Kontrol noktaları, günlükler, işlenmiş veriler için kova, okuma-yazma. /checkpoints: kaynak: hf://buckets/my-org/qwen-sft mağaza: hf modu: MOUNT veya COPY Salt okunur olarak monte edilmiş bir model deposu. /base-model: source: hf://Qwen/Qwen3.5-4B mağaza: hf modu: MOUNT Bir revizyona sabitlenmiş, salt okunur bir veri kümesi deposu.