Sparks Fly: NVIDIA Accelerates Local AI at IFA 2026
Sınır istihbaratı yerelleşiyor. IFA 2026'da NVIDIA, Microsoft ve iş ortakları, aracıların NVIDIA donanımında yerel olarak kurulmasını ve çalıştırılmasını kolaylaştıran daha hızlı çıkarım ve yeni araçlar sağlamak için bir araya geliyor. Yeni kompakt NVIDIA RTX Spark Windows PC'ler de yapay zeka meraklılarına, geliştiricilere ve yaratıcılara yetenekli aracıları yerel ve güvenli bir şekilde çalıştırmaları için daha fazla yol sunmak üzere Ekim ayında geliyor. Yerel bir aracının yerel modellerle kurulup çalıştırılması biraz çaba gerektiriyordu; bir model seçmek, uyumlu bir çıkarım sunucusu bulmak, nicemleme ayarlarını çevirmek ve her şeyi güncel tutmak. RTX ve DGX sistemlerinde bu sürtünme ortadan kalkıyor. En yaygın kullanılan aracı uygulamalarından üçü, her biri llama.cpp üzerine kurulu ve NVIDIA'nin en son çıkarım optimizasyonlarını içeren, Windows'ta basitleştirilmiş yerel model kurulumu sunacak. Yeni kurulum deneyimleri, manuel yapılandırmayı azaltmak ve yerel aracıların çalışır duruma getirilmesini kolaylaştırmak için tasarlanmıştır. Geçtiğimiz ay Perplexity, Taşınabilir Bilgisayar aracısını tanıttı ve kullanıcılara tek bir uygulama deneyiminde paketlenmiş modeller, orkestrasyon ve araçlarla NVIDIA DGX Spark gibi Linux sistemlerinde Perplexity'yi yerel olarak çalıştırmanın basit bir yolunu sundu. Perplexity Taşınabilir Bilgisayar, Linux üzerinde çalışan en az 24 GB VRAM'e sahip NVIDIA RTX GPU'larda mevcuttur; Windows desteği de yakında gelecek ve aynı kolaylaştırılmış kurulumu daha geniş bir PC kullanıcı grubuna sunacaktır.
Kullanıcılar, ek araştırma veya muhakeme gerektiğinde bir görevin bölümlerini seçici olarak buluttaki 15'ten fazla sınır modelinden birine aktarırken, kredi tüketmeden iş akışlarının tamamını yerel olarak çalıştırabilir. Taşınabilir Bilgisayar, içeriği buluta göndermeden önce izin ister ve kullanıcıların hassas bilgileri cihazlarında tutmasına yardımcı olur. İşte bazı örnek kullanım durumları: Nous Research tarafından geliştirilen Hermes Agent, milyonlarca kişi tarafından kullanılan, güvenilirlik ve kendini geliştirme konusunda üstün olan genel amaçlı bir ajandır. Model ve sağlayıcıdan bağımsız Hermes, tüm gün yerel sistemlerde çalışacak şekilde tasarlanmıştır; bu da RTX PC'leri, RTX PRO iş istasyonlarını ve DGX Spark'ı doğal bir uyum haline getirir. Hermes'te yerel bir modelin yapılandırılması, kullanıcılara Windows'taki RTX ve DGX sistemlerinde tek tıklamayla kurulum olanağı sağlayacak. Aracı, NVIDIA GPU'yu otomatik olarak algılayacak, uygun bir model ve konfigürasyon seçecek ve halihazırda mevcut olan NVIDIA çıkarım optimizasyonlarıyla entegre llama.cpp aracılığıyla çalıştırarak manuel model indirme ve ayarlama işlemlerini ortadan kaldıracaktır.