Open-Cowork – açık kaynaklı, modelden bağımsız bir bilgisayar kullanım aracısı

Merhaba HN, Bir bilgisayarı ekran görüntüleri, fare girişi ve klavye girişi aracılığıyla çalıştırabilen MIT lisanslı bir masaüstü aracısı olan Open Cowork'ü geliştirdik. Daha uzun görevler için ortak çalışma tarzı bilgisayar aracılarını kullandıktan sonra bunun üzerinde çalışmaya başladık. Etkileşim modeli faydalıydı ancak bilgisayar kullanımı, model çağrılarını sohbetten çok daha hızlı bitirir: ekran görüntüsü alın, ne yapacağınıza karar verin, bir eylem gerçekleştirin, sonucu inceleyin ve tekrarlayın. Bu aracı döngüsünü herhangi bir modelden veya abonelikten ayırmak istedik. Open Cowork şu anda Ollama aracılığıyla yerel modellerle ve OpenAI, Anthropic, Google, xAI, Mistral ve OpenRouter gibi sağlayıcılar aracılığıyla barındırılan modellerle çalışmaktadır. Temsilcinin eylemlerini gerçekleşirken izleyebilir ve çalıştırma sırasında kesintiye uğratabilirsiniz. Temel döngü şu şekildedir: Geçerli ekranı yakalayın Ekran görüntüsünü ve görev durumunu modele gönderin Önerilen eylemi ayrıştırın Fare veya klavye eylemini yürütün Ortaya çıkan durumu yakalayın Tamamlanana, kesintiye veya bir güvenlik koşuluna kadar devam edin Uygulamayı şekillendiren can sıkıcı iki yaygın hata. İlki, doğru yapılandırılmış gibi görünen ancak gerçekte görüntü girişini işleyemeyen bir modelin seçilmesiydi. Temsilci başlayacak, kullanılamaz yanıtlar alacak ve çalışmayı boşa harcayacaktır. Artık göreve başlamadan önce modelin ekran görüntüsü özelliğini test ediyoruz. İkincisi ise ajanların teknik olarak hata yapmadan takılıp kalmasıydı.

Aynı alanı tekrar tekrar tıklatıyorlar, değişmeyen ekranı gözlemlemeye devam ediyorlar veya aynı eylemin biraz farklı versiyonlarını üretiyorlardı. Adım bütçesinin tamamını tüketmek yerine çalıştırmanın durabilmesi için boşta kalma ve tekrarlama tespiti ekledik. Modeli Ollama ile yerel olarak da çalıştırabilirsiniz. Bu kurulumda ekran görüntüleri ve model istekleri makinenizde kalır. Bunun dezavantajı, bilgisayar kullanımının zorlu olmasıdır: daha küçük yerel modeller, karmaşık arayüzleri anlama ve beklenmedik durumlardan kurtulma konusunda genellikle fark edilir derecede daha az güvenilirdir. Bir API anahtarı yapılandırmadan veya çıkarım için para harcamadan tüm etkileşim akışını incelemek istiyorsanız, paketlenmiş bir çevrimdışı örnek vardır. Bu henüz erken. Çözülmemiş en zor sorun doğrulamadır. Bir eylemden sonra beklenen piksellerin görülmesi, temeldeki işlemin başarılı olduğu anlamına gelmez. Bir form, dahili durumu yanlış olduğunda doldurulmuş görünebilir ve bazı hatalar yalnızca daha sonraki bir onay sayfasında veya harici bir yan etki yoluyla görülebilir.