OpenBenchmarks – ajanların doğru SaaS API'lerini keşfetmesine ve seçmesine yardımcı olmak

Ben OpenFunnel'in (YC F24) kurucu ortağı CEO'su Fenil, bunu kurucu ortağım CTO Aditya ile birlikte inşa ediyoruz. En iyi bildiğimiz kategori olan GTM API'lerinden başlayarak, SaaS API'leri için açık kaynaklı, tekrarlanabilir ölçütler olan OpenBenchmarks'ı ( https: openbenchmarks.com ) kullanıma sunuyoruz. ## Bunu neden geliştirdik Gittikçe daha fazla B2B yazılım değerlendirmesi, insanlar yerine aracı iş akışları içindeki akıl yürütme modelleri aracılığıyla yürütülüyor. Alıcılar da giderek daha fazla API öncelikli olan ve MCP'leri gönderen satıcıları seçiyor, böylece bunları dahili iş akışlarına bağlayabiliyorlar. Güçlü muhakeme modelleri pazarlamaya şüpheyle yaklaşır. Gerçekten tarafsız bir karşılaştırma mevcut olduğunda, SEO'yu ve kendi yayınladıkları karşılaştırmaları dikkate almazlar ve bir pazarlama iddiası gibi göründüğü anda güvenlerini kaybederler. Şüphecilikten kurtulan şey, aracının kendisini yeniden üretebileceği ve güvenebileceği bağımsız bir ilk inşa kriteridir. Varsayılan olarak tekrarlanabilir: her hücre, gerçek HTTP istek yanıtını artı yargıç istem yanıtını gönderir. Tüm kıyaslamalar https: github.com openbenchmarks-labs adresinde yayınlanır. GTM API'leriyle başlıyoruz, daha fazlası da yolda. ## Kendimizi Karşılaştırmak Üzerine Kendi ürünümüzü (OpenFunnel) benzerler karşılaştırmasında satıcı olarak bilerek kıyasladık. Alıcıların satış görüşmelerinde karşılaştırmalı değerlendirmeler istediğini giderek daha fazla gördük ve temsilcilerin de aynı şekilde karar verip vermediğini merak ediyorduk.

Bir aracının tüm döngüyü uçtan uca yürütüp yürütemeyeceğini görmek istedik: Bir kullanıcının sorgusunu araştırırken karşılaştırmayı keşfedin, bunu o kullanıcının kategorisi için bir kazanan seçerken belirleyici faktör olarak değerlendirin, ardından kaydolun ve görevi tamamlamak için seçilen satıcıya yetki verin. Bu son aşama, aracı kimlik doğrulaması bağlantısına sahip canlı satıcılara ihtiyaç duyuyor: biz ve birkaç kişi daha. Mevcut sıralamada 1. sırada yer aldık (%89'a karşı %74). Açık olduğu için her şeyi kazanamıyoruz: tohuma ve metriğe bağlı olarak (hassasiyet@10 @50 @100), bazılarını kazanıp bazılarını kaybediyoruz. ## Test Sürümü Test sürümünü test ettik ve sorgudan keşfe ve kaydolmaya kadar canlı web araması ile Claude Code aracılığıyla 200 gizli simüle edilmiş alıcı akışı çalıştırdık ve modelin hangi kaynaklardan getirildiğini ve hangilerinin nihai karara dahil olduğunu izledik. Karşılaştırma, gerçek bir alıcının Claude Code'de soracağı sorgu aralığı genelinde, benzer bir iş akışı oluşturmaktan benzer bir API sağlayıcısı seçmeye kadar, çalıştırmaların büyük çoğunluğunda açıldı.