pençe işareti: açık kaynaklı CLAUDE.md A/B Testi CLI aracı
Clawmark odaklanılan bir soruyu yanıtlayan yerel bir Rust CLI'dir:
Bu iki CLAUDE.md dosyasından hangisi küçük bir SWE-bench Lite duman setinde daha iyi performans gösteriyor?
v1, tam olarak iki yerel değişken dosyayı beş paketlenmiş SWE-bench Lite göreviyle karşılaştırır. Claude'u yerel olarak çalıştırır, oluşturulan yamaları Docker'daki resmi SWE-bench donanımıyla değerlendirir ve basit bir A/B raporu yazar.
V1'de yapılandırma dosyası, web kullanıcı arayüzü, uzaktan yürütme, yeniden deneme, devam ettirme, ilerleme kullanıcı arayüzü, tekrarlanan denemeler veya tam 300 görevlik SWE tezgahı çalışması yoktur.
doktor bir durum tablosu yazdırır ve gerekli bir kontrolün başarısız olması durumunda sıfırdan farklı olarak çıkar. Eksik bir SWE-bench Docker görüntüsü yalnızca bir uyarıdır; ilk değerlendirme onu çekebilir.
Geçerli çalışma dizininde bir yerde iki değişken dosya oluşturun:
run yeni bir çıktı dizini oluşturur. --out zaten mevcutsa başarısız olur, bu nedenle her çalıştırma için yeni bir dizin kullanın.
Bir sürüm ikili dosyası oluşturduktan sonra aynı komutlar şu şekilde çalıştırılabilir:
v1 kasıtlı olarak minimum düzeydedir ve dönüş sınırı, belirteç bütçesi, yeniden deneme politikası veya görev başına maliyet üst sınırı uygulamaz. --timeout-secs yalnızca her Claude çağrısı etrafındaki duvar saati zaman aşımıdır. Geniş bir CLAUDE.md, tüm zaman aşımını repoyu araştırmak, bağımlılıklar kurmak veya yama üretmeden testler çalıştırmak için harcayabilir.
Bütçe beklentisi model davranışına göre büyük ölçüde değişiklik gösterir.
V1 duman koşusu 10 Claude çağrısı gerçekleştirir, böylece açık uçlu değişkenler kısa, yama odaklı değişkenlere göre önemli ölçüde daha fazla zaman ve kullanım kotası tüketebilir.
Bir varyant için tüm tahminler yazıldıktan sonra, pençe işareti SWE-bench donanımını A için bir kez ve B için bir kez çağırır. Rapor, koşum takımı çözülmüş_ids dizilerini gerçeğin kaynağı olarak ele alır.
Docker, Claude CLI, Claude kimlik doğrulaması, Python, swebench, SWE-bench koşum takımı CLI, git, Docker Hub kayıt defterine erişilebilirliği ve SWE-bench Docker görüntüsünün zaten mevcut olup olmadığını kontrol eder.
Sabit beş görevli A/B karşılaştırmasını çalıştırır. --timeout-secs 1 ile 86400 arasında olmalıdır; her Claude çağrısı için geçerlidir ve aynı zamanda SWE-bench koşum takımına da aktarılır.
Mevcut kablo demeti çıktısını okur, çözülmüş sayıları, A kazanır, B kazanır, her ikisi de çözümlenen bağları ve her ikisi de başarısız olan bağları yazdırır, ardından report.json yazar.
Varyant dosya adlarının CLAUDE.md olması gerekmez; içerikleri her geçici görev çalışma alanına CLAUDE.md olarak enjekte edilir.
run_records.jsonl, değişken/görev denemesi başına bir kayıt saklar.
Özgün başlık: clawmark: open-source CLAUDE.md A/B Testing CLI tool