Claude Opus 4.8, OpenAI GPT-5'ten 10 kat daha hızlı olabilir

Burada, blogumda, bu popüler blog yazısı için çok sayıda yorum alıyorum. Yıllar boyunca 28 bin blog yorumu. Bazıları çok kötü yazılmış ve anlaşılması zor, bu yüzden yapay zekanın yeniden yazmayı önermesine izin verdim. Blog yazısı yorumunu yapay zekaya gönderen bu kodu aslında üç kez çalıştırıyorum: bir kez OpenAI gpt-5 ile, bir kez OpenAI gpt-5-mini ile ve bir kez Claude claude-opus-4.8 ile. Sonuçları değerlendirmek için insan gözlerimi ve muhakeme yeteneğimi kullanıyorum ve size onların da aynı derecede başarılı olduğunu söyleyebilirim. Sadece çok ufak farklar var. Şaşırtıcı olan şey, OpenAI'nin gpt-5'inin inanılmaz derecede yavaş olmasıdır! Claude-opus-4.8'den neredeyse 10 kat daha yavaştır. Bunda ne var? Ayrıca gpt-5-mini ile gpt-5 arasındaki gecikme farkının önemli olduğu da açıktır. Bu yazının yazıldığı sırada gpt-5.4 ile gpt-5.4-mini arasındaki giriş tokenı fiyat farkı 0,75 $'a kıyasla 2,50 $'dı! Bu 3 kat fark demek. OpenAI kullanmak zorunda kalırsanız mini modeli düşünün çünkü hem daha ucuz hem de daha hızlı. Claude'yi eklemeden önce OpenAI'nin modellerini sarmak için litellm'i kullanıyordum. Kod şuna benzer: Bunun aksine, yerel OpenAI Python SDK'yı kullanırsanız çağrı şu şekilde görünür: OpenAI SDK'yı kullanarak litellm sarmalayıcıyı kullanarak karşılaştırdığımda hızdaki farkı ölçtüm ve fark şöyle görünüyor: Kabul ediyorum, Haziran ayında bu aramaların "sadece" 30'undan biraz fazlasını yaptım, ama garip bir şekilde arada bir fark var! Litellm'in neden toplam süreyi SDK'yı kullanmaktan farklı hale getirdiğini anlayacak karmaşık bilgiye sahip değilim.

(Ben de umursadığımdan emin değilim!) Her iki durumda da litellm'den uzaklaşıyorum ve yalnızca Claude ve OpenAI tarafından sağlanan SDK'ları kullanıyorum. Bu yıl litellm'de gördüğümüz CVE'ler göz önüne alındığında daha güvenli geliyor.