HN'ye sorun: LLM API'nin kalitesiz yanıtlar verip vermediğini nasıl anlarsınız?
Birden fazla LLM API'sinin veya hatta OpenAI, Claude, Gemini vb. arasından tek bir API'nin üzerine inşa ediyorsanız, API bozulmaya başladığında ne yaparsınız (yavaş TTFT, yüksek hata oranları, zaman aşımları). Veya daha da kötüsü, yanıtlar varken model sürükleniyor. Bunu nasıl buluyorsunuz? Bunun yaygın bir acı mı yoksa sadece şanssız olduğum bir şey mi olduğunu anlamaya çalışıyorum. Dört özel soru: 1. Bir Yüksek Lisans API'sinin sessizce bozulmaya başladığını şu anda nasıl anlıyorsunuz? (Kendi takibiniz mi? Kullanıcı şikayetleri mi? Durum sayfasını mı kontrol ediyorsunuz? Reddit mi?) 2. "Bu benim kodum değil sağlayıcıdır" ifadesini onaylamanız genellikle ne kadar sürer? 3. Eğer fark etmeden önce bir şey size Claude API'nin şu anda Sonnet'te yüksek TTFT gösterdiğini söyleseydi, bu çalışma şekliniz hakkında herhangi bir şeyi değiştirir miydi? Yoksa tekrar deneyip ne olursa olsun devam mı edersin? 4. Bir LLM'nin davranışında değişiklik olduğunda, kullanıcılarınız fark etmeden size haber veren bağımsız bir uyarı hizmeti için ödeme yapar mıydınız? Eğer bu aslında sizin için bir sorun değilse, alabileceğim en yararlı yanıtın da bu olacağını düşünüyorum.
Özgün başlık: Ask HN: How do you find out if the LLM API is giving degraded responses