OpenAI 900 Milyon Kullanıcıya Düşük Gecikmeli Ses Yapay Zekasını Nasıl Sunuyor?

Matic, evinizi sizin gördüğünüz gibi gören, görsel açıdan akıllı ilk robot süpürgedir, böylece istediğiniz gibi temizlik yapabilir. Matic'in kahraman özellikleri: Süpürme ve paspaslama arasında otomatik geçiş yapmak için zemin türlerini tanır Büyük tekerlekler ve yüksekliği ayarlanabilir temizleme başlığı kalın kilimleri temizler Tek bir torba kuru ve ıslak atıkları toplar; bebek bezi tuzları jeli kirli su, antimikrobiyal toz küflenmeyi önler Daha temiz hava için her torbada yeni bir HEPA filtre, yıkamaya veya değiştirmeye gerek yok 180 günlük para iade garantisiyle Matic ile otonom temizliği deneyimleyin. OpenAI haftada 900 milyon kullanıcı için sesli yapay zeka çalıştırıyor ve bunun için WebRTC'yi kullanıyorlar çünkü alternatif, internetin canlı sesi işleme biçimini yeniden icat etmek anlamına gelebilir. İşin püf noktası, WebRTC'nin sabit IP'lere ve bağlantı noktalarına sahip sunucular için tasarlanmış olması ve Kubernetes'in bu adresleri tek kullanımlık olarak ele almasıdır. Bu ölçekteki geleneksel yanıt, grup video görüşmeleri gibi çok taraflı iş yüklerine uygun bir SFU'dur, ancak OpenAI'in trafiği ezici bir çoğunlukla tek bir kullanıcının tek bir modelle konuşmasından oluşur. Bununla başa çıkmak için mimarileri yığını iki parçaya böler: Durum bilgisi olmayan bir röle, coğrafi uçta protokole duyarlı paket yönlendirmeyi yönetir. Bunları birbirine bağlayan püf noktası, protokolün kurulum sırasında zaten değiştirdiği bir alan olan ICE ufrag'ı, rölenin yeni bir oturumun ilk paketini okuyabileceği bir yönlendirme anahtarı olarak kullanmaktır.

Global Relay'den Go kullanıcı alanı uygulamasına, Redis önbelleğine ve dikkatli soket düzeyindeki optimizasyonlara kadar her şey bu temel fikrin üzerine inşa edilmiştir. Bu yazıda tüm yolculuğa detaylı olarak bakacağız ve OpenAI mühendislik ekibinin karşılaştığı zorluklara bakacağız. Yasal Uyarı: Bu gönderi, Open AI Mühendislik Ekibi tarafından herkese açık olarak paylaşılan ayrıntılara dayanmaktadır. Herhangi bir yanlışlık fark ederseniz lütfen yorum yapın. Voice AI ya bir konuşma gibi ya da bir telsiz gibi hissettiriyor. Bu deneyimler arasındaki çizgi milisaniyelerle ölçülür. Ağ, bir kullanıcıyı duymakla yanıt vermek arasında durakladığında yanılsama bozulur. Duraklamalar garipleşiyor, kesintiler kesiliyor ve kullanıcılar yapay zekayı cümlenin ortasında kesmek zorunda kalıyor ki bu da oldukça kaba bir davranış. Başka bir deyişle, ses yapay zekası yalnızca konuşmanın konuşma hızında ilerlemesi durumunda doğal hissettirir. Altındaki daha zor kısıtlama, sürekli akış özelliğidir.