OpenAI ChatGPT'in ses yığınını yeniden oluşturdu, böylece GPT-Live konuşurken dinleyebilir

Özel bir ses yolu konuşmaların devam etmesini sağlarken, GPT-5.5 arka planda akıl yürütme, arama ve araçları yönetir. GPT-Live, gerçek zamanlı konuşmayı daha yavaş akıl yürütme ve araç kullanımından ayırarak, sesli aracılar oluşturan geliştiriciler için yeni bir altyapı temeli oluşturur. OpenAI mühendisleri Justin Uberti ve Zahan Malkani, 3 Ağustos'ta ChatGPT'nin GPT-Live'ın aynı anda dinleme ve konuşma yapmasına olanak tanıyan, diğer modellerin ise arka planda arama, akıl yürütme ve araç çağrılarını yönetmesine olanak tanıyan altı aylık ses altyapısının yeniden inşasını ayrıntılı olarak açıkladı. Mühendisler, OpenAI'nin 8 Temmuz'da GPT-Live'ı küresel olarak kullanıma sunmaya başlamasından yaklaşık dört hafta sonra, bir OpenAI mühendislik gönderisinde ve X'te bir başlıkta mimariyi açıkladılar. Teknik hesap, kullanıcıların konuşma zamanlaması olarak deneyimlediği bir ürün davranışının arkasında ne kadar altyapının bulunduğunu gösterir. WebRTC'nin orijinal mimarlarından biri olan Uberti ve Malkani, OpenAI'nin teknik ekibinin üyeleridir. Uberti'nin geçmişi sistemin merkezinde yer alıyor: GPT-Live, aktarım temeli olarak düşük gecikmeli ses ve video için oluşturulmuş iletişim standardı olan WebRTC'ye güveniyor. OpenAI daha önce Uberti ve Pion'un yaratıcısı Sean DuBois'in gerçek zamanlı yapay zeka ve WebRTC altyapısı üzerindeki çalışmalarına rehberlik ettiği için itibar etmişti. Daha önce ChatGPT ses sistemleri konuşmayı bir dizi dönüş olarak ele alıyordu. Bir dedektör, model yanıt vermeye başlamadan önce kullanıcının konuşmayı ne zaman bıraktığını belirlemeye çalıştı.

Bu tasarım rahatsız edici bir değiş tokuş yarattı: Erken bir karar kullanıcının bağlantısını kesebilirken, geç bir karar duyulabilir bir duraklamaya neden olabilirdi. GPT-Live, ayrı dönüş dedektörünü ses yolundan kaldırır. Tam çift yönlü modeli, giden sesi üretirken gelen konuşmayı sürekli olarak işler ve saniyede birkaç kez dinlemeye, konuşmaya, duraklatmaya, kesmeye veya başka bir sistemi başlatmaya karar vermesine olanak tanır. OpenAI bu sürekli ses döngüsünü ChatGPT'in uygulama mantığının geri kalanından ayırdı. Konuşma, istemci ile GPT-Live arasında özel bir hızlı yol üzerinden ilerler. Arama, araç çağrıları, ısrar ve daha derin akıl yürütme, eşzamansız bir sınırın arkasında yer aldığından, yavaş bir hizmet, modelin dinlemesini veya konuşmasını durdurmadan kendi sonucunu geciktirmelidir. Bu bölüm, GPT-Live'ın konuşmayı sürdürmesine olanak tanırken, GPT-5.5 daha zorlu bir istek üzerinde çalışır.