OpenAI Gerçek Zamanlı API ile kalabalık bir odada metinle konuşun

Bir OpenAI Gerçek zamanlı ses bileşeni, bir restoran uygulamasındaki her formu doldurur, gürültülü bir odada hayatta kalır ve neredeyse tüm ayarlarını komut istemi aracılığıyla alır. Restoran personelinin talebi bir yapay zeka özelliği için değildi. Daha az dokunmak içindi. Rezervasyon girişi, ayakta dururken tek elle yazılan ve asıl işle yarışan isim, telefon, masa notu, misafir sayısı ve süre anlamına gelir. Bir kez söyleyip formu doldurtmak istediler. Aşağıdaki her şey bu gereksinimin dönüştüğü şeydir. Mikrofonu istediler ve analitikler benden önce onlarla aynı fikirdeydi. Bir formun hem klavye hem de mikrofon sunduğu ekranlarda, personel neredeyse her seferinde mikrofonu seçiyordu; bu da sesin kalan formlara genişletilmesinin bir karar olmaktan çıkmasına yetecek kadar tutarlıydı. Şartın önemli kısmı: Konuşmak istemediler. Kimse "ve kaç misafir?" sorusunun sorulmasını istemez. Bir masada dururken bir telefonla. Rezervasyonun tamamını tek cümleyle söyleyip alanlarda görmek, sonra yanlış olanı düzeltip teslim etmek istiyorlar. Yani hedef asla bir sohbet arayüzü olmadı. Konuşmanın girdiği ve bilinen alan kimliklerinin çıktığı form girişi yapılandırılmıştır. OpenAI Gerçek zamanlı, bir oturumu WebRTC veya WebSocket üzerinden açık tutan ve aynı bağlantıda ses girişi ve model çıkışını işleyen, durum bilgisi olan bir akış API'sidir.

Alternatif şekil ve iki yıl önce oluşturacağım şey, sesi kaydetmek, yüklemek, bir konuşma API'si ile yazıya dökmek ve ardından metni çıkarmak için ikinci bir modele göndermektir. Ağda üç gidiş-dönüş, iki satıcı ve bunların her biri kullanıcının hissettiği gecikmeyi artırıyor. Uyum çoğunlukla boru hattının çökmesiyle ilgilidir. Konuşma gelir, çıkarma geri gelir ve yapılandırılacak tek bir yer ve işlerin bozulacağı tek bir yer vardır. Buradaki yanlış yapı, ekran başına ses uygulamasıdır. İlk seferde çalışır ve ardından her yeni form, kendi mikrofon durumunu, kendi ayrıştırmasını, kendi ses yaşam döngüsü hatalarını beraberinde getirir. Paylaşılan bileşen, alan tanımlarını ve bir bilgi istemi oluşturucuyu alır. Ekran başına yalnızca çıkarma talimatları ve çıktı şeması farklılık gösterir: Birisi "Marko Petrovski, 070 123 456, 4 kişilik pencere kenarında 2 saat" diyor ve şema geri gelenin şeklini zorluyor: Süreye dikkat edin.