ThunderPhone v2 – sesli yapay zeka için yeni bir mimari

Merhaba millet, Alex ThunderPhone'dan burada. Bugün v2'yi başlatıyoruz. Voice AI, hem telefon çağrılarının otomatikleştirilmesi hem de uygulamalara ses özelliklerinin eklenmesi açısından son bir veya iki yıldır gündemde olan bir konu oldu. Konuşlandırılan ses aracılarının çoğu "3 adımlı bir işlem hattı" kullanıyor: kullanıcı konuşmasını metne dönüştürmek için bir transkripsiyon modeli, metinde yanıt oluşturmak için bir LLM ve yanıt metnini sese dönüştürmek için bir TTS modeli. Ancak bu 3 adımlı sesli aracıların performansı çoğunlukla 3 nedenden dolayı böyle olmuştur: 1) Sesli aracıların hızlı olması gerekir, genellikle konuşmayı yönetmesi için düşünmeyen LLM'ler gerekir. Düşünmeyen Yüksek Lisans'lar hatalar yapar ve bu da konuşmaları bozan aptalca davranışlara yol açar. 2) Günümüzün ses yapay zeka yığınları, kullanıcının söylediklerini metne dönüştürmek için genellikle tek bir transkripsiyon modeline dayanır. Bu adımda sesten tonlarca bilgi kaybedilir ve transkripsiyon modeli bir hata yaparsa Yüksek Lisans'ın çoğu zaman iyileşme yolu yoktur. Bu aynı zamanda aramaları bozan birçok aptalca davranışa da yol açar. 3) Doğal konuşma yönetimi zor bir sorundur - arka plan sesleri gibi gürültüyü filtrelemek, yapay zekanın ne zaman "hı-hı" ile değil "hı, bekle" ile kesilmesine izin verileceğini bilmek vb. - bu aynı zamanda garip konuşmalara da yol açar. Tüm bunlara yönelik "acı derslerle dolu" çözüm, büyük olasılıkla her zaman ses alıp veren, ileri geri akıcı bir şekilde izin veren ve aynı zamanda perde arkasında daha akıllı bir model çağıran "tam çift yönlü" bir model olacaktır.

OpenAI, en son GPT-Live sürümüyle bu mimariye doğru gerçek ilerleme kaydeden ilk teknoloji gibi görünüyor, ancak bu teknoloji henüz telefon görüşmelerine bağlanmaya hazır değil. Bu arada, telefon görüşmelerinin performansını 3 adımlı bir işlem hattıyla mümkün olanın çok ötesinde artıran bir yığın oluşturduk. ThunderPhone yığını birkaç bilgiyi bir araya getiriyor: 1) Birden fazla transkripsiyon modelini aynı anda çalıştırmak ve sesi doğrudan LLM'lere aktarmak dahil olmak üzere, sesten sinyali birden fazla yolla yakalamak. Bu, özellikle veri girişi, çok dilli aramalar vb. gibi zorlu problemlerde hata oranlarını büyük ölçüde azaltır. 2) Düşünen ve düşünmeyen Yüksek Lisans'ları birleştirmek: Bir konuşmada, bazı şeylere diğerlerinden daha hızlı yanıt vermek doğaldır ve hatta bazen birine nihai bir yanıtla geri dönmenin daha uzun süreceğini belirtmek için "oh, bunu bir düşüneyim" gibi şeyler söylemek doğaldır.