Her，正從電影，走向現(xiàn)實(shí)。

今年 5 月，OpenAI 發(fā)布最新 AI 多模態(tài)大模型 GPT-4o。相比此前的 GPT-4 Turbo，GPT-4o 速度快了兩倍，成本低了一半，實(shí)時(shí)的 AI 語(yǔ)音互動(dòng)的平均時(shí)延，相比此前版本的 2.8 秒 (GPT-3.5) 到 5.4 秒 (GPT-4)，更是達(dá)到了 320 毫秒——與人類(lèi)日常對(duì)話(huà)響應(yīng)速度幾乎一致。

不僅是效率的提升，對(duì)話(huà)中的情感分析也成為了此次產(chǎn)品更新的特色之一。在與主持人的對(duì)話(huà)中，AI 可以聽(tīng)出他說(shuō)話(huà)時(shí)的「緊張」，并且針對(duì)性的提出了深呼吸的建議。

OpenAI，正成為大模型時(shí)代硅基的「造物主」。

然而，發(fā)布會(huì)很震撼，現(xiàn)實(shí)卻很骨感。產(chǎn)品落地上，這場(chǎng)大模型技術(shù)革命的發(fā)起方 OpenAI，正逐漸變得像一家「期貨」公司。

主打全能、低時(shí)延的 GPT-4o 發(fā)布后，實(shí)時(shí)音視頻功能的上線(xiàn)迄今仍在跳票；視頻多模態(tài)產(chǎn)品 Sora 發(fā)布，同樣遲遲不見(jiàn)開(kāi)放。

但這不只是 OpenAI 一家企業(yè)的問(wèn)題——ChatGPT 發(fā)布后，國(guó)內(nèi)國(guó)產(chǎn)版 ChatGPT 多如過(guò)江之鯽，但是真正對(duì)標(biāo) GPT-4o 的，目前卻只有一個(gè)商湯的日日新 5.5，進(jìn)度也同樣停留在月內(nèi)公測(cè)。

為什么發(fā)布會(huì)上，實(shí)時(shí)多模態(tài)大模型距離變革世界只有一步之遙；在真正走向產(chǎn)品化落地的過(guò)程中，卻總是「現(xiàn)貨」變「期權(quán)」？

一種新的聲音正在浮出水面：在多模態(tài)的世界里，或許（算法）暴力無(wú)奇跡。

01 實(shí)時(shí)語(yǔ)音，一條必經(jīng)的AI 商業(yè)化路線(xiàn)

技術(shù)的成熟，正助推一個(gè)嶄新的藍(lán)海產(chǎn)業(yè)逐漸成型。

硅谷知名風(fēng)投機(jī)構(gòu) a16z 數(shù)據(jù)顯示，全球用戶(hù)量 Top50 AI 應(yīng)用中，9 款是陪伴型產(chǎn)品。AI 產(chǎn)品榜數(shù)據(jù)則顯示，今年 5 月 AI 伴侶的訪(fǎng)問(wèn)量高達(dá) 4.32 億，同比增長(zhǎng) 13.87%。

高需求、高增速、高市場(chǎng)空間，AI 陪伴，帶來(lái)的是商業(yè)模式與人機(jī)交互的雙重變革。

商業(yè)的成熟，也在反向倒逼技術(shù)的不斷進(jìn)步。僅以今年上半年為節(jié)點(diǎn)，實(shí)時(shí) AI 語(yǔ)音技術(shù)在短短六個(gè)月，就已經(jīng)發(fā)生了三次迭代。

第一波技術(shù)浪潮的代表性產(chǎn)品是 Pi。

今年 3 月，初創(chuàng)企業(yè) Inflection AI 更新了面向個(gè)人用戶(hù)的情感聊天機(jī)器人 Pi。

Pi 的產(chǎn)品界面非常簡(jiǎn)潔，文本+對(duì)話(huà)框是核心交互界面，但也增加了語(yǔ)音讀取，電話(huà)等 AI 語(yǔ)音功能的設(shè)計(jì)。

實(shí)現(xiàn)這種語(yǔ)音交互，Pi 依靠的是傳統(tǒng)的 STT（語(yǔ)音識(shí)別，Speech-to-Text）-LLM（大模型語(yǔ)義分析）- TTS（文本到語(yǔ)音，Text To Speech）三步走的語(yǔ)音技術(shù)。其特點(diǎn)是技術(shù)成熟，但反應(yīng)慢，缺乏對(duì)語(yǔ)氣等關(guān)鍵信息的理解，無(wú)法做到真正的實(shí)時(shí)語(yǔ)音對(duì)話(huà)。

與之同期的另一款特色產(chǎn)品是 Call Annie。相比 Pi，Call Annie 有完整的視頻通話(huà)體驗(yàn)設(shè)計(jì)，除了接掛電話(huà)的設(shè)計(jì)之外，聽(tīng)話(huà)功能還可以最小化之后切入其他 App，并支持四十多種對(duì)話(huà)角色設(shè)定。

然而它們都有著共同的技術(shù)問(wèn)題——高時(shí)延與情感色彩缺乏。時(shí)延上，即是行業(yè)內(nèi)最先進(jìn)的 OpenAI，也會(huì)出現(xiàn) 2.8 秒（GPT-3.5）到 5.4 秒（GPT-4）的延遲。情感上，則會(huì)出現(xiàn)在交互中丟失如音調(diào)、音高、語(yǔ)速等信息，更無(wú)法做到輸出笑聲、唱歌聲等高級(jí)語(yǔ)音表達(dá)

在此之后，新一波技術(shù)的代表則是一款名叫 EVI 的產(chǎn)品。

這款產(chǎn)品在今年 4 月由 Hume AI 推出，并為 Hume AI 帶來(lái)了 5000 萬(wàn)美元（約 3.62 億人民幣）的 B 輪融資。

產(chǎn)品設(shè)計(jì)上，Hume AI 在底層算法環(huán)節(jié)推出了 Playground 功能，用戶(hù)可以自己選擇配置選擇大模型，除了官方默認(rèn)，還可以選擇像 Claude、GPT-4 Turbo 等。但不同之處是語(yǔ)音帶上了情感，因此在表達(dá)上，也有了節(jié)奏、語(yǔ)調(diào)的變化。

實(shí)現(xiàn)這一功能，主要依靠在傳統(tǒng)的 STT-LLM- TTS 三步走環(huán)節(jié)中，加入新的 SST（semantic space theory，語(yǔ)義空間理論）算法。SST 能通過(guò)廣泛的數(shù)據(jù)收集和先進(jìn)的統(tǒng)計(jì)模型，精準(zhǔn)繪制人類(lèi)情感的全譜圖，揭示人類(lèi)情感狀態(tài)之間的連續(xù)性，使得 EVI 具備很多擬人化的特色功能。

情感進(jìn)步的代價(jià)，則是時(shí)延的進(jìn)一步犧牲，與 EVI 對(duì)話(huà)，用戶(hù)需要等待的時(shí)間，相較 Pi 與 Call Annie 進(jìn)一步增加。

到了 5 月中旬 GPT-4o 發(fā)布，融合多模態(tài)技術(shù)成為這一時(shí)期的技術(shù)方向標(biāo)。

與過(guò)去的三步式語(yǔ)音交互產(chǎn)品相比，GPT-4o 是一款跨文本、視覺(jué)和音頻端到端訓(xùn)練的新模型，這意味著所有輸入和輸出都由同一個(gè)神經(jīng)網(wǎng)絡(luò)處理。

時(shí)延問(wèn)題也因此被極大改善。OpenAI 官宣，GPT-4o 的實(shí)時(shí)語(yǔ)音交互，可以做到最快 232 毫秒、平均 320 毫秒的響應(yīng)音頻輸入。情感上，用戶(hù)與 AI 的交互也變得越來(lái)越有智能屬性，語(yǔ)速變化、情感理解得到實(shí)現(xiàn)。

產(chǎn)品層面，人類(lèi)與 AI 談戀愛(ài)、AI 替代盲人看世界也因此成為可能。

前不久推出語(yǔ)音電話(huà)功能、2024 年硅谷引人矚目的新星——Character.ai，就成為了這次技術(shù)浪潮中的最大受益者。

在 Character.ai，用戶(hù)有機(jī)會(huì)在超逼真的角色扮演中與動(dòng)漫人物、電視名人和歷史人物的摹本發(fā)短信。新奇的設(shè)定帶來(lái)了產(chǎn)品用戶(hù)數(shù)量的暴增，根據(jù) Similarweb 的數(shù)據(jù)，Character.ai 每秒可以處理 20000 個(gè) AI 推理請(qǐng)求，5 月的訪(fǎng)問(wèn)量高達(dá) 2.77 億。

Character.ai 和 perplexity.ai 的流量對(duì)比｜圖片來(lái)源：Similarweb

與之同期，微軟、谷歌等紛紛官宣旗下的大模型將推出實(shí)時(shí)語(yǔ)音通話(huà)功能。

然而滴水不漏的產(chǎn)品設(shè)計(jì)，在現(xiàn)實(shí)執(zhí)行中，卻總是呈現(xiàn)出三峽泄洪的落地效果——第三波浪潮之中，發(fā)布會(huì)上幾近「her」式的陪伴產(chǎn)品，在實(shí)際落地中，全部變成了「計(jì)劃」推出、即將推出、內(nèi)測(cè)中。

一個(gè)毫無(wú)疑問(wèn)的結(jié)論是，實(shí)時(shí)音視頻有可能成為人機(jī)互動(dòng)終極形態(tài)，除了AI陪伴場(chǎng)景外，游戲智能 NPC、AI 口語(yǔ)老師、實(shí)時(shí)翻譯等場(chǎng)景都有望迎來(lái)爆發(fā)，但在此之前，如何解決「發(fā)布會(huì)」到產(chǎn)品落地的最后一公里，是當(dāng)下行業(yè)最棘手的難題。

02 AI 實(shí)時(shí)語(yǔ)音，大力無(wú)奇跡

AI實(shí)時(shí)語(yǔ)音「大力無(wú)奇跡」，一個(gè)悲觀(guān)的說(shuō)法正在硅谷悄悄蔓延。

阻力則來(lái)自技術(shù)、監(jiān)管以及商業(yè)的方方面面。

技術(shù)上的反對(duì)派精神領(lǐng)袖，是「卷積網(wǎng)絡(luò)之父」楊立昆（Yann LeCun）。

在他看來(lái)：大模型技術(shù)，相比過(guò)去的各種 AI 算法，最大的特點(diǎn)是「大力出奇跡」。通過(guò)大數(shù)據(jù)投喂，以及動(dòng)輒上億參數(shù)體量與高性能的計(jì)算集群硬件支持，算法由此可以用于處理更復(fù)雜的問(wèn)題，以及更高的可擴(kuò)展性。然而，我們當(dāng)前對(duì)于大模型過(guò)于樂(lè)觀(guān)，尤其是多模態(tài)大模型可能就是世界模型的觀(guān)點(diǎn)，更是無(wú)稽之談。

比如，人有五感，才組成我們對(duì)于世界的真實(shí)認(rèn)知，基于大量互聯(lián)網(wǎng)文本訓(xùn)練的 LLM，缺乏對(duì)物理世界的觀(guān)察與互動(dòng)，也缺乏足夠多的常識(shí)。因此生成視頻或者語(yǔ)音的過(guò)程中，總是會(huì)出現(xiàn)看似天衣無(wú)縫的內(nèi)容，運(yùn)動(dòng)軌跡，或者聲音情感中，卻缺乏真實(shí)感。此外，硬性的物理限制也是問(wèn)題，面對(duì)與日俱增的模型大小以及交互維度，目前的大模型缺乏足夠的帶寬處理如此信息。

監(jiān)管層面，AI實(shí)時(shí)語(yǔ)音，也就是端到端的語(yǔ)音大模型，面臨的是技術(shù)與倫理的博弈。

過(guò)去，傳統(tǒng)的 AI 語(yǔ)音產(chǎn)業(yè) STT-LLM- TTS 的三步走，首先是技術(shù)不成熟所導(dǎo)致，進(jìn)化到端到端的語(yǔ)音大模型需要在模型架構(gòu)、訓(xùn)練方法和多模態(tài)交互等方面實(shí)現(xiàn)額外的技術(shù)突破。同時(shí)，也是由于語(yǔ)音本身的監(jiān)管難度高于文字，導(dǎo)致 AI 語(yǔ)音極易被用至電話(huà)詐騙、色情以及垃圾營(yíng)銷(xiāo)等場(chǎng)景。為了便于審核，中間的文字環(huán)節(jié)，也在一定程度上變得必要。

而在商業(yè)層面，端到端的音視頻大模型訓(xùn)練，在訓(xùn)練階段，需要大量 YouTube 以及播客的數(shù)據(jù)，成本是過(guò)去文字訓(xùn)練模型的幾十倍甚至更高，一次訓(xùn)練成本千萬(wàn)美金起步。

而這種成本，對(duì)于此時(shí)的普通 AI 企業(yè)來(lái)說(shuō)，天上掉錢(qián)都已經(jīng)沒(méi)用，還得一起掉下英偉達(dá)高端 AI 算卡、千兆存儲(chǔ)還有取之不盡的無(wú)風(fēng)險(xiǎn)音視頻版權(quán)。

當(dāng)然，無(wú)論是楊立昆的技術(shù)判斷，還是可能的監(jiān)管難題，亦或是商業(yè)化的成本困境，這些對(duì) Open AI 來(lái)說(shuō)，都算不上最核心的問(wèn)題。

真正讓 GPT-4o 類(lèi)實(shí)時(shí)AI語(yǔ)音交互類(lèi)產(chǎn)品現(xiàn)貨變期貨的根本原因，出在工程落地層面。

03 插著網(wǎng)線(xiàn)演示的 GPT-4o，還差一個(gè)好用的 RTC 助攻

一個(gè)業(yè)內(nèi)心照不宣的秘密是，GPT-4o 類(lèi)AI實(shí)時(shí)語(yǔ)音產(chǎn)品，在工程層面，只成功了一半。

GPT-4o 的發(fā)布會(huì)上，宣稱(chēng)低延時(shí)的同時(shí)，有眼尖的用戶(hù)發(fā)現(xiàn)，演示視頻中的手機(jī)，還插著網(wǎng)線(xiàn)。這也就意味著：GPT-4o 官宣的平均 320ms 時(shí)延，很可能是固定設(shè)備、固定網(wǎng)絡(luò)、固定場(chǎng)景的 demo，在理想狀態(tài)下才能達(dá)成的實(shí)驗(yàn)室指標(biāo)。

OpenAI 的 GPT-4o 發(fā)布會(huì)現(xiàn)場(chǎng)明顯可見(jiàn)手機(jī)插線(xiàn)｜圖片來(lái)源：OpenAI

問(wèn)題出在哪里？

從技術(shù)層面拆解，要實(shí)現(xiàn) AI 實(shí)時(shí)語(yǔ)音通話(huà)，算法層面的三步合為一步，只是其中核心環(huán)節(jié)之一，另一個(gè)核心環(huán)節(jié) RTC 通信層面，也面臨一系列技術(shù)挑戰(zhàn)。所謂 RTC，可以簡(jiǎn)單地理解為在實(shí)時(shí)的網(wǎng)絡(luò)環(huán)境下進(jìn)行音視頻的傳輸和交互, 是一種支持實(shí)時(shí)語(yǔ)音、實(shí)時(shí)視頻等互動(dòng)的技術(shù)。

聲網(wǎng)音頻技術(shù)負(fù)責(zé)人陳若非告訴極客公園，在實(shí)際落地的應(yīng)用場(chǎng)景中，用戶(hù)通常無(wú)法一直處于固定設(shè)備、固定網(wǎng)絡(luò)和固定物理環(huán)境下。在我們?nèi)粘＿M(jìn)行視頻通話(huà)場(chǎng)景中，一方的網(wǎng)絡(luò)不佳后，就會(huì)出現(xiàn)說(shuō)話(huà)卡頓、延遲變高的現(xiàn)象，這種情況同樣會(huì)出現(xiàn)在 AI 實(shí)時(shí)語(yǔ)音通話(huà)中，所以低延時(shí)的傳輸、優(yōu)異的網(wǎng)絡(luò)優(yōu)化對(duì) RTC 傳輸至關(guān)重要。

此外，多設(shè)備適配、音頻信號(hào)的處理等也是 AI 實(shí)時(shí)語(yǔ)音落地中不容忽視的技術(shù)環(huán)節(jié)。

如何解決這些問(wèn)題？

答案就藏在 OpenAI 最新的招聘需求中，OpenAI 特地提到，要招聘工程人才，幫助他們把最先進(jìn)的模型部署到 RTC 環(huán)境中。

具體的方案選擇上，GPT-4o 使用的 RTC 技術(shù)，是一種基于 WebRTC 的開(kāi)源方案，可以在技術(shù)層面解決一定的時(shí)延，以及不同網(wǎng)絡(luò)環(huán)境帶來(lái)的丟包、通信內(nèi)容安全，以及跨平臺(tái)的兼容問(wèn)題。

然而開(kāi)源的 B 面，則是產(chǎn)品化的薄弱。

舉個(gè)簡(jiǎn)單的例子，多設(shè)備適配問(wèn)題，RTC 的使用場(chǎng)景大多以手機(jī)為代表，但不同型號(hào)手機(jī)的通信、聲音采集能力千差萬(wàn)別：目前蘋(píng)果手機(jī)已經(jīng)可以做到大約幾十毫秒的穩(wěn)定延時(shí)，但是生態(tài)較為復(fù)雜的 Android 生態(tài)，不僅機(jī)型多、高端與低端產(chǎn)品的性能差距也頗為明顯，部分低端型號(hào)設(shè)備，在采集與通信層面，時(shí)延就能高達(dá)幾百毫秒。

再比如，AI 實(shí)時(shí)語(yǔ)音應(yīng)用場(chǎng)景中，人的語(yǔ)音信號(hào)可能會(huì)混雜了背景噪聲，需要進(jìn)行復(fù)雜的信號(hào)處理，移除噪聲和回聲，確保干凈、高質(zhì)量的語(yǔ)音輸入，讓 AI 更能聽(tīng)懂人說(shuō)的話(huà)。

多設(shè)備的兼容性、先進(jìn)的音頻降噪的能力也正是開(kāi)源 WebRTC 所欠缺的。

行業(yè)經(jīng)驗(yàn)，是開(kāi)源產(chǎn)品在應(yīng)用中的卡脖子難題。也是因此，相比開(kāi)源方案，大模型廠(chǎng)商與專(zhuān)業(yè)的 RTC 方案商一起打磨共同優(yōu)化，一定程度上更能代表未來(lái)的行業(yè)趨勢(shì)。

在 RTC 領(lǐng)域，聲網(wǎng)是最具代表性的廠(chǎng)商，曾因?yàn)閷?duì) Clubhouse 提供音頻技術(shù)而廣為人知，根據(jù)聲網(wǎng)官網(wǎng)的消息顯示，全球超 60% 泛娛樂(lè) App 選擇聲網(wǎng)的 RTC 服務(wù)，除了國(guó)內(nèi)知名的小米、B 站、陌陌、小紅書(shū)等 App 外，中東及北非地區(qū)最大的語(yǔ)音社交與娛樂(lè)平臺(tái) Yalla、東南亞「社交直播平臺(tái)之王」Kumu、HTC VIVE 、The Meet Group、Bunch 等遍布全球的知名企業(yè)均采用了聲網(wǎng)的 RTC 技術(shù)。

行業(yè)經(jīng)驗(yàn)的積累，全球化客戶(hù)的打磨，更是技術(shù)領(lǐng)先的佐證。據(jù)陳若非介紹，聲網(wǎng)自研的 SD-RTN? 實(shí)時(shí)傳輸網(wǎng)絡(luò)覆蓋了全球 200 多個(gè)國(guó)家與地區(qū)，音視頻的全球端到端延遲平均達(dá)到 200ms。針對(duì)網(wǎng)絡(luò)環(huán)境的波動(dòng)，聲網(wǎng)的智能路由技術(shù)與抗弱網(wǎng)算法，可以保障通話(huà)的穩(wěn)定性與流暢性。針對(duì)終端設(shè)備的差異性，聲網(wǎng)更是積累了全球上億 App 預(yù)裝以及對(duì)復(fù)雜環(huán)境適配積累的 know-how。

技術(shù)領(lǐng)先之外，行業(yè)經(jīng)驗(yàn)更是無(wú)形的壁壘。

事實(shí)上，這也是為什么這些年來(lái)，RTC 行業(yè)商業(yè)格局較為穩(wěn)定的原因：做好 RTC，依靠的，從來(lái)不是大模型式的「大力出奇跡」。

日積月累的深耕細(xì)作，才是語(yǔ)音延遲極致優(yōu)化和實(shí)時(shí)語(yǔ)音交互能普遍商用的唯一途徑。

而從這一角度來(lái)看，AI實(shí)時(shí)語(yǔ)音交互，是一場(chǎng)在想象力以及難度上都不應(yīng)被低估的戰(zhàn)爭(zhēng)。

它的未來(lái)——算法、審核、RTC 一關(guān)一關(guān)都要過(guò)。要走完這漫長(zhǎng)的道路，既要仰望技術(shù)的星空，更要腳踏工程化的實(shí)地。