當前位置: 華文世界 > 科技

在 AdventureX,我們看到這些語音 AI 的創新

2024-07-25科技

淩晨四點的場地外

🥵

Hi 我是 RTE 開發者社區的新夥伴 Lingo。上周末我們去了一趟杭州,7 月底的杭州正是烈日炎炎、蟬鳴喧囂。五天四夜,在 AdventureX 的現場,我們陪伴著一群極具活力的年輕人,他們正在極盡想象人機即時互動的新場景。

技術與禪修即視感

這是一場為 26 歲以下的朋友打造的黑客松,作為這場黑客松的賽道方之一,RTE 開發者社區也帶去了社區裏同樣還在成長中的產品,ASTRA。

ASTRA 是一個低延遲、多模態、高可配的開源框架,希望讓每個人都能夠借此輕易搭建出可即時語音訊互動的 AI Agents。

除了提供無限量的包括語音、影片通話、即時訊息在內的即時互動能力,這次重頭戲就是希望大家利用我們社區裏最新誕生的 ASTRA 框架,去建立即時多模態的 AI 套用。

所以我們的賽道命題也隨之而來,我們希望大家能借助 ASTRA 去探索語音 AI 的更多可能性:

「玩出聲響」:利用 ASTRA 框架的強大功能,讓你的 AI Agent 能夠超低延遲的自然「聽」「說」,探索人機即時互動新可能。

💪

這也是 ASTRA 與最早一批探索技術前沿的朋友們的預熱會面。

AdventureX 第一天我們在攤位介紹 ASTRA,晚上開設工作坊詳細展開 ASTRA 的使用和我們的賽道設定,並且邀請了 5 位朋友現場展示他們此前的個人專案 demo。邊 demo 邊尋找新的隊友,連線開發者一直是 RTE 開發者社區的主旨!

不少朋友直接反饋了他們對 ASTRA 的喜愛,立刻席地而坐開始討論這次比賽的想法。

當然目前的框架可能還是有一些技術門檻,我們從 15 日晚上到 19 日早上為大家提供了不間斷的技術解答,ASTRA 的聯合發起人 Plutoless 則持續在淩晨四五點為我們發來場地門前的月光照。這是不是在充分展現黑客的定義,就是要窮盡一切方式解決問題?

🎉

19 日 demo day 的早上,大家看起來肉體疲憊但是精神充沛,現場有五十多個專案在各自的攤位展出,最終有八個組選擇了我們 語音 AI 最佳實踐(基於 ASTRA) 的賽道。

相比於為了評獎,我們確實對不同的開發團隊和創意本身產生了很大的興趣。盡管參賽選手都很年輕,但有人早已經制作過個人專案,上線過產品,技術能力令人驚艷,或者是設計審美突出。他們當中也許就有人能創造出 AI 時代即時互動的好產品。

最終我們基於自己賽道所需要的技術性和創意、完成度等,評選出了四組優秀產品。

最佳實踐獎:布托 BuTuo 團隊

布托獲得 5000 元人民幣 + 超音速計劃提供的 Office Hours 一小時。

布托透過即時語音情感分析和使用者互動來確定拖延的底層原因,從心理學、認知科學、行為設計等方面,提供情緒舒緩、目標拆解、陪伴等功能,以實作微行動-專註-正反饋不斷迴圈的拖延癥克服。

布托團隊在「語音驅動的互動界面」(Voice-Driven User Interface)的探索很有創新,也讓我們更相信 voice AI 會在情緒、心理相關的 app 上會有更多的使用場景。

最佳創意獎:ELF AI - 精靈艾爾團隊

ELF AI 獲得 RTE 周邊團隊成員各一套(Tee、帆布袋等)+ 超音速計劃提供的 Office Hours 一小時。

這是一個混合現實專案,創造了一個具有獨特人格的 AI 夥伴。ELF 生活在 XR/AR 眼鏡中,借助 Astra 平台實作了低延遲語音互動。與一般「聽話」的助手不同,ELF 展示了其相當具有人格魅力的一面。

群星獎:小順/Carepilot

小順團隊收獲「群星獎」,獲得超音速計劃提供的 Office Hours 一小時。

小順是一款專為中老年人設計的 AR 陪診套用,主要是考慮到中老年人獨自就診現象日益普遍,散布於不同地點的就診流程是中老年人常常面臨的挑戰。借助多模態處理、SLAM 室內定位導航、Agent 情感計算等技術,去實作醫院內精準導航和智能陪護。

小順團隊在短短幾天時間內就打造出非常完整的產品形態,讓我們看到 voice AI 將會成為適老化設計裏不可或缺的一部份。

群星獎:英吹思聽團隊

英吹思聽團隊收獲「群星獎」,獲得超音速計劃提供的 Office Hours 一小時。

而「英吹思聽」是一款基於智能眼鏡的 AI 英語教練,裝配網絡攝影機和麥克風以即時感知使用者周圍環境,透過這種日常對話形式,幫助使用者在生活中持續接觸英語。

最好的語言學習方法就是讓學習者沈浸在語言環境裏,voice AI 能夠成為即時語境制造裏的關鍵技術。

五天四夜的時間其實很短暫,對於這些專案,我們希望之後能繼續陪跑,伴隨大家不斷成長。

當然,經過這一輪 ASTRA 的「亮相」,我們的 Github 頁面也從幾十上升到了兩百 🌟 !這對於還處於非常早期階段的 ASTRA 來說是很大的鼓勵。

這次有一些朋友因為偵錯時間的原因最後沒有用上 ASTRA,而易用性也是我們產品設計的重要考量。我們會在近期推出拖拽式的 Workflow 編輯器,以及 RAG 積木,增加多模態的能力。如果你對此感興趣,請在 GitHub 搜尋 ASTRA.ai,跟蹤我們的進度,並為我們點亮一顆 🌟 吧!

如果你也有語音 AI 的專案希望在社區裏分享和獲得反饋與支持,也可以聯系卜,如果你需要 ASTRA 技術支持,請聯系 Elliot 。歡迎大家持續關註 ASTRA 的進展和 RTE 開發者社區後續展開的各種開發者活動 👏