明敏 魚羊 發自 凹非寺 量子位 | 公眾號 QbitAI
手機有了大模型,玩轉vlog剪輯這麽簡單了?
只需給手機智慧助手提要求,「幫我生成XXX的視訊」。
然後它立馬從相簿裏找到相關的素材。
點選生成視訊,立馬一個剪輯精美的視訊就來了。
這個效果來自於榮耀最新釋出的MagicOS 8.0作業系統(中文名:魔法OS 8.0),如上對話成片的能力,源於榮耀魔法大模型與MagicOS的深度結合。
這是一個以平台級AI為內核的新系統,並創新性地引入端側大模型全面使能AI內核。
不只是會搞創作,它還能利用深度語意理解+意圖辨識,成為「個人智慧助理」。
比如老師發來的家長會訊息,長按就能一鍵建立日程。
也有多模態能力,長按邀請函、一拖,就能辨識具體時間地點主題,然後一鍵加入日程。
如此看來,平台級AI+MagicOS,讓手機越來越有智慧私人助理那感覺了~
而且這種體驗離普通人都很近,榮耀在釋出會上表示,11號開啟MagicOS 8.0公測計劃,新老機型都能陸續體驗。
如果是最新機型Magic6的話,還能在驍龍8 Gen 3的支持下,把大模型帶到端側,甚至「斷網都能用」,私密數據留存在端側無需上雲。
而這些還不是MagicOS 8.0的全部能力。具體還有啥?一起來看。
先發意圖辨識人機互動
以平台級AI為新內核的MagicOS 8.0,帶來行業第一個基於意圖辨識的人機互動。
從定義出發,意圖辨識互動是讓裝置可以主動理解意圖完成任務。
這種新範式具體該怎麽做?MagicOS 8.0上新的核心功能之一——「任意門」可以帶來更直觀的理解。
「任意門」基於Magic Live平台級AI、多模態意圖辨識引擎、意圖分析決策平台實作。
帶來的關鍵改變就是,APP之間的跨轉可以一步直達了。
舉個栗子。往常我們從小紅書上種草了一個物品,需要先在小紅書上保存圖片,然後手動切換到購物APP,選擇識圖搜尋,最後才能開始瀏覽商品。如果還想進行比價,還需要再切換另一個購物APP。
而「任意門」能將這個非常繁瑣的流程,簡化成兩步:長按+一拖 。
比價也更加簡單,兩個APP都能變成浮窗放在螢幕側方,方便來回檢視。
或者是在簡訊上收到地址,也能長按、一拖,透過「任意門」一步導航。
這種幫人省事的操作,對於不擅長手機操作的人群來說,更加有必要。
比如對於老年人來說,輸入法打字都存在門檻,更別提在各種APP上搜尋了。
「任意門」基於多模態能力,可以長按辨識照片中的文字,然後選中、復制貼上,一拖直接搜尋。
不只是任意門的「一按一拉」,還有三指下滑,可以收藏在手機上看到的各種資訊。把各個APP中的收藏,集中整合到一起,最後能在手機上形成一個個人知識中心。
除此之外,MagicOS 8.0還帶來了系統級的主動服務。
比如收到出行簡訊,就可以自動建立日程。
截圖聊天軟體中的日程資訊,點選「建立日程」,系統就能辨識其中的時間地點等資訊,建立對應日程。
還有靈動膠囊,率先使用了眼動互動 。當套用以靈動膠囊卡片的形式放在桌面時,註視膠囊即可跳回到套用內。
值得一提的是,針對打車這種不方便操作手機的場景,MagicOS 8.0會根據即時追蹤在耳機內播報資訊。
考慮到現在大家日常經常是不同裝置協同使用,MagicOS 8.0還構建了一個信任環。
手機、電腦、平板、手表、耳機、車機、印表機都能加入。
比如上班路上正在看的文件,可以從手機向上一拖,直接發送到電腦。
綜上就是MagicOS 8.0意圖辨識互動的亮點功能。
智慧化方面的升級,得益於榮耀平台級AI 以及端側大模型 的加持。
MagicOS 8.0是以平台級AI為內核、為底座。
它基於「Magic Live智慧引擎」。相較於傳統的OS內核,它不是單純基於裝置的資源進行計算,而是更加關註手機使用者個人,比如位置、狀態、個人習慣、知識庫等人因元素,就像是鋼鐵俠的賈維斯那樣。
此外,為進一步增加平台級AI對人因元素的學習和理解,榮耀正式釋出了自研70億參數大模型「魔法大模型」 。透過和高通聯合開發偵錯,魔法大模型經過量化壓縮後可被部署在驍龍8 Gen3上,也就是能在「端側、離線執行」。
因為沒有上雲,使用者的個人數據可以被更好保護;同時,模型在端側可以更好利用數據,對使用者個人的習慣、意圖深入學習。
而在大模型的加持下,平台級AI具備了智慧認知能力,可從場景感知前進演化到感知理解,能對內容進行推理學習,還可以對復雜任務進行拆解。
由此可以把以往系統被動的響應、變成主動服務;讓裝置可以更理解人;讓傳統的觸摸互動,升級為多模態互動。
也是基於這些改變,MagicOS 8.0才能帶來基於意圖的智慧終端互動新範式,並且在新機Magic6上先發。
不過,想要讓大模型能夠系統級地融入到手機OS,並不是一件易事。從效能與功耗的平衡,到能力與場景該如何結合,當下行業內還沒有形成標準答案。
所以,明確提出意圖辨識人機互動的榮耀,具體是怎麽做的?
70億參數大模型如何進手機
盡管與千億、萬億規模的雲端大模型相比,70億參數量看上去並不算大,但實際上,一個70億參數的模型在網路上也要占到二十幾個G。
對於手機這樣的終端載體來說,能不能放得下、放進去後能不能正常運轉,都仍是業界普遍關註的技術難題。
第一重直觀挑戰,就是如何把如此大的模型「裝」進手機。
這裏涉及到的關鍵技術,是AI量化、壓縮技術。榮耀透露,榮耀聯合高通在大模型量化壓縮方面進行了深度調優,「魔法大模型」被部署在驍龍8 Gen3上,能實作流暢的端側執行。
舉個具體的例子,榮耀在內部打造了高效能加速平台,基於這一平台的量化壓縮、算子加速和芯片智慧釋放能力,一個20G+的7B參數大模型,能被壓縮至原本的1/6。
解決了大模型進手機的問題,還只是第一步。大模型要成為作業系統內核的重要助力,真正去理解使用者的意圖,完成各種功能排程,還面臨一重重大挑戰:算力。
在這個環節上,榮耀同樣和高通進行了深度合作:雙方聯合最佳化了端側AI大模型的推理效能,以充分釋放端側NPU算力。
同時,榮耀和高通還從系統排程層面,對大模型帶來的功耗問題進行了深度最佳化。在私密安全方面,雙方聯合最佳化了端側AI大模型套用的數據通道保護,以保障使用者數據安全。
值得一提的是,榮耀MagicOS 研發向我們透露,此番MagicOS 8.0展現出意圖辨識人機互動能力,可以理解為AI Agent能力的展現。
實際上,7B的魔法大模型是MagicOS 8.0大模型能力中最大的一個模組,具體任務排程中,大模型會排程更小的1B、3.5B模型來解決問題。
榮耀CTO鄧斌進一步解釋說:
大模型真正的核心能力是完成任務閉環。 榮耀更專註在把一個通用模型分解成多個專用模型。先對使用者的意圖進行對話理解,再用專用大模型去解決問題。
如此一來,就能進一步解決大模型進手機面臨的記憶體、功耗問題。
端側大模型在保護使用者私密、提供專屬服務方面,有著不可替代的價值,是大模型在終端落地套用的關鍵所在。
但不可否認的是,參數量更大的雲側大模型,擁有更強大的智慧湧現能力,同時,很多垂直領域大模型也是在雲側部署的。
此前,榮耀CEO趙明就曾發表觀點,認為「未來端側AI與雲側AI相結合,才能更好地滿足使用者需求」。
為了接入雲側大模型,同時又要保證私密數據不出手機,榮耀還自研了大模型中控平台,實作端側大模型、通用大模型以及垂域大模型的安全高效連線。
簡單來說,就是在呼叫雲側大模型時,端側大模型會幫你將私密數據留存在本地,同時根據簡單對話分析理解使用者的真實意圖,生成更為詳細的prompt來與雲側大模型互動。
這一方面保障了數據安全,另一方面也簡化了使用者與雲側大模型互動的過程。
以榮耀與航旅縱橫正在聯合打造的智慧出行為例,在榮耀Magic6上告知YOYO智慧助手「下周一要到北京出差」,YOYO智慧助手就會在本地根據對日程、使用者個人習慣的理解,get到使用者具體何時要出發、從哪裏出發,進而將需求分解到具體的航班時間和航司要求,脫敏後呼叫航旅縱橫千穰大模型給出航班推薦。
△該案例預計於今年上半年完成落地
釋出會上,榮耀還釋出了百模生態計劃,即以自研中控架構打造一個「大模型貨架」,讓通用模型、垂域模型都能加入到大模型行動應用生態當中。
值得關註的是,這樣依托於大模型,打造個人化作業系統的技術能力,對於榮耀而言並非一蹴而就。
趙明在新榮耀三周年之際提到:作業系統的個人化是榮耀發展的方向。
從榮耀獨立的那天起,我們就重資投入AI領域。AI大模型出來之前,榮耀打造的是平台級AI的能力,是讓手機越用越懂你,越用越好用。平台級AI不僅僅是拍照,還有手機的流暢度,各種套用排程更加精準,用AI能力使能榮耀手機的各個維度。 榮耀認為端側大模型是平台級AI演進和發展的升級。
目前,榮耀AI研發費用已累計達100億,AI專利成果達2100篇,AI意圖辨識達600類。
大模型時代,AI新生態已現雛形
大模型技術帶來的變革,核心是人機互動方式的變革。而大模型套用落地場景從雲上向端側的遷移,正在讓這個趨勢越來越明朗。
在此過程中,榮耀這樣的終端廠商,無疑正在扮演越來越重要的角色:
透過端側大模型的能力,在保證數據安全的情況下,充分分析、理解使用者個人數據,讓「賈維斯」這樣的超級助手離現實更近一步。
進而,使用者能夠透過手機這一視窗,連通大模型重構的一切,在新的技術時代,將「提出問題」的難題交還給大模型,用更簡單的方式實作更復雜的目標。
站在開發者的角度,新的套用生態、新的技術機遇也由此出現:
大模型和手機終端的結合,已經率先由中國手機廠商卷起熱浪。在終端AI領域,中國手機廠商和中國開發者強強結合的機會正在顯現,有望在大模型全球競速中,在套用領域建立起優勢。
就在榮耀MagicOS 8.0釋出現場,榮耀還官宣,2024年榮耀遠航計劃扶持資源額度提升至20億,聚合套用分發、服務分發、內容分發等全場景,提供2000+以上扶持名額,助力中國套用服務出海,加速激勵和扶持開發者創新。
而在2023年底,榮耀雲業務已全面升級,面向中國市場推出全域自研產品矩陣,包括套用市場、遊戲中心、主題中心、智慧服務等,意在以新渠道、新流量為生態夥伴解鎖新增長。
值得關註的是,榮耀在2022年後海外業務發展迅猛。市場調研數據顯示,2023年第三季度歐洲手機市場中,榮耀是全球唯一正增長的手機品牌。
另外,榮耀旗艦機Magic系列2023年前三季在海外市場的銷量同比增長超300%,不到10個月裏,榮耀在法國、義大利、西班牙和羅馬尼亞等多地實作了3-7倍的增長。
這也是華為之後,中國手機廠商在歐洲市場的全新突破。
出海戰略之下,正如趙明所說,「中國榮耀遠遠不夠,我們要打造世界榮耀」。
或許這一次,將會改變每個現代人生活體驗的外掛大腦,正在從中國出發,將風暴吹向世界,而中國AI也將成為世界榮耀。