當前位置: 華文世界 > 手機

細說高通驍龍8 Gen 3 AI引擎

2024-06-03手機

驍龍8 Gen 3是高通公司釋出的一款高端移動處理平台,正式釋出於2023年10月25日的美國夏威夷驍龍峰會。作為驍龍系列的最新產品,驍龍8 Gen 3旨在成為2024年安卓旗艦智能電話的標配處理器。除了大家熟知的CPU和GPU,該芯片還整合了兩個AI Engine增強功能:

【1】Qualcomm® Hexagon™ NPU

Hexagon NPU前身為Hexagon DSP(數碼訊號處理器) ,用於處理復雜的數碼訊號處理任務,如音訊、影片、語音和傳感器數據處理等

2007年, Hexagon DSP 首次在 驍龍芯片中出現

2015年,驍龍820處理器整合 首個高通 AI 引擎 ,支持成像、音訊和傳感器運算。

2018年,高通在驍龍855中為 Hexagon NPU 增加了 Hexagon 張量加速器。

2019年,高通在驍 龍865上擴充套件了終端側 AI 用例,包括 AI 成像、 AI 影片、 AI 語音和始終線上的感知功能。

2020年,高通憑借 Hexagon NPU 變革性的架構更新 ,實作了重要裏程碑,融合純量、向量和張量加速器,帶來了更佳效能和能效,同時還為加速器打造了專用大共享記憶體,讓共享和遷移數據更加高效。

2022年,第二代驍龍8中的 Hexagon NPU 引入了眾多重要技術提升(專用電源傳輸軌域、微切片推理、本地4位元整數(INT4)運算、Transformer 網絡加速等等)

2023年,第三代驍龍8中的 Hexagon NPU 是高通面向生成式 AI 最新、也是目前最好的設計,支持所有運算精度 (INT4, INT8, INT16, FP16) 為持續 AI 推理帶來98%效能提升和40%能效提升 。它包括了跨整個 NPU 的微架構升級。微切片推理進一步升級,以支持更高效的生成式 AI 處理,並降低記憶體頻寬占用。此外, Hexagon 張量加速器增加了獨立的電源傳輸軌域,讓需要不同純量、向量和張量處理規模的 AI 模型能夠實作最高效能和效率。大共享記憶體的頻寬也增加了一倍。

【2】 Qualcomm® Sensing Hub

Sensing Hub 是高通公司開發的一種低功耗傳感器處理單元,它整合在高通驍龍流動平台中。Sensing Hub 的主要目的是在低功耗狀態下持續執行,處理來自各種傳感器的數據,從而支持智能電話和其它器材中的始終線上的傳感器套用。

低功耗執行 : Sensing Hub 能夠在極低的功耗下執行,使得器材可以持續監控傳感器數據而不會顯著消耗電池。

整合傳感器處理 : 它整合了對多種傳感器的支持,包括運動傳感器、環境光傳感器、接近傳感器等。

AI 最佳化 : Sensing Hub 通常與高通的 AI 引擎配合使用,提供高效的 AI 處理能力,用於小型神經網絡和特定套用,例如上下文感知和音訊處理。

始終線上的網絡攝影機支持 : 在某些驍龍平台中,Sensing Hub 支持始終線上的前置網絡攝影機,用於快速面部解鎖等功能。

音訊處理 : Sensing Hub 包含雙 AI 音訊處理器,可以支持始終感知的網絡攝影機和音訊功能,提供更好的音訊體驗。

在2023年驍龍峰會上,高通演示過兩個生成式 AI 套用,展示了面向大語言模型和大視覺模型通用架構的真實套用效能。在第三代驍龍8上,個人助手演示能夠以高達 每秒20個 tokens 的速度執行 Llama 2-7B 。在不損失太多精度的情況下, Fast Stable Diffusion 能夠在 0.6秒內生成一張512x512分辨率的影像 。高通有著智能電話領域領先的 Llama 和 Stable Diffusion 模型指標。

資料來源:高通官網【透過 NPU 和異構計算開啟終端側生成式 AI】 白皮書