近期，第五代英特爾至強可延伸處理器透過了中國電子技術標準化研究院組織的人工智慧伺服器系統效能測試（AISBench）。英特爾成為首批透過AISBench大語言模型（LLM）推理效能測試的企業。
中國電子技術標準化研究院賽西實驗室依據國家標準【人工智慧伺服器系統效能測試規範】（征求意見稿）相關要求，使用AISBench 2.0測試工具，完成了第五代英特爾至強可延伸處理器的AI大模型推理效能和精度測試。測試中，第五代英特爾至強在ChatGLMV2-6B（60億參數）以及Llama2-13B（130億參數）兩個模型上均展現出卓越推理效能，能夠滿足輕量級大語言模型的即時推理要求。
測試結果：此次單機效能測試中，在滿足人類正常閱讀速度要求（生成延遲小於100毫秒）的情況下，在封閉測試場景中構造數據集，基於第五代英特爾至強的伺服器可實作：
●在60億參數的ChatGLM V2模型通用推理中，當輸入輸出序列為256時可達每秒2493 token的效能，當輸入輸出序列為2048時可達每秒926 token。
●在130億參數的Llama2模型通用推理中，當輸入輸出為256時可達每秒513 token，當輸入輸出序列為2048時可達每秒132 token。
作為通用處理器，第五代英特爾至強在人工智慧、網路、儲存、資料庫等關鍵工作負載均能提供出色效能。AISBench 2.0的測試結果驗證了英特爾至強在執行輕量級大語言模型時展現出的優異推理效能，使得客戶可以使用基於至強的伺服器，構建一個通用AI系統進行數據預處理、模型推理和部署，從而獲得兼具AI效能、效率、準確性和可延伸性的組合。這也彰顯了英特爾至強可以為企業提供「開箱即用」的功能，即可以在通用系統上部署一部份AI工作負載，從而為客戶帶來更佳的總體擁有成本（TCO）優勢。
軟硬結合，至強展現AI優勢
英特爾至強的內建AI加速器使其成為在通用處理器上執行部份AI工作負載的理想解決方案，不僅如此，英特爾還配備了經過最佳化的、易於編程的開放軟體，可降低客戶和生態夥伴在數據中心部署從雲到智慧邊緣各種基於AI的解決方案的門檻。
●第五代英特爾至強可延伸處理器充分發揮了系統級優勢（包括緩存、記憶體等），因此推理速度實作了大幅提升。
●其內建的AI加速器——英特爾高級矩陣擴充套件（AMX），透過提供專用的矩陣運算加速模組（TMUL），以及支持INT8和BF16這類低精度數據型別，可實作對計算資源的充分利用，從而大幅提升運算效率。
●xFasterTransformer（簡稱xFT）是英特爾提供的在CPU平台上部署大語言模型的深度最佳化開放解決方案，透過C++和Python兩種API介面，更易於使用者使用和將其整合到自有業務框架中。
關於AISBench
AISBench基準是一套套用於人工智慧計算產品的效能測試基準，由中國電子技術標準化研究院牽頭研制。與MLPerf等國際先進計算基準類似，該基準用於測試多種人工智慧計算產品形態，並支持豐富的測試場景、模式、型別和指標。
