阿里雲第八代企業級實例g8i算力升級：整機性能提升85% AI推理最高提速7倍-科技-極速新聞-每日看看

阿里雲第八代企業級實例g8i算力升級：整機性能提升85% AI推理最高提速7倍

2024-01-11 16:21 由環球網發佈於科技 451

【環球網科技綜合報道】1月11日，雲計算廠商阿里雲宣佈第八代企業級通用計算實例ECS g8i算力再升級，國內首發代號Emerald Rapids的第五代英特爾至強可擴展處理器，依託阿里雲自研的「飛天+CIPU」架構體系，ECS g8i實例的整機性能最高提升85%，AI推理性能最高提升7倍，可支撐高達72B參數的大語言模型，幫助中小規模模型起建成本降低50%。同時新實例還提供了端到端安全防護，爲企業構建可信AI應用提供強有力的隱私增強算力支撐。

阿里雲彈性計算產品線總經理張獻濤表示，“阿里雲ECS g8i實例的強勁表現，證明了以CPU爲中心的計算體系同樣具備加速AI推理的巨大潛力，公共雲不僅可勝任超大規模的AI模型，也爲AI應用加速落地開闢了新路徑。”

英特爾中國數據中心和人工智能集團至強客戶解決方案事業部總經理李亞東表示：“最新上市的第五代英特爾至強® 可擴展處理器每個內核均內置 AI 加速功能，完全有能力處理要求嚴苛的 AI 工作負載。與上代相比，其AI訓練性能提升多達 29%，AI推理能力提升高達 42%。我們希望藉由阿里雲第八代企業級實例（ECS g8i）共同助力開發者實現技術普惠，讓 AI 技術無處不在。”

通用算力再提升，整機性能提升85%

作爲企業級通用計算實例，ECS g8i實例在計算、存儲、網絡和安全等能力得到了全方位提升。從關鍵參數上看，ECS g8i實例的L3緩存容量提升到320MB，內存速率高達5600MT/s，整機性能提升85%，單核性能提升25%；存儲方面，ESSD雲盤提供100萬 IOPS，全面搭載NVMe，存儲延遲低至百微秒；網絡方面，PPS高達3000萬，標配阿里雲自研eRDMA大規模加速能力，時延低至8微秒；安全方面，ECS g8i實例支持可信計算與加密計算等特性，全球率先支持機密虛擬機TDX技術，構建了全面的安全防護。

在E2E場景下，ECS g8i實例可將MySQL性能提升最高達60%，Redis和Nginx的性能分別提升40%和24%，面向遊戲、視頻直播、電商、金融、醫療、企業服務等行業提供強勁的算力支持，滿足其在數據庫、大數據、AI推理等應用場景下對性能的嚴苛要求。

此外，ECS g8i實例還提供了多種硬件原生加速能力，包括QAT和IAA等加速器。阿里雲通過自研技術，將硬件加速能力更細顆粒度透傳至實例虛擬機，小規格的ECS g8i實例也同樣具備加速能力。其中，依託於QAT原生加解密加速器，ECS g8i實例在壓縮/解壓縮場景下性能最大可提升70倍，加解密性能提升4倍以上。

爲AI提速，可支撐72B參數的大語言模型

生成式AI掀起的技術革命，正在推動計算範式發生根本性的變化。當前，AI大模型推理在算力上依然面臨諸多挑戰，例如首包延遲受限於並行處理能力與浮點運算能力，吞吐性能則受限於內存帶寬和網絡延遲。

阿里雲ECS g8i實例針對這些難題都進行了相當程度的優化，包括內置指令集從AVX512升級到了Intel AMX高級矩陣擴展加速技術，可讓生成式AI更快地運行。相對於AVX512指令集，啓用AMX AI加速後，ECS g8i 實例在int 8矩陣計算的性能最高提升7倍。

基於AMX AI加速能力，g8i可更迅速地響應中小規模參數模型，運行知識檢索、問答系統及摘要生成等AI工作負載時，起建成本相比A10 GPU雲服務器下降50%。此外，配合阿里雲平臺的Spot搶佔式實例，成本優勢將進一步凸顯，進一步降低AI推理成本。

與此同時，基於自研eRDMA超低延時彈性網絡，阿里雲g8i實例集羣擁有超低延時網絡和高彈性優勢，可輕鬆支撐72B參數級別的大語言模型分佈式推理，推理性能隨集羣規模接近線性加速，並可支持超過32batchsize的超大參數規模的AI模型負載，運行文生圖、AI生成代碼、虛擬助手以及創意輔助工具等AI工作負載。

以阿里雲通義千問開源的Qwen-72B大模型爲例，可在g8i實例eRDMA網絡構建的集羣實現高效運行，在輸入小於500字情況下，首包延時小於3秒，每秒可生成7個Token。

爲安全加碼，助力企業構建可信AI應用

安全方面，阿里雲在全產品線構建了端到端的安全防護，可保障數據存儲、數據傳輸、數據計算的全流程安全。在最底層，基於CIPU的安全架構搭載安全芯片TPM作爲硬件可信根，實現服務器的可信啓動，確保零篡改；虛擬化層面，支持虛擬可信能力vTPM，提供實例啓動過程核心組件的校驗能力；在實例可信的基礎上支持不同平臺的機密計算能力，實現了運行態的內存數據隔離和加密的保護。