當前位置: 華文世界 > 科技

雲天勵飛:IPU-X6000加速卡已適配超過30個開源大模型,預期能使大模型推理成本大振幅下降

2024-07-24科技

經濟觀察網訊 7月24日,雲天勵飛在上證e互動平台表示,公司2024年推出的IPU-X6000加速卡主要用於大模型雲端推理,其內建高效大模型推理DeepEdge200芯片,具有256T大算力、486GB/s超高頻寬、128GB大視訊記憶體、c2c mesh互聯,可套用於語言大模型、視覺大模型、多模態大模型等各類大模型推理加速領域。目前已經支持適配雲天書、通義千問、百川智能、智譜清言、Meta等30+開源大模型,涵蓋1.5B參數到70B參數量,預期能使大模型推理成本大振幅下降。(實習記者 李青陽 編輯 李仕靜)