中国电信完成业界首个面向大模型推理的异构算力协同技术验证
人民邮电报:2025/10/21 16:09:41
近期,中国电信研究院联合北京智源人工智能研究院、昆仑芯科技有限公司、中兴通讯、北京基流科技有限公司、中科加禾公司等产业合作伙伴,依托中国电信云网融合大科创装置,完成业界首次DeepSeek系列模型基于“英伟达算力+国产算力”交叉组合的异构PD分离推理试验验证,实现大模型推理集群的降本增效。
本试验完成了面向大模型推理的异构算力协同技术针对6类典型场景的推理性能验证,DeepSeek 671B模型在多种场景下实现推理集群总吞吐性能30%~72%的提升,并发能力提升2倍,同等吞吐条件下,异构算力组合推理成本下降最高达42%,真正实现“存量利旧”与“国产替代”的双重目标。
针对推理Prefill与Decode阶段特性优化芯片设计逐渐成为行业共识,英伟达和华为分别发布芯片设计规划,将PD两阶段分别适用“高算低存”和“低算高存”的思路融于芯片设计。中国电信研究院在2025年初洞察到PD分离推理对算力异质性的需求,构建异构通信优化、PD资源调配、推理任务调度全栈自研异构混推体系,展现出三大核心优势:一是通过自研异构传输引擎,实现跨架构芯片PD池间KVCache的高效传输;二是采用自研国产算力赋能工具“翼芯”,根据业务特征与算力性能自动推荐并实时优化PD资源配比;三是构建AI推理平台,实现推理任务在Prefill池与Decode池间的动态调度。
技术验证的成功体现了中国电信对智算推理优化技术的深刻理解与对国产算力适配调优的实践创新,彰显了中国电信作为算力基础设施建设方推动国产算力从“可用”到“好用”的央企担当。未来,中国电信将持续深化国产算力高质量发展布局,面向大模型训推一体、多智能体系统打造“互联互通、高效协同”的异构算力生态格局,推动新型信息基础设施协调发展。(记者 翼研)
转自:人民邮电报
图库
- 京都大学工学博士团队在蓉实现成果转化,如凤凰仿生胶原查新评价“国际领先”水平
- 冠珠瓷砖斩获“第13届中国意大利陶瓷大奖赛”金奖、优秀创意产品
- 以精微,致坚守|2025年支撑剂行业实验室数据比对工作总结暨技术交流会圆满举行
- 铜价涨跌空间不大 将转为高位震荡运行
- 中国电信完成业界首个面向大模型推理的异构算力协同技术验证
- 吉品隆:直击日化美妆线下痛点,赋能合作伙伴破局盈利
- 中华人民共和国文化和旅游部2024年文化和旅游发展统计公报
- 2025年上半年国内居民出游数据情况
- 6月末普惠小微贷款同比增16.9%
- 2023年度全国星级旅游饭店统计调查报告
- 2024年一季度国内旅游数据情况
- 2024年第一季度全国星级旅游饭店统计调查报告
- 市场活跃、销量回升,拼经济!高品质改善性住房成热点
- 冬季电煤运输关键期 全国铁路增加煤炭运输能力
- 跨境贸易便利化举措培育外贸发展“硬”实力
- 让青少年用体育运动促进心理健康
- 好“丰”景有了全新“打开方式”
- 塔里木油田今年光伏项目累计发电量突破10亿千瓦时