世界热资讯!腾讯发布新一代超强算力集群:面向大模型训练,性能提升 3 倍

来源:2023-04-14 13:05:59    时间:IT之家

IT之家 4 月 14 日消息,IT之家从腾讯官方获悉,腾讯云发布了新一代 HCC 高性能计算集群,采用最新一代星星海自研服务器,搭载英伟达 H800 Tensor Core GPU。

腾讯官方称,该集群基于自研网络、存储架构,带来 3.2T 超高互联带宽、TB 级吞吐能力和千万级 IOPS。实测结果显示,新一代集群算力性能较前代提升 3 倍。


(资料图)

去年 10 月,腾讯完成首个万亿参数的 AI 大模型 —— 混元 NLP 大模型训练。在同等数据集下,将训练时间由 50 天缩短到 11 天。如果基于新一代集群,训练时间将进一步缩短至 4 天。

计算层面,服务器单机性能是集群算力的基础,腾讯云新一代集群的单 GPU 卡在不同精度下,支持输出最高 1979 TFlops 的算力。

针对大模型场景,星星海自研服务器采用 6U 超高密度设计,相较行业可支持的上架密度提高 30%;利用并行计算理念,通过 CPU 和 GPU 节点的一体化设计,将单点算力性能提升至更高。

网络层面,计算节点间,存在着海量的数据交互需求。随着集群规模扩大,通信性能会直接影响训练效率,需要实现网络和计算节点的最大协同。

腾讯自研的星脉高性能计算网络,号称具备业界最高的 3.2T RDMA 通信带宽。实测结果显示,搭载同等数量的 GPU,3.2T 星脉网络相较 1.6T 网络,集群整体算力提升 20%。

同时,腾讯自研的高性能集合通信库 TCCL,融入定制设计的解决方案。相对业界开源集合通信库,为大模型训练优化 40% 负载性能,消除多个网络原因导致的训练中断问题。

存储层面,大模型训练中,大量计算节点会同时读取一批数据集,需要尽可能缩短数据加载时长,避免计算节点产生等待。

腾讯云自研的存储架构,具备 TB 级吞吐能力和千万级 IOPS,支持不同场景下对存储的需求。COS+GooseFS 对象存储方案和 CFS Turbo 高性能文件存储方案,充分满足大模型场景下高性能、大吞吐和海量存储要求。

此外,新一代集群集成了腾讯云自研的 TACO 训练加速引擎,对网络协议、通信策略、AI 框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。

腾讯混元大模型背后的训练框架 AngelPTM,也已通过腾讯云 TACO 提供服务,帮助企业加速大模型落地。

通过腾讯云 TI 平台的大模型能力和工具箱,企业可结合产业场景数据进行精调训练,提升生产效率、快速创建和部署 AI 应用。

依托分布式云原生的治理能力,腾讯云智算平台提供 16 EFLOPS 的浮点算力。

关键词:

上一篇:

下一篇:

资讯

  • 两市成交6653亿元创年内新低 北向资金净买入16.03亿元

    在惯性下跌的带动下,A股三大股指9月19日集体低开。早盘沪深两市走出震荡走势,至午盘时三大股指均小幅下跌。午后两市震荡回落,临近尾盘跌

    扬子晚报 2022-09-21
  • 黑龙江金融机构多措并举纾困中小微企业 提升小微企业融资便利度、可得性

    小微企业是实体经济的重要组成部分,但由于个体工商户和小微企业具有规模小、轻资产、抗风险能力弱等特点,普遍存在融资难、融资贵的问题。

    黑龙江日报 2022-06-20
  • 赏传统年俗逛非遗庙会 铜官窑古镇重温传统民俗年

    中新网长沙2月6日电 (潘杏琼)在多地倡导就地过年的环境下,位于长沙市城北的铜官窑古镇景区,从1月24日至2月15日举行中国年·湖湘味·铜官

    中新网 2022-02-07
  • 哈尔滨铁路迎节后返程高峰 推出复工专列服务

    中新网哈尔滨2月6日电 (周晓舟 记者 史轶夫)中国铁路哈尔滨局有限公司6日发布消息,哈尔滨铁路迎来春节后返程客流高峰,6日至7日预

    中新网 2022-02-07
  • 冬奥动车组设5G超高清演播室 “瑞雪迎春”号智能化人性化结合

    中新网北京2月6日电 (记者 刘文曦)在时速350公里的高铁列车上首设5G超高清演播室,为北京冬奥会量身定制的新型奥运版智能复兴号动车组瑞

    中新网 2022-02-07
  • 广告

    X 关闭

    X 关闭

  • 众测
  • more+

    世界热资讯!腾讯发布新一代超强算力集群:面向大模型训练,性能提升 3 倍

    IT之家4月14日消息,IT之家从腾讯官方获悉,腾讯云发布了新一代HCC高性能计算集群,采用最新一代星星海自研服务器,搭载英伟达H800Tens

    当前关注:给老婆送什么花好

    给老婆送什么花最好?玫瑰代表“爱你”的爱情,其实不管是什么女人的心里都要表达的那些小浪漫,女人都比较喜欢玫瑰花的,如果是

    当前热点-灰指甲怎么治疗能彻底根除偏方_灰指甲怎么治疗

    1、灰指甲又称甲癣,是由皮肤癣菌侵入甲板或甲下组织引起的疾病。2、顽固难治性灰指甲是灰指甲的特点,要耐心治疗。3、单一甲

    天天快资讯:阿里巴巴开启“1+6+N”架构 淘宝天猫先行调整成立“三大行业发展部”

    上证报中国证券网讯(记者温婷)上海证券报记者4月14日获悉,继3月底阿里巴巴开启“1+6+N”全新架构调整后,淘宝天猫商业集团率先完成