腾讯发布星脉网络 2.0:大模型训练效率相比上代提升 20%

感谢网友 航空先生 的线索投递! 7 月 2 日消息,腾讯昨日发布其自研星脉网络 2.0 版本,升级后的星脉网络支持单集群 10 万卡组网,网络通信效率比上一代提升 60%,大模型训练效率提升 20%,故障定位从天级降低至分钟级。获悉,腾讯自研交换机从 25.6t 升级到 51.2t,容量提升一倍;自研硅光模块从 200g 升级到 400g,速率提升一倍;搭载自研算力网卡;整机通信带宽 3.2t,为业界最高。腾讯自研全新通信协议 tita2.0 的部署位置从交换机转移到了网卡上,拥塞算法也从被动拥塞算法升级为主动拥塞控制算法,将星脉网络的通信效率提升 30%,让大模型的训练效率提升 10%。腾讯全新高性能集合通信库 tccl2.0 采用 nvlink+net 异构并行通信,实现数据的并行传输。auto-tune network expert 自适应算法可以根据机型、网络规模、模型算法等差异,自动调整数据包分割大小、匹配算法等参数。星脉网络通信性能提升 30%,让大模型的训练效率再提升 10%。

腾讯发布星脉网络 2.0:大模型训练效率相比上代提升 20%

▲数据的并行传输(腾讯云)TiTa 与 TCCL 升级带来的效果叠加,让星脉网络的通信效率共提升 60%,大模型训练效率共提升 20%。

以上就是腾讯发布星脉网络 2.0:大模型训练效率相比上代提升 20%的详细内容,更多请关注【创想鸟】其它相关文章!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

点点赞赏,手留余香

给TA打赏
共0人
还没有人赞赏,快来当第一个赞赏的人吧!
    互联网

    iOS 17.6beta2发布!iOS 17.6beta2值得升级吗?

    2025-3-6 7:30:59

    互联网

    苹果iPhone为什么总在降价:销量比高端形象更重要

    2025-3-6 7:31:08

    0 条回复 A文章作者 M管理员
    欢迎您,新朋友,感谢参与互动!
      暂无讨论,说说你的看法吧
    个人中心
    购物车
    优惠劵
    今日签到
    私信列表
    搜索