资讯

在大规模语言模型的运算过程中,混合并行模式被广泛应用以提高计算效率。然而,随着集群规模的扩大,设备间的数据同步通信开销逐渐成为制约系统性能的关键因素。研究团队提出的Chimera机制,通过深入分析和定义混合并行中的通信冗余,实现了相邻通信算子的融合, ...
中国人民大学高瓴人工智能学院近期迎来了一位重量级新成员——曹朝教授。曹朝教授此前在华为担任多个重要职务,包括华为泊松实验室主任及华为云EI服务产品部架构与设计部负责人。