Server间通信算法支持度列表【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl下面分别给出Server间不同型号的产品支持的算法以及对应算法下支持的通信算子介绍表格中未列出的则代表不支持。Ascend 950PR/Ascend 950DTNHR算法集合通信算子数据类型网络运行模式通信算子展开模式ReduceScatterint8、int16、int32、float16、float32、bfp16- 单算子模式- 图模式Ascend IRAI_CPU/CCU_SCHEDAllGatherint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bfp16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式- 图模式Ascend IRAI_CPU/CCU_SCHEDAllReduceint8、int16、int32、float16、float32、 bfp16- 单算子模式- 图模式Ascend IRAI_CPU/CCU_SCHEDBroadcastint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bf16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式- 图模式Ascend IRAI_CPU/CCU_SCHEDReduceint8、int16、int32、float16、float32、bfp16- 单算子模式- 图模式Ascend IRAI_CPU/CCU_SCHEDScatterint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bf16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式AI_CPU/CCU_SCHEDBroadcastint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bf16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式- 图模式Ascend IRAI_CPU/CCU_SCHEDAtlas A3 训练系列产品/Atlas A3 推理系列产品ring算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法ReduceScatterVint8、int16、int32、int64仅单算子模式支持此数据类型、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法NHR算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法ReduceScatterVint8、int16、int32、int64仅单算子模式支持、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法NB算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法ReduceScatterVint8、int16、int32、int64仅单算子模式支持、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法AHC算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法Atlas A2 训练系列产品/Atlas A2 推理系列产品ring算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法AllGatherint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法AllReduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法Reduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法Scatterint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法AllGatherVint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法H-D_R算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法NHR算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法NHR_V1算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法NB算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法pipeline算法注意针对Atlas A2 训练系列产品/Atlas A2 推理系列产品如果选择pipeline算法不支持开启确定性计算否则pipeline算法不会生效。集合通信算子数据类型网络运行模式不支持算子处理方法AllReduceint8、int16、int32、float16、float32、bfp16- 单算子模式- 图模式Ascend IR针对浮点计算的溢出模式不支持饱和模式仅支持INF/NaN模式。自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法ReduceScatterint8、int16、int32、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AlltoAllint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR的动态shape场景自动选择为pairwise算法AlltoAllVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR的动态shape场景自动选择为pairwise算法AlltoAllVCint8、int16、int32、int64、float16、float32、bfp16- 图模式Ascend IR的动态shape场景自动选择为pairwise算法pairwise算法集合通信算子数据类型网络运行模式不支持算子处理方法AlltoAllint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AlltoAllVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AlltoAllVCint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法CP算法集合通信算子数据类型网络运行模式不支持算子处理方法AlltoAllVint8、int16、int32、int64、float16、float32、bfp16单算子模式自动选择为pairwise算法Atlas 训练系列产品ring算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法AllGatherint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法AllReduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法Reduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者H-D_R算法H-D_R算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR或者ring算法NHR算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为H-D_R或者ring算法NHR_V1算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法NB算法集合通信算子数据类型网络运行模式不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR自动选择为NHR、H-D_R或者ring算法ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考