同区域组网
将同一区域的实例组织进独立网络,节点通过集群内网 IP 互联。
两种集群类型
基础集群支持网络互通,深度学习集群支持分布式训练,可免费升级。
Master 自动配置
设置 Master 后自动下发 NCCL / GLOO 网卡环境变量与 SSH 公钥。
清晰的配额
默认 1 个集群、每集群 5 台实例,配额在「我的集群」页可见。
集群类型
基础集群与深度学习集群
创建时可以选择集群类型;基础集群覆盖通用组网需求,需要分布式训练时免费升级为深度学习集群。
基础集群
支持集群内网络互通
- 将同一区域的实例组织进独立网络,节点间通过集群内网 IP 互联通信
- 适合多机联调、自建任务调度与服务互通等通用协同场景
- Windows 实例节点需打开防火墙才能互通;Docker(HC 图标)实例暂不支持加入集群
深度学习集群
支持构建分布式训练集群
- 支持 TensorFlow、PyTorch、Horovod 等深度学习分布式训练框架
- 每个集群可配置一个 Master 节点,统一下发配置并承担训练调度入口
- 由基础集群免费升级而来,升级后不支持降级;不支持 Windows 实例节点
设置 Master 后,系统会对节点重新配置:所有节点注册网卡通信环境变量 NCCL_SOCKET_IFNAME、GLOO_IFACE,并配置 Master 节点到其它节点的 SSH 公钥登录。
训练示例
在 Master 节点启动多机任务
以 PyTorch 为例,设置 Master 后在 Master 节点运行启动命令即可拉起多机训练;TensorFlow、Horovod 的启动方式见使用教程。
启动参数说明
每个节点的 GPU 卡数应该一样,才能都使用上;机器类型也最好一样。
--nproc_per_node- 每个节点的 GPU 卡数,各节点应保持一致
--nnodes- 集群节点总数
--node_rank- 当前节点序号,Master 节点为 0
--master_addr / --master_port- Master 节点的集群内网 IP 与通信端口
脚本需要按分布式训练方式适配,可参考分布式集群使用教程与框架官方文档。
master-node — bash
# 登录 Master 节点,进入项目目录后启动训练python -m torch.distributed.launch \ --nproc_per_node=4 \ --nnodes=2 \ --node_rank=0 \ --master_addr="10.0.0.1" \ --master_port=12345 \ mnmc_ddp_launch.py使用须知
加入集群前请先了解这些规则
集群按区域组网并受配额约束,以下限制来自集群的实际行为,创建前建议先确认。
- 仅同一区域且处于「启动中 / 运行中」的实例可以加入集群,跨区域实例无法组网。
- 加入集群后系统为每个节点分配集群内网 IP,节点状态变为「已连接」即可互相通信。
- Windows 实例加入基础集群后需打开防火墙才能互通;深度学习集群不支持 Windows 实例节点。
- Docker(HC 图标)实例暂不支持加入集群。
- 包时实例不支持「释放」操作,只能移出集群;按量实例可释放并自动移出集群。
- 基础集群可免费升级为深度学习集群,升级后不支持降级。
- 设置 Master 前已登录的节点,请重新登录或执行 source ~/.bashrc 使配置生效。