矩池云
基础产品 · 任务与集群

网络集群,同区域实例互联支撑更高阶任务协同

把同一区域的实例组织到独立网络中:基础集群支持节点间网络互通,深度学习集群支持 PyTorch、TensorFlow、Horovod 等分布式训练框架。

同区域组网

将同一区域的实例组织进独立网络,节点通过集群内网 IP 互联。

两种集群类型

基础集群支持网络互通,深度学习集群支持分布式训练,可免费升级。

Master 自动配置

设置 Master 后自动下发 NCCL / GLOO 网卡环境变量与 SSH 公钥。

清晰的配额

默认 1 个集群、每集群 5 台实例,配额在「我的集群」页可见。

集群类型

基础集群与深度学习集群

创建时可以选择集群类型;基础集群覆盖通用组网需求,需要分布式训练时免费升级为深度学习集群。

基础集群

支持集群内网络互通

  • 将同一区域的实例组织进独立网络,节点间通过集群内网 IP 互联通信
  • 适合多机联调、自建任务调度与服务互通等通用协同场景
  • Windows 实例节点需打开防火墙才能互通;Docker(HC 图标)实例暂不支持加入集群

深度学习集群

支持构建分布式训练集群

  • 支持 TensorFlow、PyTorch、Horovod 等深度学习分布式训练框架
  • 每个集群可配置一个 Master 节点,统一下发配置并承担训练调度入口
  • 由基础集群免费升级而来,升级后不支持降级;不支持 Windows 实例节点

设置 Master 后,系统会对节点重新配置:所有节点注册网卡通信环境变量 NCCL_SOCKET_IFNAME、GLOO_IFACE,并配置 Master 节点到其它节点的 SSH 公钥登录。

使用流程

四步开始多机协同

从租用机器到启动分布式训练,全部操作都可以在控制台完成。

STEP 1

租用机器

在主机市场筛选「支持分布式集群」的机器租用;多机多卡时各节点机型与 GPU 卡数保持一致。

去主机市场
STEP 2

创建集群

进入「我的集群」,选择区域并创建基础集群;需要分布式训练时免费升级为深度学习集群。

打开我的集群
STEP 3

添加机器并设置 Master

勾选同区域处于「启动中 / 运行中」的实例加入集群;节点「已连接」后,为深度学习集群设置 Master。

STEP 4

运行分布式训练

适配分布式脚本后,登录 Master 节点启动多机任务,即可开始多机协同训练。

查看完整教程
训练示例

在 Master 节点启动多机任务

以 PyTorch 为例,设置 Master 后在 Master 节点运行启动命令即可拉起多机训练;TensorFlow、Horovod 的启动方式见使用教程。

启动参数说明

每个节点的 GPU 卡数应该一样,才能都使用上;机器类型也最好一样。

--nproc_per_node
每个节点的 GPU 卡数,各节点应保持一致
--nnodes
集群节点总数
--node_rank
当前节点序号,Master 节点为 0
--master_addr / --master_port
Master 节点的集群内网 IP 与通信端口

脚本需要按分布式训练方式适配,可参考分布式集群使用教程与框架官方文档。

master-node — bash
# 登录 Master 节点,进入项目目录后启动训练python -m torch.distributed.launch \  --nproc_per_node=4 \  --nnodes=2 \  --node_rank=0 \  --master_addr="10.0.0.1" \  --master_port=12345 \  mnmc_ddp_launch.py
使用须知

加入集群前请先了解这些规则

集群按区域组网并受配额约束,以下限制来自集群的实际行为,创建前建议先确认。

  • 仅同一区域且处于「启动中 / 运行中」的实例可以加入集群,跨区域实例无法组网。
  • 加入集群后系统为每个节点分配集群内网 IP,节点状态变为「已连接」即可互相通信。
  • Windows 实例加入基础集群后需打开防火墙才能互通;深度学习集群不支持 Windows 实例节点。
  • Docker(HC 图标)实例暂不支持加入集群。
  • 包时实例不支持「释放」操作,只能移出集群;按量实例可释放并自动移出集群。
  • 基础集群可免费升级为深度学习集群,升级后不支持降级。
  • 设置 Master 前已登录的节点,请重新登录或执行 source ~/.bashrc 使配置生效。
立即开始

把同区域实例连成一个集群

创建集群、添加机器、设置 Master,几步完成多机协同与分布式训练环境搭建