分布式

计算并行

---

数据并行(Data Parallelism)

数据并行是指分布式系统中的不同机器复制同一个模型,每个机器分配到不同的数据,然后将所有机器的模型按照某种方式合并;

两种数据划分方法

• 数据实例划分
• 数据维度划分

---

模型并行(Model Parallelism)

模型并行是指分布式系统中的不同机器(CPU/GPU)负责同一个模型的不同部分;