# Tensor Parallelism

# 权重切分

对于矩阵乘法，如下$X * W = Y$, 其中：

• b ： batch_size , 批量大小
• s ： sequence_length ，输入序列长度
• h ： hidden_size/embedding_size

# 按行切分权重

# forward

# backward

• W 的 backward ：

$$\frac{\partial L} {\partial W_{1}} = \frac{\partial L} {\partial Y} * \frac{\partial Y} {\partial W_{1}} \\ \frac{\partial L} {\partial W_{2}} = \frac{\partial L} {\partial Y} * \frac{\partial Y} {\partial W_{2}} \\$$

​ 对于反向传播，更新$W$，只需要将$\frac{\partial L} {\partial Y}$ 更新到两块 GPU 内分别更新$W_{1}$ 和W_

• X 的 backward ：

  $$\frac{\partial L} {\partial X} = concat[\frac{\partial L} {\partial X_{1}}, \frac{\partial L} {\partial X_{2}} ]$$

# 按列切分权重

# forward

# backward

# 参考文章