1.常见数据处理算法问题

2.数据处理参数不正确等

3.未对数据进行归一化或标准化

4.数据处理方式和训练集不一致

5.没有对数据集进行shuffle

没有对数据集进行shuffle，是指训练时未对数据集进行混洗。未进行shuffle，或者混洗不充分，会导致总是以相同的数据顺序更新模型，严重限制了梯度优化方向的可选择性，导致收敛点的选择空间变少，容易过拟合。

1.2.3 算法问题

a. API使用问题

常见API使用问题如下：

1.使用API没有遵循MindSpore约束

2.构图时未遵循MindSpore construct约束。

使用API未遵循MindSpore约束，是指使用的API和真实应用的场景不匹配。例如，在除数中可能含有零的场景，应该考虑使用DivNoNan而非Div以避免产生除零问题。又例如，MindSpore中，DropOut第一个参数为保留的概率，和其它框架正好相反（其它框架为丢掉的概率），使用时需要注意。

计算图结构是模型计算的载体，计算图结构错误一般是实现算法时代码写错了。计算图结构方面常见的问题有：

1.算子使用错误（使用的算子不适用于目标场景）

2.权重共享错误（共享了不应共享的权重）

3.节点连接错误（应该连接到计算图中的block未连接）

4.节点模式不正确

5.权重冻结错误（冻结了不应冻结的权重）

6.loss函数有误

7.优化器算法错误（如果自行实现了优化器）等

权重共享错误，是指应该共享的权重未共享，或者不应该共享的权重共享了。通过MindInsight计算图可视，可以检查这一类问题。

权重冻结错误，是指应该冻结的权重未冻结，或者不应该冻结的权重冻结了。在MindSpore中，冻结权重可以通过控制传入优化器的params参数来实现。未传入优化器的Parameter将不会被更新。可以通过检查脚本，或者查看MindInsight中的参数分布图确认权重冻结情况。

节点连接错误，是指计算图中各block的连接和设计不一致。如果发现节点连接错误，应该仔细检查脚本是否编写出错。

节点模式不正确，是指部分区分训练、推理模式的算子，需要按照实际情况设置模式。典型的包括：（1）BatchNorm算子，训练时应打开BatchNorm的训练模式，此开关在调用 net.set_train(True)的时候会自动打开（2）DropOut算子，推理时不应使用DropOut算子。

c. 权重初始化问题

分布式场景不同节点的权重初始值不同，是指初始化后，不同节点上的同名权重初始值不同。正常来说，MindSpore会对梯度做全局AllReduce。确保每个step结尾，权重更新量是相同的，从而保证每个step中，各个节点上的权重一致。如果初始化时各节点的权重不同，就会导致不同节点的权重在接下来的训练中处于不同的状态，会直接影响模型精度。分布式场景应通过固定相同的随机数种子等方式，确保权重的初始值一致。

1.3 相同现象存在多个可能原因导致精度问题定位难

以loss不收敛为例（下图），任何可能导致激活值饱和、梯度消失、权重更新不正确的问题都可能导致loss不收敛。例如错误地冻结了部分权重，使用的激活函数和数据不匹配（使用relu激活函数，输入值全部小于0），学习率过小等原因都是loss不收敛的可能原因。