漂移训练问题

MLOps是构建机器学习模型并将其部署到生产环境中的一个组成部分。数据漂移可以属于MLOps中模型监控的范畴。它指的是量化观察数据相对于训练数据的变化，这些变化随着时间的推移，会对模型的预测质量产生巨大的影响，而且往往是更糟的影响。跟踪与训练特征和预测有关的漂移指标应该是模型监测和识别模型何时应该重新训练的重要组成部分。

对基于数据集产生的结果可以设定阈值，如果模型的大多数重要特征的漂移分数超过该阈值，这将是重新训练模型的一个重要指标。对于基于树的模型，可以通过sklearn或SHAP来识别每一个特征的重要性。

此外，这篇文章还概述了我们在尝试计算漂移时遇到的一些常见问题。比如当有零值时，除以零的错误和关于比较一对大小不一样的分布的问题。需要注意，这篇文章主要对那些不经常重新训练模型的人有帮助。模型监测将作为一种重要手段来衡量一个模型是否成功，并确定它的性能何时因漂移而出现退步。这两者都是重新训练或重新进入模型开发阶段的指标。

因为设备不同，有的客户端可以训练大模型，有的客户端只能训练小模型，但这些只能训练小模型的客户端也许能做出独特贡献ClientDrift：客户端漂移，小部分客户端的训练方向与其他客户端的训练方向不一致，导致中央权重的性能出现下降作者提出FedRolex解决这些问题，即将中央大模型拆分成小模型，然后让不同的客户端训练这些小模型，形成异构训练

已经有相关工作利用上了在大量真实人脸上预训练的神经面部模型的潜空间内的语义操作，不过这些模型中通常在「真实人脸」上表现不佳，虽然操作是近似的，但可能会导致身份漂移。