深度学习目前仍有很大的局限性，其中之一就是无法结合先验知识，如数学或物理学的基本定律。通常，必须从训练集中理解DL，这很难真正涵盖足够的先验知识。而DL的一个卖点是，它不需要用算法编程; 而是通过一种优化形式从这些训练集中抽离出智能。当训练集足够大，可以覆盖目标的核心时，这种方法是很有效的，但如果无法很好的引入其他变量(如旋转或移动)，这种方法就不是很有效。 这是一个急需解决的局限性。 
解决这个问题最简单的方法是扩大训练范围以涵盖更多变量。对于旋转，可能需要108 * N个训练样本来覆盖3个旋转轴和每个轴上的36个方向（0,10,20，……度），而N个样本远远不够。也就是说收集和标记训练样本的数量必须大幅增加。对于移动这个变量，如何训练ML来确定击打母球时斯诺克台球桌上其他球会怎么移动？ 利用训练重新发现牛顿300多年前编纂的东西似乎是对创造力的巨大浪费。
处理这些变量最好的方法是结合ML使用数学和物理学的先验知识。 在计算机图形学中，我们使用基于数学公式的算法推断旋转对视图的影响。在斯诺克的例子中，我们使用了牛顿运动定律，再次在算法中编码。这些算法捕获了一些简单的方程式，否则在追求无算法识别时就需要大量的训练集，这就是算法被淘汰的原因。
斯坦福大学的一篇论文中利用对弹丸力学的理解来识别和跟踪被扔出去的枕头在房间内经过的路径。据悉，他们首先对一小段路径进行模型识别，然后利用约束来排除不遵循预期的二阶运动方程的完整路径。其实他们使用了一个经典公式作为神经网络结构中的约束条件。 这项研究显示了在缺乏监督的情况下进行机器学习的希望。
奥地利科学与技术研究所的另一篇有趣的论文采用了一种完全不同的方法（通过ML）来建立机器人安全操作条件的模型（例如移动手臂或腿的范围），这些模型基于从已知安全范围的操作中学习简单的公式。这些公式允许出现超出训练范围的结果。 他们将此描述为“一种机器学习方法，这种方法可以准确地推断出无法准确辨别的情况”。其实这种方法是通过在有界的空间中进行实验，以简单线性方程的形式建立自己的先验知识。
第三个例子来自索邦大学，他们提供了预测海面温度（SST）的图示。 海面温度数据已经通过卫星图像生成，可以提供大量的信息。预测这些数据将如何发展需要基于偏微分方程（PDE）及时更新数据，这是使用数值求解方法进行预测的标准方法的基础。该研究团队使用具有离散化版PDE方程的CDNN来指导网络中时间传播的加权。与数值方法和其他一些NN方法相比，他们的研究显示更有希望看到结果。
因此，有两种方法可以通过加权将先验物理知识减少或离散化为适合现有深度学习架构的机制，一种方法是推导出简单方程以形成其自己的“先验”知识基础。不过在作者看来，Sorbonne方法似乎是最具扩展性的，因为物理学中的几乎所有问题都可以简化为PDE。
原文链接：https://www.semiwiki.com/forum/content/7628-machine-learning-prior-knowledge.html
