compiler

compiler

SPA (Static Program Analysis)

静态程序分析(Static Program Analysis, SPA)的目标很明确:在不实际运行程序的前提下,仅通过源代码获取部分我们感兴趣的程序信息。 例如: * 这个变量是否被使用过? * 这个表达式的计算结果是否一定是常量? 一般而言,我们可以针对这些具体问题,朴素地编写一些特定的分析代码来达成目标。而研究 SPA 的意义主要在于: * 提供一套通用的方法和套路,指导我们按照固定的流程完成分析目标。 * 提供一套完整的术语体系和理论论证,证明上述方法的有效性,或者明确其适用范围。 程序分析在逻辑上并不十分复杂。对于静态程序分析而言,重点主要是分析速度要快。如果静态分析的耗时甚至超过实际运行一遍程序,那么几乎可以认为这种分析是不可用的。 基础术语 Sound & Complete 假定所有在运行期可能出现的结论共同构成一个 Truth 集合,其中的结论都被称为 Correct。 在静态分析中,有两个重要概念:Sound 和 Complete,可以简单理解为“保全”和“保真”。 * Sound(保全,Over-ap

By Edimetia3D

torch

TorchDynamo 基础原理

综述 TorchDynamo 的核心目标是:尽可能提高 JIT 对动态 Python 程序的覆盖率,使更多 PyTorch 程序能够在不修改原始代码的情况下获得编译加速。 对于一个待执行的 Python 函数,TorchDynamo 的基本思路是: 1. 尽可能捕获可编译的计算片段。 即使无法将整个函数编译成一个 FX Graph,也可以尝试从中提取部分可编译的计算。 1. 尽可能生成少量、较大的 FX Graph。 Dynamo 会贪婪地尝试捕获连续的计算操作。当遇到无法处理的逻辑时,通过 Graph Break 将当前计算图截断,并尽可能从后续位置继续捕获。 1. 通过原生 Python 执行逻辑将这些计算图串联起来。 最终,程序由编译后的 FX Graph 和无法捕获的 Python 代码共同组成,从而兼顾编译加速和 Python 的灵活性。 例如:

By Edimetia3D