直接在 torch 的基础上实现对 paddle 模型的 trace/modify/interpretation ?

[gglin001]

在 torch 的基础上实现对 paddle 模型的 trace/modify/interpretation

意味着两条线同步进行

一是从底层实现 torch.fx & torch.dynamo & torch.inductor *

二是直接使用现成的 torch 组件, 只是输入变成 paddle 程序(会需要修改 torch 的代码, 也许可以是维护一个 单独的 torch repo, 从 2.0 的分支/tag 开始), 目的是为了快速的验证 paddlefx 能做到的功能, 也能为一提供帮助

问题:

• 是否必要
• 是否可能

[gglin001]

cc @jzhang533 @SigureMo any ideas?

[jzhang533]

我觉得是一个可以尝试的方式。但确实还没办法评估，这么做的话，需要在torch codebase的基础上，做多少的改动。trace的部分应该还好，AOTAutoGrad、从fx graph到inductor IR的lowering的部分，感觉上需要调整的东西会很多。

我感觉，我们现在最大的挑战是需要理解和消化torch的方案里的所有technical details，然后能更详细的列出paddlefx下一步要做的明确的事情。如果我们利用现有的torch的codebase，实现对 paddle 模型的 trace/modify/interpretation 的过程中，能有新的发现，让paddlefx下一步要做的事情变得更明确的话，会非常有意义。

[gglin001]

同意，让我们先从 torch2.0的分支出发，尝试一下吧，我觉得是有助于加深对整套机制的理解的