Inference the STARK-Lightning onnx models with ONNXRunTime(C++)

[Stoooner]

这边已经将STARK-Lightning的onnx模型以ONNXRunTime(C++)版本进行了推理, 在Quadro P4200显卡上能够跑到170 FPS左右, 在Jetson Agx Xavier这种边缘计算设备上能够跑到80~90 FPS左右. 并且在性能更加羸弱的jetson TX2(大疆 妙算2)上测试了速度能够达到30FPS多。我的邮箱是[email protected], 有需要探讨的可以先给我发邮件，我git不一定常看这些消息.

[ChenYang-1996]

请问您的项目地址？

[TsingWei]

lightning的效果跟本没法落地

[penghouwen]

lightning的效果跟本没法落地

Really? There are many ways to optimize a research model for practical deployment. Looking forward to seeing your advance.

[TsingWei]

lightning的效果跟本没法落地

Really? There are many ways to optimize a research model for practical deployment. Looking forward to seeing your advance.
因为Lightning模型设计上并没有输出目标的置信度，哪怕是像ST那样有一个score模块都能勉强用。对于实际使用来说，Lightning这样的设计在找不到目标时只会胡乱给一个框，从模型训练的角度来看，它必然会给出一个尽可能大的框来获得更小的损失，而这种设计对落地来说毫无意义。当然在有限的场景下，Lightning优化速度的设计还是比较不错的。

[Stoooner]

请问您的项目地址？

我上传了我自己的GitHub，只不过暂时处于private状态(因为项目里用到了这部分代码)，如果你确有需求可以私聊我或者留下你的微信我加你，谢谢。

[Stoooner]

必然

确实，lightning的效果确实如你所说，我这边也的导出了stark_st50的onnx并且以onnxruntime(c++)进行了推理，这个效果不错。但是就如你所说的，lightning用于性能比较羸弱的计算设备上是比较合适的，而stark_st50导出的onnx在性能羸弱的设备上速度就比较差了。此外我还在性能更差的Jetson TX2上测试了lightning(onnxruntime c++)的代码，能够达到30fps以上，因此效果还行。我在着手将stark的onnx以TensoRT(c++)的方式进行推理并且辅以cuda加速前后处理，等有了结果我再提issue.

[Stoooner]

lightning的效果跟本没法落地

Really? There are many ways to optimize a research model for practical deployment. Looking forward to seeing your advance.

确实，lightning的效果确实如你所说，我这边也的导出了stark_st50的onnx并且以onnxruntime(c++)进行了推理，这个效果不错。但是就如你所说的，lightning用于性能比较羸弱的计算设备上是比较合适的，而stark_st50导出的onnx在性能羸弱的设备上速度就比较差了。此外我还在性能更差的Jetson TX2上测试了lightning(onnxruntime c++)的代码，能够达到30fps以上，因此效果还行。我在着手将stark的onnx以TensoRT(c++)的方式进行推理并且辅以cuda加速前后处理，等有了结果我再提issue.

[Stoooner]

我这边把tensorRT版本的跑起来了，在另外一个issue中，各位有兴趣可以去看看