LiteAnyStereo模型适配rk3588

[xihaofei]

作者好，请问有在rk3588中适配[LiteAnyStereo](https://github.com/TomTomTommi/LiteAnyStereo吗？
我在板端使用c++推理，效果比lightstereo-m-sceneflow-general好很多，但是模型推理速度特别慢（接近200到300ms）。请问针对这种情况，有什么解决办法吗？

[zz990099]

hello~ 我对LiteAnyStereo在rk3588上的部署也很感兴趣。尝试了一下，fp16下384x1248分辨率推理延迟在500~600ms.

可以分享一下你们导出的模型参数吗？

[xihaofei]

int8以及384*640输入，推理延迟在300到400ms，视差图的效果比lightstereo-m-sceneflow-general好很多。 zz99 ***@***.***> 于2026年5月7日周四 18:42写道：

…

*zz990099* left a comment (zz990099/lightstereo_cpp#17) <#17 (comment)> hello~ 我对LiteAnyStereo在rk3588上的部署也很感兴趣。尝试了一下，fp16下384x1248分辨率推理延迟在500~600ms. 可以分享一下你们导出的模型参数吗？ — Reply to this email directly, view it on GitHub <#17 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AGIGRJCYCIFRO66YXGUFTBL4ZRR7PAVCNFSM6AAAAACYSOJQLOVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHM2DGOJWGM4TGNBTGY> . Triage notifications on the go with GitHub Mobile for iOS <https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675> or Android <https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub>. You are receiving this because you authored the thread.Message ID: ***@***.***>

[xihaofei]

转换后的LiteAnyStereo基本上所有算子都在NPU中，但是很好奇为什么推理时间这么慢？会不会和模型其中的3D卷积相关？

[zz990099]

似乎是因为模型后半段aggregation网络的规模比较大，这部分网络规模和lightstereo-m后半段差不多。延迟大概占了整个网络推理的2/3。

这部分推理延迟比较大我觉得应该是合理的？

[20211105]

@xihaofei 请问LiteStereo的量化脚本可以提供一下吗，我在做int8量化的时候遇到
python3 tools/cvt_onnx2rknn_384_640.py
I rknn-toolkit2 version: 2.3.0
I Loading : 100%|██████████████████████████████████████████████| 448/448 [00:00<00:00, 26832.05it/s]
I OpFusing 0: 100%|███████████████████████████████████████████████| 100/100 [00:06<00:00, 16.25it/s]
I OpFusing 1 : 100%|██████████████████████████████████████████████| 100/100 [00:09<00:00, 10.58it/s]
I OpFusing 0 : 100%|██████████████████████████████████████████████| 100/100 [00:20<00:00, 4.86it/s]
I OpFusing 1 : 100%|██████████████████████████████████████████████| 100/100 [00:20<00:00, 4.80it/s]
I OpFusing 2 : 100%|██████████████████████████████████████████████| 100/100 [00:21<00:00, 4.68it/s]
I OpFusing 0 : 100%|██████████████████████████████████████████████| 100/100 [00:28<00:00, 3.57it/s]
I OpFusing 1 : 100%|██████████████████████████████████████████████| 100/100 [00:28<00:00, 3.53it/s]
I OpFusing 2 : 100%|██████████████████████████████████████████████| 100/100 [00:34<00:00, 2.90it/s]
W build: found outlier value, this may affect quantization accuracy
const name abs_mean abs_std outlier value
onnx::Conv_3548 1.01 2.60 -35.268
onnx::Conv_3587 0.46 0.60 12.348
onnx::Conv_3614 0.63 0.82 17.822
onnx::Conv_3623 0.55 0.78 15.939
onnx::Conv_3641 0.27 0.39 8.812
onnx::Conv_3650 0.42 0.49 27.005
onnx::Conv_3686 0.34 0.36 -12.041
onnx::Conv_3701 1.01 2.60 -35.268
onnx::Conv_3740 0.46 0.60 12.348
onnx::Conv_3767 0.63 0.82 17.822
onnx::Conv_3776 0.55 0.78 15.939
onnx::Conv_3794 0.27 0.39 8.812
onnx::Conv_3803 0.42 0.49 27.005
onnx::Conv_3839 0.34 0.36 -12.041

[xihaofei]

你好，我在将LiteStereo导出为rknn的时候对LiteStereo更改了一些算子才转换成功，脚本还没有整理。我把转化后的LiteStereo.onnx模型放出来，希望对你有用。

[20211105]

@xihaofei 好的，谢谢，这个模型下载需要权限，能加你个联系方式吗，探讨一下，期待得到你的回复

[xihaofei]

你好，权限已经开了。有问题的话，可以发xihaofei0229@gmail.com

[20211105]

谢谢~