请问在CPU上推理有什么加速方案呢

#23

by Ark0810 - opened Aug 17, 2023

•

目前，8核32G的配置，单条速度约400ms左右，我是转onnx模型后，使用go-onnxruntime库加载的模型

Ark0810 changed discussion title from 在CPU上推理有什么加速方案 to 请问在CPU上推理有什么加速方案呢 Aug 17, 2023

Moka HR SaSS org Oct 10, 2023

•

我能想到比较简单的实现也是 ONNX ，其他的方法只学习过，没有实践过。

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment