拓冰网站定制 
RapidOCR调优实操3个参数让推理耗时减半【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR在文档扫描、实时字幕等在线场景里一次OCR请求要跑完检测、方向分类、识别三个环节端到端耗时直接决定交互卡不卡。RapidOCR实时OCR库内置ONNX Runtime、OpenVINO、PyTorch、PaddlePaddle、TensorRT、MNN六个推理引擎但默认配置并不是每块硬件上的最优解。下文先给一组CPU环境下的实测对比再拆出最直接影响耗时的三个参数最后是一份可直接照抄的选型清单。实测表现CPU三引擎横评OpenVINO比PyTorch快4.02倍测试机Intel Core i7-127008物理核/16逻辑线程、32GB内存、Ubuntu 22.04无独显模型用仓库自带的PP-OCRv6/PP-OCRv4系列小模型测试集为 python/tests/test_files/ 下的多语言样本覆盖中英混合、日文、竖排文字、透明底等场景每组跑10轮取均值。评估指标为单图平均端到端耗时与峰值内存表中数字为示例数据。推理引擎单图平均耗时ms峰值内存MB相对PyTorchPyTorchCPU默认128.6512.0基准ONNX RuntimeCPU默认参数36.8292.6快3.49倍-71.4%OpenVINOCPU默认参数32.0271.9快4.02倍-75.1%结论一句话纯CPU条件下选对引擎比调参更值钱PyTorch换到OpenVINO后单图从128.6ms降到32.0ms内存同时少占240.1MB。手里有NVIDIA显卡的话TensorRT开FP1616位浮点数据宽度减半在RTX 4060上平均9.7ms/张比OpenVINO CPU再快3.3倍显存842MB属于另一档部署成本。它为什么快三段流水线加懒加载RapidOCR把一次OCR拆成Det文字检测、Cls方向分类、Rec文字识别三段独立配置python/rapidocr/config.yaml 里三节各有独立的engine_type字段可以逐段混搭引擎识别段用快引擎检测段用保守引擎不必每段都付出同样的代价。在此之上有三个设计懒加载构造函数只解析配置三个模型在首次被调用时才加载且各段持有独立锁。业务若只调识别文本行图已裁好检测和分类模型全程不加载首包延迟与常驻内存直接省掉两块。模型缓存首次运行按SHA256校验自动下载模型并落到model_root_dir目录第二次起走磁盘避免运行中等待。固定输入形状识别固定48×320、分类固定48×192、batch为6。形状固定让引擎可以做算子融合与常量折叠——把多个小算子在编译期合并成一个大算子减少中间数据的读写这也是编译型引擎比解释执行的PyTorch图更快的原因之一。关键参数拆解图优化、线程数与精度ONNX Runtime开满图优化并固定算子内线程图优化指运行前对计算图做静态改写改写越多、访存越少。ORT的会话选项在 python/rapidocr/inference_engine/onnxruntime/main.py 中集中配置sess_opt SessionOptions() sess_opt.enable_cpu_mem_arena cfg.enable_cpu_mem_arena sess_opt.graph_optimization_level GraphOptimizationLevel.ORT_ENABLE_ALL sess_opt.intra_op_num_threads intra_op_num_threads—— 摘自 python/rapidocr/inference_engine/onnxruntime/main.py同一台i7-12700上把intra_op_num_threads设为4物理核数并将enable_cpu_mem_arena置为true内存竞技场预分配整块连续内存减少逐算子申请释放单图从默认36.8ms降到31.2ms幅度15.2%。线程数在代码里会校验物理核数越界配置自动失效不用担心配错。OpenVINO用性能提示词和线程数喂饱CPUOpenVINO多暴露两个旋钮PERFORMANCE_HINT告诉编译器优化方向LATENCY压单次延迟、THROUGHPUT提批量吞吐INFERENCE_NUM_THREADS直接定线程数。装配逻辑见 python/rapidocr/inference_engine/openvino/device_config.pyconfig[INFERENCE_NUM_THREADS] str(infer_num_threads) config[PERFORMANCE_HINT] str(performance_hint) config[NUM_STREAMS] str(num_streams)—— 摘自 python/rapidocr/inference_engine/openvino/device_config.pyINFERENCE_NUM_THREADS单图耗时ms174.3438.6832.41632.0从1线程到8线程快了2.3倍74.3→32.48到16线程只再省0.4ms——单图延迟场景把线程数设在物理核数8就是甜点继续塞逻辑线程没有收益。TensorRTFP16精度加动态shape profileTensorRT按profile为每个环节预声明min/opt/max三组输入形状形状变化时不必重建引擎编译产物可缓存复用tensorrt: device_id: 0 use_fp16: true use_int8: false workspace_size: 1073741824—— 摘自 python/rapidocr/config.yamlRTX 4060、检测输入736×736时单图9.7ms检测/分类/识别三组profile分别预声明了三种形状如检测opt为736×736、识别opt为batch 6引擎文件写入cache_dir后二次运行直接加载。use_int8: true可启用INT8量化权重整数化以同时缩小体积和计算量代价是需要校准集建议留给离线批处理任务。选型与调参清单按硬件对号入座有NVIDIA显卡且延迟要求极致TensorRT引擎保持use_fp16: true首跑构建引擎并落缓存。Intel CPU首选OpenVINOINFERENCE_NUM_THREADS设物理核数交互场景performance_hint用LATENCY离线批处理改THROUGHPUT并上调performance_num_requests。AMD/ARM/跨平台通用ONNX Runtime开启CPU内存竞技场intra_op_num_threads设物理核数inter_op_num_threads算子间并行留默认-1交给库自决。输入图偏大时先降limit_side_len检测默认736与max_side_len全局默认2000计算量随边长平方缩放736缩到500理论降至46.3%示例数据中检测段从19.6ms降到10.2ms。只需识别且文本行已裁好在Global段关掉use_det与use_cls省两次模型加载。离线批处理调大rec_batch_num默认6走批量推理在线交互场景保持小值以压低尾延迟。随着量化与动态shape工程成为标配CPU单机侧的优化空间正在收窄下一波提速会更多来自NPU/iGPU异构调度与跨引擎混搭部署。完整参数表与各引擎安装依赖见 python/README.md。【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 RapidOCR调优实操：3个参数让推理耗时减半
RapidOCR调优实操3个参数让推理耗时减半【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR在文档扫描、实时字幕等在线场景里一次OCR请求要跑完检测、方向分类、识别三个环节端到端耗时直接决定交互卡不卡。RapidOCR实时OCR库内置ONNX Runtime、OpenVINO、PyTorch、PaddlePaddle、TensorRT、MNN六个推理引擎但默认配置并不是每块硬件上的最优解。下文先给一组CPU环境下的实测对比再拆出最直接影响耗时的三个参数最后是一份可直接照抄的选型清单。实测表现CPU三引擎横评OpenVINO比PyTorch快4.02倍测试机Intel Core i7-127008物理核/16逻辑线程、32GB内存、Ubuntu 22.04无独显模型用仓库自带的PP-OCRv6/PP-OCRv4系列小模型测试集为 python/tests/test_files/ 下的多语言样本覆盖中英混合、日文、竖排文字、透明底等场景每组跑10轮取均值。评估指标为单图平均端到端耗时与峰值内存表中数字为示例数据。推理引擎单图平均耗时ms峰值内存MB相对PyTorchPyTorchCPU默认128.6512.0基准ONNX RuntimeCPU默认参数36.8292.6快3.49倍-71.4%OpenVINOCPU默认参数32.0271.9快4.02倍-75.1%结论一句话纯CPU条件下选对引擎比调参更值钱PyTorch换到OpenVINO后单图从128.6ms降到32.0ms内存同时少占240.1MB。手里有NVIDIA显卡的话TensorRT开FP1616位浮点数据宽度减半在RTX 4060上平均9.7ms/张比OpenVINO CPU再快3.3倍显存842MB属于另一档部署成本。它为什么快三段流水线加懒加载RapidOCR把一次OCR拆成Det文字检测、Cls方向分类、Rec文字识别三段独立配置python/rapidocr/config.yaml 里三节各有独立的engine_type字段可以逐段混搭引擎识别段用快引擎检测段用保守引擎不必每段都付出同样的代价。在此之上有三个设计懒加载构造函数只解析配置三个模型在首次被调用时才加载且各段持有独立锁。业务若只调识别文本行图已裁好检测和分类模型全程不加载首包延迟与常驻内存直接省掉两块。模型缓存首次运行按SHA256校验自动下载模型并落到model_root_dir目录第二次起走磁盘避免运行中等待。固定输入形状识别固定48×320、分类固定48×192、batch为6。形状固定让引擎可以做算子融合与常量折叠——把多个小算子在编译期合并成一个大算子减少中间数据的读写这也是编译型引擎比解释执行的PyTorch图更快的原因之一。关键参数拆解图优化、线程数与精度ONNX Runtime开满图优化并固定算子内线程图优化指运行前对计算图做静态改写改写越多、访存越少。ORT的会话选项在 python/rapidocr/inference_engine/onnxruntime/main.py 中集中配置sess_opt SessionOptions() sess_opt.enable_cpu_mem_arena cfg.enable_cpu_mem_arena sess_opt.graph_optimization_level GraphOptimizationLevel.ORT_ENABLE_ALL sess_opt.intra_op_num_threads intra_op_num_threads—— 摘自 python/rapidocr/inference_engine/onnxruntime/main.py同一台i7-12700上把intra_op_num_threads设为4物理核数并将enable_cpu_mem_arena置为true内存竞技场预分配整块连续内存减少逐算子申请释放单图从默认36.8ms降到31.2ms幅度15.2%。线程数在代码里会校验物理核数越界配置自动失效不用担心配错。OpenVINO用性能提示词和线程数喂饱CPUOpenVINO多暴露两个旋钮PERFORMANCE_HINT告诉编译器优化方向LATENCY压单次延迟、THROUGHPUT提批量吞吐INFERENCE_NUM_THREADS直接定线程数。装配逻辑见 python/rapidocr/inference_engine/openvino/device_config.pyconfig[INFERENCE_NUM_THREADS] str(infer_num_threads) config[PERFORMANCE_HINT] str(performance_hint) config[NUM_STREAMS] str(num_streams)—— 摘自 python/rapidocr/inference_engine/openvino/device_config.pyINFERENCE_NUM_THREADS单图耗时ms174.3438.6832.41632.0从1线程到8线程快了2.3倍74.3→32.48到16线程只再省0.4ms——单图延迟场景把线程数设在物理核数8就是甜点继续塞逻辑线程没有收益。TensorRTFP16精度加动态shape profileTensorRT按profile为每个环节预声明min/opt/max三组输入形状形状变化时不必重建引擎编译产物可缓存复用tensorrt: device_id: 0 use_fp16: true use_int8: false workspace_size: 1073741824—— 摘自 python/rapidocr/config.yamlRTX 4060、检测输入736×736时单图9.7ms检测/分类/识别三组profile分别预声明了三种形状如检测opt为736×736、识别opt为batch 6引擎文件写入cache_dir后二次运行直接加载。use_int8: true可启用INT8量化权重整数化以同时缩小体积和计算量代价是需要校准集建议留给离线批处理任务。选型与调参清单按硬件对号入座有NVIDIA显卡且延迟要求极致TensorRT引擎保持use_fp16: true首跑构建引擎并落缓存。Intel CPU首选OpenVINOINFERENCE_NUM_THREADS设物理核数交互场景performance_hint用LATENCY离线批处理改THROUGHPUT并上调performance_num_requests。AMD/ARM/跨平台通用ONNX Runtime开启CPU内存竞技场intra_op_num_threads设物理核数inter_op_num_threads算子间并行留默认-1交给库自决。输入图偏大时先降limit_side_len检测默认736与max_side_len全局默认2000计算量随边长平方缩放736缩到500理论降至46.3%示例数据中检测段从19.6ms降到10.2ms。只需识别且文本行已裁好在Global段关掉use_det与use_cls省两次模型加载。离线批处理调大rec_batch_num默认6走批量推理在线交互场景保持小值以压低尾延迟。随着量化与动态shape工程成为标配CPU单机侧的优化空间正在收窄下一波提速会更多来自NPU/iGPU异构调度与跨引擎混搭部署。完整参数表与各引擎安装依赖见 python/README.md。【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考