ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

PaddleHub 安装指南:环境依赖、pip 安装与网络/离线使用说明

PaddleHub 安装指南:环境依赖、pip 安装与网络/离线使用说明 PaddleHub 安装指南环境依赖、pip 安装与网络/离线使用说明【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleFormers本篇指南基于 PaddleFormers 仓库中的 安装文档系统讲解 PaddleHub 的完整安装流程从操作系统、Python 与 PaddlePaddle 的版本依赖到 GPU/CPU 两个版本的飞桨框架安装、PaddleHub 包安装再到安装后的网络连接校验与离线使用配置。读完本文你将能够独立完成 PaddleHub 环境的搭建并理解安装过程中的版本校验、依赖安装与目录结构等底层机制。环境依赖PaddleHub 的运行依赖三个层面的环境条件缺一不可依赖项版本要求操作系统Windows / macOS / LinuxPython 3.6.2PaddlePaddle 2.0.0其中PaddlePaddle 版本要求是硬性约束。查看仓库 paddlehub/init.py 可以看到包导入时即执行版本校验_paddle_version Version(paddle.__version__) if _paddle_version Version(2.0.0) and _paddle_version ! Version(0.0.0): raise RuntimeError( Version mismatch in PaddleHub and PaddlePaddle, you need to upgrade PaddlePaddle to version 2.0.0 or above.)也就是说如果本机安装的 PaddlePaddle 低于 2.0.0开发版0.0.0除外导入paddlehub会直接抛出RuntimeError并提示升级而不是等到运行时才暴露问题。第 1 步安装 PaddlePaddlePaddleHub 建立在 PaddlePaddle 深度学习框架之上因此必须先安装飞桨框架。根据是否有 GPU 环境二选一执行# 安装 GPU 版本的 PaddlePaddle pip install paddlepaddle-gpu -U # 或者安装 CPU 版本的 PaddlePaddle # pip install paddlepaddle -U-U参数表示升级到最新版本确保满足 2.0.0的版本约束GPU 版本还需注意本机 CUDA / cuDNN 与飞桨版本的匹配关系具体安装方式以官方安装文档为准若需在特定环境中安装如 Conda 虚拟环境务必先激活目标环境再执行上述命令。第 2 步安装 PaddleHub飞桨框架就绪后通过 pip 安装 PaddleHubpip install paddlehub2.1.0依赖包自动安装安装 PaddleHub 时会自动拉取其声明的全部依赖。从 requirements.txt 可以看到主要依赖包括paddlenlp 2.0.0NLP 预训练模型支撑、paddle2onnx模型导出、visualdl可视化训练、flask与pyzmq模型服务部署、gradioWeb Demo、opencv-python、Pillow图像处理、numpy、pyyaml、tqdm等。其中gunicorn带平台条件sys_platform ! win32即仅在非 Windows 系统安装。安装完成后pip 会在 setup.py 声明的entry_points作用下注册hub命令行工具对应paddlehub.commands.utils:execute后续可以直接使用hub install、hub run等子命令管理模型模块。加速安装可选若默认 PyPI 源下载缓慢可以参考仓库 linux_quickstart.md 中的做法使用百度镜像源加速pip install paddlehub -i https://mirror.baidu.com/pypi/simple注意paddlehub2.1.0为文档标注的稳定版本号当前仓库源码中paddlehub/__init__.py的__version__ develop表示仓库处于开发迭代状态直接通过源码运行与固定版本安装存在差异生产使用建议按固定版本安装。第 3 步验证安装与网络连通性安装完成后可执行hub help查看命令行是否可用命令入口定义见 paddlehub/commands/utils.py。PaddleHub 的预训练模型和预置数据集需要从服务端下载因此安装机器的网络连通性是模型可用的前提。文档提供了 Python 接口校验方式import paddlehub paddlehub.server_check() # 如果可以连接远端 PaddleHub-Server则显示 Request Hub-Server successfully。 # 如果无法连接远端 PaddleHub-Server则显示 Request Hub-Server unsuccessfully。该方法在 paddlehub/server/init.py 中实现通过module_server获取默认服务源default_hub_server并调用is_connected()探测连通性实际请求逻辑在 paddlehub/server/server_source.py 中——向服务端发送一次search请求返回 HTTP 200 即视为连通。默认服务地址配置在 paddlehub/config.py 中http://paddlepaddle.org.cn/paddlehub。该地址可通过hub config命令或修改配置文件更换详见 config.py。离线使用与数据目录文档同时说明如果本地已存在相关的数据集和预训练模型则可以离线运行 PaddleHub。首次在线运行时会自动下载模型与数据集并缓存到本地目录之后即可脱离网络使用。数据落地位置由环境变量HUB_HOME控制。从 paddlehub/env.py 可以看到其目录结构设计未设置HUB_HOME时默认路径为~/.paddlehub各子目录职责如下子目录用途modules存放已安装的 PaddleHub Modulecache缓存数据dataset自动下载的数据集conf默认配置文件如config.yamlthirdparty第三方库tmp运行期间产生的临时文件一般会自动清理sources已安装的代码源log运行日志按日存储若需将缓存目录迁移到指定磁盘或自定义位置可在安装前设置export HUB_HOME/your/custom/pathWindows 下使用set HUB_HOME...。常见问题与注意事项导入时报版本不匹配报错Version mismatch in PaddleHub and PaddlePaddle说明 PaddlePaddle 低于 2.0.0需先升级飞桨框架见上文版本校验源码 paddlehub/init.py。server_check()返回 unsuccessfully说明本机无法访问默认模型服务端常见原因是网络限制或代理设置。此时需确保可访问外网若已有本地缓存的模型与数据集则不影响离线使用。模型安装时提示环境不匹配hub install在安装模块时会校验 PaddlePaddle / PaddleHub 版本与模块的兼容区间逻辑见 paddlehub/server/server_source.py可加--ignore_env_mismatch参数跳过校验见 paddlehub/commands/install.py但可能带来运行期异常仅在确有必要时使用。Windows 中文路径警告当HUB_HOME或主目录包含中文字符时部分模块可能执行异常源码 paddlehub/init.py 会打印警告建议通过set HUB_HOME指定纯英文路径。小结完整的安装链路可归纳为三步安装满足版本要求的 PaddlePaddle → 通过pip install paddlehub2.1.0安装 PaddleHub → 执行server_check()校验模型服务连通性。PaddleHub 对 PaddlePaddle 版本有强校验 2.0.0模型与数据首次使用需联网下载并缓存至HUB_HOME目录本地已有资源时则完全支持离线运行。【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleFormers创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表