ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

DeepKE 安装指南:从 conda 虚拟环境、Docker 镜像到 PyPI 与源码安装的完整实践

DeepKE 安装指南:从 conda 虚拟环境、Docker 镜像到 PyPI 与源码安装的完整实践 人工智能NLP知识图谱深度学习【免费下载链接】DeepKE[EMNLP 2022] An Open Toolkit for Knowledge Graph Extraction and Construction项目地址https://gitcode.com/gh_mirrors/de/DeepKE点击查看免费下载本文围绕 DeepKE基于 PyTorch 的开放知识抽取工具包的官方安装文档展开系统梳理 docs/source/install.rst 中提供的四种安装路径conda 虚拟环境创建、Docker 镜像构建、PyPI 包安装pip install deepke以及源码安装python setup.py install。你将掌握 DeepKE 在不同使用场景直接调用 vs 修改源码下的正确安装姿势并理解仓库中 Dockerfile、setup.py、requirements.txt 等构建产物背后的版本约束与依赖细节为后续运行 NER、RE、AE 等知识抽取任务打好环境基础。安装前的环境准备为什么推荐先创建 conda 虚拟环境DeepKE 的官方安装文档给出的第一步是创建独立的虚拟环境并明确推荐使用 Anacondaconda create -n deepke python3.8 conda activate deepke这条命令会创建一个名为deepke、Python 版本为 3.8 的独立环境。之所以推荐虚拟环境是因为 DeepKE 的依赖链条较长且版本约束严格直接在系统 Python 中安装容易与其他项目产生依赖冲突。从仓库根目录的 requirements.txt 可以看到DeepKE 锁定了一批具体版本torch1.5,1.11PyTorch 版本上限为 1.11说明当前仓库的模型实现如 BiLSTM、Transformer、PCNN 等基于该版本的 APIhydra-core1.0.6配置系统固定使用 Hydra 1.0.6仓库中所有example/*/conf下的 yaml 配置均由 Hydra 加载transformers4.26.0、huggingface_hub0.11.0预训练模型加载依赖的固定版本wandb0.12.7权重与偏差可视化工具scikit-learn0.24.1、seqeval1.2.2、nltk3.8评估与文本处理依赖jieba0.42.1中文分词依赖pytorch-crf0.7.2CRF 层实现依赖用于example/ee/standard事件抽取与标准 NER。值得注意的是官方文档在 start.rst 中建议通过git clone拉取代码后使用而环境隔离能保证不同任务示例标准、few-shot、document、multimodal之间的依赖互不干扰。实用提示FAQ官方 faq.rst 中给出两个加速安装技巧——使用距离最近的 Anaconda 镜像源可以显著加快 conda 环境创建速度使用距离最近的 pip 镜像源可以加快依赖安装速度。此外若在安装过程中遇到ModuleNotFoundError: No module named past报错执行pip install future即可解决。方式一使用 PyPI 直接安装如果你的需求是直接使用 DeepKE 而无需修改源码官方文档提供了最简单的路径——通过 pip 从 PyPI 安装pip install deepke该命令会从 PyPI 拉取deepke包并安装其依赖。从仓库根目录的 setup.py 可以看出包的定义信息包名为deepke版本号2.2.7package_dir{: src}表明所有源码位于src目录下find_packages(src)会收集 src/deepke 下的全部子包。安装完成后你可以在代码中直接import deepke from deepke.relation_extraction.standard import models需要说明的是setup.py 中install_requires目前处于注释状态即 PyPI 安装方式不会自动拉取全部依赖建议在安装 deepke 之前先手动按照 requirements.txt 安装对应版本的依赖库以保证运行时环境完整。这一点在实操中非常重要如果跳过依赖安装后续运行训练脚本时可能出现版本不兼容或模块缺失的问题。方式二通过 setup.py 从源码安装如果你的目标是修改源码后再使用例如自定义模型结构、调整数据预处理逻辑、为特定任务扩展新模块官方文档推荐使用源码安装python setup.py install执行该命令前需确保已在仓库根目录即 setup.py 所在目录执行并已通过git clone拉取完整仓库。源码安装会把src下的 deepke 包以可编辑/可追踪的方式注册到当前 Python 环境中后续对源码的修改能够直接反映到运行效果中。从源码结构看src/deepke/init.py 会在包导入时自动加载五个核心子模块attribution_extraction属性抽取 AErelation_extraction关系抽取 REname_entity_re命名实体识别 NERevent_extraction事件抽取 EEtriple_extraction三元组抽取这些子模块对应仓库example/下的标准standard、few-shot、document、multimodal 等各类场景示例源码安装后即可在这些示例目录中直接运行python run.py进行训练。方式三基于 Dockerfile 构建镜像为什么选择 Docker 安装DeepKE 依赖版本锁定严格如 torch 上限 1.11、hydra-core 固定 1.0.6Docker 镜像可以将完整环境固化避免在不同机器间迁移时反复踩依赖坑。官方文档给出了镜像构建命令cd docker docker build -t deepke . conda activate deepke第一行进入仓库的 docker 目录第二行以deepke为标签构建镜像第三行激活环境以便后续在容器内使用。Dockerfile 的构建细节解读仓库中的 Dockerfile 完整揭示了镜像的构建逻辑基础镜像ubuntu:18.04指定--platformlinux/amd64并安装build-essential、cmake、wget、git、curl、ca-certificates等编译与下载工具Miniconda 安装下载 Miniconda3-4.7.12 并静默安装随后创建名为deepke、Python 3.8 的 conda 环境与官方文档推荐的conda create -n deepke python3.8保持一致源码拉取在镜像内git cloneDeepKE 仓库到/root/DeepKE并将WORKDIR设置为该目录依赖安装依次升级 setuptools、pip然后执行pip install -r requirements.txt安装全部锁定版本依赖包安装最后执行python docker/setup_docker.py install python docker/setup_docker.py develop完成 DeepKE 包在镜像内的安装。其中第 5 步用到的 setup_docker.py 与根目录 setup.py 内容一致包名deepke、版本2.2.7、package_dir{: src}先install再develop是为了在容器内既能正式安装又能以开发模式实时跟踪源码修改。四种安装方式的选型对比安装方式适用场景核心命令备注conda 虚拟环境 源码运行本地开发调试使用仓库 example 示例conda create -n deepke python3.8 conda activate deepke官方推荐首选配合git clone使用PyPI 安装仅需调用 DeepKE 做推理/集成不改源码pip install deepke当前版本2.2.7依赖需手动按 requirements.txt 安装setup.py 源码安装修改源码后使用扩展自定义模型python setup.py install在仓库根目录执行安装后可编辑Docker 镜像环境复现、跨机器迁移、CI 场景cd docker docker build -t deepke .镜像内置 Python 3.8 全量锁定依赖安装完成后的验证与下一步安装完成后你可以通过以下方式验证环境是否可用python -c import deepke; print(deepke.__name__)若正常输出deepke说明包已成功注册到当前环境。接下来即可进入 example 目录按 example.rst 的指引运行各类任务示例例如标准 NERcd example/ner/standard # 下载并解压示例数据也可按文档自行准备 TXT 格式数据 # wget 121.41.117.246:8080/Data/ner/standard/data.tar.gz # tar -xzvf data.tar.gz python run.py python predict.py每个示例目录下的 conf 配置文件夹可自定义模型与训练参数data 文件夹可替换自定义数据集。FAQ 中的常见问题提示如果在使用预训练语言模型时下载缓慢官方建议提前下载预训练模型并保存到仓库的 pretrained 目录具体保存要求可查看各任务目录下的 README。另外旧版 DeepKEv1.0位于deepke-v1.0分支其功能已整体迁移至标准关系抽取示例 example/re/standard如需旧版可切换分支使用。赞分享人工智能NLP知识图谱深度学习【免费下载链接】DeepKE[EMNLP 2022] An Open Toolkit for Knowledge Graph Extraction and Construction项目地址https://gitcode.com/gh_mirrors/de/DeepKE点击查看免费下载相关推荐Ultralytics YOLO Conda 安装实战指南从环境创建、CUDA 加速到 Conda Docker 镜像部署Ultralytics YOLO Conda 安装实战指南从环境创建、CUDA 加速到 Conda Docker 镜像部署 本文为 UltralyticsY人工智能深度学习计算机视觉预训练pipreqs 安装指南从 pip、easy_install 到虚拟环境与无依赖安装的完整实践pipreqs 安装指南从 pip、easy_install 到虚拟环境与无依赖安装的完整实践 导读 本文以 pipreqs 官方安装文档为核心完整覆盖开发工具CLIthumbor 安装指南从 PyPI、源码到 Docker 的完整安装与验证方案thumbor 安装指南从 PyPI、源码到 Docker 的完整安装与验证方案 本文是 thumborglobo.com 开源的图片缩略图服务的官方安装后端图像处理计算机视觉上一篇华硕ROG性能控制革命GHelper轻量级工具完全掌控指南下一篇HsMod终极指南炉石传说55项功能优化插件完整教程创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表