存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载本指南面向希望将 Apache Ozone 作为 Alluxio 底层存储系统UFS的开发者系统讲解 Ozone 与 Alluxio 集成时的前置条件、o3fs与ofs两种挂载协议的配置方法、OzoneManager HA 模式的接入方式以及按 Ozone 特定版本挂载的实操细节。读完本文你将能够独立完成从conf/alluxio-site.properties基础配置、本地验证到嵌套目录动态挂载的完整接入流程并理解其底层实现机制。Ozone 与 Alluxio 集成的背景Apache Ozone 是一个面向 Hadoop 的可扩展、具备冗余能力的分布式对象存储系统。除了能够扩展到数十亿个不同大小的对象之外Ozone 还可以在 Kubernetes、YARN 等容器化环境中稳定运行因此常被用作大数据分析、机器学习场景下的低成本存储层。Alluxio 作为数据编排层可以将 Ozone 挂载到统一命名空间中向上层计算引擎提供高性能的文件系统接口同时保留对象存储的海量扩展能力。在 Alluxio 仓库中Ozone 集成由underfs/ozone模块实现源码位于 underfs/ozone/src/main/java/alluxio/underfs/ozone。从源码结构看OzoneUnderFileSystem直接继承了 HDFS 的HdfsUnderFileSystemOzoneUnderFileSystemFactory同样继承自HdfsUnderFileSystemFactory这意味着 Ozone 的接入在底层复用了 Alluxio 成熟的 HDFS 客户端路径仅通过自定义工厂类完成协议识别与实例创建——这解释了为什么配置项中大量出现alluxio.underfs.hdfs.*前缀。前置条件要在一个集群上运行 Alluxio 并将 Ozone 作为底层存储需要完成两类准备工作部署 Alluxio 二进制需要将 Alluxio 二进制分发到集群中的每台机器上。推荐直接下载与 Hadoop 版本匹配的预编译二进制高级用户也可以从 Alluxio 源码自行编译。准备 Ozone 集群按照 Ozone 官方的本地部署On Premise指引安装一个可用的 Ozone 集群并通过其 CLI 命令预先创建好 volume 与 bucket。Alluxio 侧不会替你完成 volume/bucket 的创建这一步必须在接入前完成。基础配置修改alluxio-site.propertiesAlluxio 与 Ozone 的集成全部通过配置文件驱动。首先从模板创建配置文件如果该文件尚不存在$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties然后编辑conf/alluxio-site.properties将底层存储地址指向要挂载到 Alluxio 的 Ozone bucket 及其目录。Ozone 支持两种不同的 URI 协议schemao3fs与ofs两者的配置方式略有差异。o3fs 协议o3fs是 Ozone 面向 Hadoop 文件系统接口的传统协议URI 中内嵌 bucket 与 volume若希望将整个 bucket 挂载到 Alluxio底层存储地址可写为o3fs://OZONE_BUCKET.OZONE_VOLUME/若只想映射 bucket 内的某个目录例如将OZONE_VOLUME下OZONE_BUCKET中的/alluxio/data目录映射到 Alluxio则写为o3fs://OZONE_BUCKET.OZONE_VOLUME/alluxio/data。同时需要设置alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration指向你的ozone-site.xml。该配置必须设置在所有运行 Alluxio 的服务器上alluxio.master.mount.table.root.ufso3fs://OZONE_BUCKET.OZONE_VOLUME/ alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration/path/to/hdfs/conf/ozone-site.xml其中alluxio.underfs.hdfs.configuration的默认值在源码 core/common/src/main/java/alluxio/conf/PropertyKey.java 中定义为${conf_dir}/core-site.xml:${conf_dir}/hdfs-site.xml即默认从 Alluxio 配置目录加载且官方描述明确要求这些配置文件必须存在于每个节点上。覆盖为ozone-site.xml后同样遵循所有节点一致的约束。ofs 协议ofsOzone File System是 Ozone 面向对象的原生文件系统协议URI 中需要显式给出 OzoneManager 地址、volume 与 bucket 三段信息挂载整个 bucketofs://OZONE_MANAGER/OZONE_VOLUME/OZONE_BUCKET/映射 bucket 内目录ofs://OZONE_MANAGER/OZONE_VOLUME/OZONE_BUCKET/alluxio/data。alluxio.master.mount.table.root.ufsofs://OZONE_MANAGER/OZONE_VOLUME/OZONE_BUCKET/Ozone HA 模式高可用当 Ozone 集群以 HA 方式部署时Alluxio 需要能够发现 OzoneManager 服务。需要说明的是HA 配置只在 Alluxio 服务端完成一旦设置完成使用 Alluxio 客户端的上层应用无需任何特殊配置。o3fs 协议下的 HA在 HA 模式下alluxio.master.mount.table.root.ufs需要带上OM_SERVICE_IDSOzoneManager 服务 ID形如alluxio.master.mount.table.root.ufso3fs://OZONE_BUCKET.OZONE_VOLUME.OM_SERVICE_IDS/ alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration/path/to/hdfs/conf/ozone-site.xmlofs 协议下的 HAalluxio.master.mount.table.root.ufsofs://OZONE_MANAGER/OZONE_VOLUME/OZONE_BUCKET/ alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration/path/to/hdfs/conf/ozone-site.xml如何确定OM_SERVICE_IDSOM_SERVICE_IDS定义在ozone-site.xml中。例如下面这段配置表明服务 ID 为omservice1property nameozone.om.service.ids/name valueomservice1/value /property将上述配置与 Ozone 集群实际的ozone.om.service.ids取值对齐后Alluxio 服务端即可在 HA 场景下正确路由到 OzoneManager。挂载指定版本的 Ozone生产环境中 Ozone 集群版本可能与 Alluxio 默认编译所用版本不一致。此时可以按指定版本挂载 Ozone确保已构建对应版本的客户端挂载特定版本之前需要先构建带有该 Ozone 版本的客户端。可以通过查看 Alluxio 目录下的lib目录确认该客户端是否存在。在根挂载点指定版本当在 Alluxio 根目录挂载底层存储时在conf/alluxio-site.properties中追加alluxio.master.mount.table.root.option.alluxio.underfs.versionOZONE_VERSION从源码看版本匹配逻辑位于OzoneUnderFileSystemFactory.supportsPath(String, UnderFileSystemConfiguration)当用户在配置中设置了alluxio.underfs.version且其值与当前工厂内置版本一致时该工厂才会支持对应路径见 underfs/ozone/src/main/java/alluxio/underfs/ozone/OzoneUnderFileSystemFactory.java。工厂的内置版本号由 Maven 属性在编译期注入模板类 underfs/ozone/src/main/java-templates/alluxio/OzoneUfsConstants.java 中的UFS_OZONE_VERSION取自 underfs/ozone/pom.xml 中定义的ufs.ozone.version属性当前仓库为1.2.1。需要留意的是通用属性alluxio.underfs.version的默认值在 PropertyKey.java 中被注释为假定 HDFS 为 UFS 且版本为 3.3因此为 Ozone 显式设置版本号是必要且推荐的。示例本地运行 Alluxio 并接入 Ozone完成配置后可按如下流程在本地快速验证集成是否生效启动 Alluxio 服务$ ./bin/alluxio format $ ./bin/alluxio-start.sh local该命令会启动一个 Alluxio master 与一个 Alluxio worker随后可在 http://localhost:19999 访问 master 的 Web UI。运行一个简单的示例程序$ ./bin/alluxio runTests验证写入结果使用 HDFS shell 或 Ozone shell 查看 Ozone 目录o3fs://OZONE_BUCKET.OZONE_VOLUME/OZONE_DIRECTORY确认 Alluxio 创建的文件与目录真实存在。对于上述测试应当能看到类似OZONE_BUCKET.OZONE_VOLUME/OZONE_DIRECTORY/default_tests_files/BasicFile_CACHE_PROMOTE_MUST_CACHE的文件。验证结束后停止 Alluxio$ ./bin/alluxio-stop.sh local进阶配置将 Ozone 挂载为嵌套目录除了把 Ozone 作为根挂载点还可以把 Ozone 位置挂载到 Alluxio 命名空间的嵌套目录中从而在一个命名空间内统一访问多个底层存储系统。此时使用 Alluxio 的 mount 命令。例如将 Ozone bucket 内的某个目录挂载到 Alluxio 的/ozone目录$ ./bin/alluxio fs mount \ --option alluxio.underfs.hdfs.configurationDIR/ozone-site.xml \ /ozone o3fs://OZONE_BUCKET.OZONE_VOLUME/如果目标 Ozone 集群是特定版本可通过命令行选项alluxio.underfs.versionOZONE_VERSION一并指定$ ./bin/alluxio fs mount \ --option alluxio.underfs.hdfs.configurationDIR/ozone-site.xml \ --option alluxio.underfs.versionOZONE_VERSION \ /ozone o3fs://OZONE_BUCKET.OZONE_VOLUME/一个最小可用的ozone-site.xml示例如下仅指定 OzoneManager 地址configuration property nameozone.om.address/name valuelocalhost/value /property /configuration注意ozone-site.xml以及相关的配置文件必须同步放置在所有运行 Alluxio 的服务器节点上否则客户端在不同节点上无法一致地解析 OzoneManager 地址。协议识别与版本支持的实现原理理解o3fs与ofs为何能被自动识别有助于排查挂载失败类问题。在 OzoneUnderFileSystemFactory.supportsPath(String) 中工厂会遍历alluxio.underfs.ozone.prefixes配置的前缀列表判断路径是否以这些前缀开头。该配置项定义于 PropertyKey.java默认值为o3fs://,ofs://分隔符为空白字符和/或逗号。也就是说只要 URI 以o3fs://或ofs://开头就会被路由到 Ozone 实现。关于版本支持范围官方文档明确给出的、当前经过测试的 Ozone 版本为1.0.0、1.1.0与1.2.1。从 underfs/ozone/pom.xml 的依赖声明看该模块同时依赖ozone-client以及按 profile 区分的ozone-filesystem-hadoop2/ozone-filesystem-hadoop3其中ufs-hadoop-3为默认激活 profile对应 Hadoop 3 生态并通过 maven-shade-plugin 将相关依赖重定位至alluxio.shaded.hdfs前缀下避免与集群环境中的 Hadoop 客户端产生类冲突。若计划挂载不在上述列表中的版本建议按挂载指定版本一节的方式先构建对应版本的客户端再以alluxio.underfs.version显式声明。常见问题与排查建议配置未在所有节点生效alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration与ozone-site.xml必须同步到每个运行 Alluxio 的服务器。该配置项的源码描述同样强调these files must be available on every node见 PropertyKey.java。HA 模式下 URI 缺少服务 IDo3fs协议在 HA 模式下必须形如o3fs://OZONE_BUCKET.OZONE_VOLUME.OM_SERVICE_IDS/服务 ID 需与ozone-site.xml中的ozone.om.service.ids完全一致。版本不匹配导致无法挂载当显式设置了alluxio.underfs.version而该版本与工厂内置版本不一致时工厂的supportsPath会返回 false挂载将失败。此时应确认lib目录中已存在对应 Ozone 版本的客户端。URI 前缀无法识别确认 URI 以o3fs://或ofs://开头且没有误修改alluxio.underfs.ozone.prefixes的默认值。小结Ozone 是 Alluxio 在 Hadoop 生态内一个典型的对象存储型底层存储集成通过继承 HDFS UFS 实现快速复用客户端链路通过o3fs/ofs双协议前缀路由与工厂版本校验机制提供灵活挂载能力。本文覆盖了从基础配置、HA 接入、版本锁定到嵌套目录动态挂载的完整链路配置示例与源码路径均可在当前仓库中逐一核对。Ozone UFS 集成由 Alluxio 社区贡献并维护若在文档中发现缺失或过时的信息欢迎提交改进。赞分享存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载相关推荐Alluxio 集成 Apache Ozone 作为底层存储o3fs / ofs 挂载与 HA 配置实战指南Alluxio 集成 Apache Ozone 作为底层存储o3fs / ofs 挂载与 HA 配置实战指南 本指南完整讲解如何将 Apache Ozone存储分布式文件系统缓存大数据Alluxio 与 Apache Spark 集成实战指南客户端配置、HA 访问与数据本地性调优Alluxio 与 Apache Spark 集成实战指南客户端配置、HA 访问与数据本地性调优 本指南系统讲解如何配置 Apache Spark 通过 Al存储分布式文件系统缓存大数据Alluxio Journal 管理完全指南Embedded/UFS 双模式配置、备份恢复与集群扩缩容实战Alluxio Journal 管理完全指南Embedded/UFS 双模式配置、备份恢复与集群扩缩容实战 Alluxio 将文件创建、目录重命名等所有元数据存储分布式文件系统缓存大数据上一篇革命性游戏模组管理平台XXMI启动器智能化解决方案下一篇终极XML可视化工具让复杂XML文档秒变清晰树形图Chrome/Safari全支持创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考