拓冰网站定制 
机器学习深度学习AutoML大数据后端【免费下载链接】h2o-3H2O is an Open Source, Distributed, Fast Scalable Machine Learning Platform: Deep Learning, Gradient Boosting (GBM) XGBoost, Random Forest, Generalized Linear Modeling (GLM with Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.项目地址https://gitcode.com/gh_mirrors/h2/h2o-3点击查看免费下载导读本文是 H2O-3 官方文档api-reference.rst的深度展开版集中梳理 H2O-3 所有开发级 API 资源的官方入口REST API Endpoints 与 REST API Schemas、R 语言与 Python 客户端函数文档、h2o-core 与 h2o-algos 的 Javadoc、POJO/MOJO 的 Java 集成指南以及 Sparkling Water 的 REST API 配置说明。读完本文你将清楚在 H2O-3 中做开发该去哪查哪份文档并能直接用 cURL 调用 REST API 完成数据导入、解析、模型训练与预测的完整流程理解 Schema 自描述机制与版本化策略背后的源码实现。文章末尾附仓库内各文档与示例代码的精确路径便于 Agent 与开发者按图索骥。H2O-3 API 体系总览一份索引背后的分层结构H2O-3 是一个开源的分布式机器学习平台支持 Deep Learning、GBM/XGBoost、Random Forest、GLM、K-Means、PCA、GAM、RuleFit、SVM、Stacked Ensembles 与 AutoML 等算法。其官方api-reference.rst作为附录 B将全部开发级 API 资料归纳为七类对应仓库中的实际产物官方 API 资源仓库/生成物位置使用场景REST API Endpointsrest-api-reference.html模板以 cURL 或浏览器 REST 插件直接驱动 H2O 集群REST API Schemas同文件#schema-reference段落理解请求/响应负载的字段结构R 语言函数文档../h2o-r/docs/index.html构建产物通过 R 配置与调用 H2OPython 函数文档../h2o-py/docs/index.html构建产物通过 Python 配置与调用 H2Oh2o-core Javadoc../h2o-core/javadoc/index.html构建产物Java 核心组件Frame、Vec、Job、K/V 存储开发h2o-algos Javadoc../h2o-algos/javadoc/index.html构建产物算法层 Java 开发GBM、GLM、DRF、DL 等POJO/MOJO Javadoc../h2o-genmodel/javadoc/index.html构建产物在 Java 应用中集成 POJO/MOJO 模型注意h2o-docs/template/rest-api-reference.html仅是渲染模板包含{{version}}占位符真正按需生成、始终最新的是 h2o_3_rest_api_overview.md 这份 REST API 概述文档。R/Python 的docs/index.html、各模块javadoc/index.html均为构建期产物源码仓库内以可构建的工程形式存在例如 R 包在 h2o-r/h2o-packagePython 包在 h2o-py/h2o。关键结论REST API 是 H2O-3 的统一控制面文档明确说明Flow UI 以及 R、Python 两个语言绑定最终都是通过 REST API 访问 H2O 的。因此凡是在 Flow / R / Python 中可用的功能理论上都能在 REST API 中找到对应端点——唯一的例外是数据 munging切片、造列等这部分走的是快速演进的/99/Rapids端点。这一设计让 REST API 成为调试、自动化与二次开发的统一入口也解释了为何本附录把 REST 文档排在首位。REST API 核心概念URL、HTTP 动词与版本化URL 结构/版本/资源类型[/资源名]H2O 集群默认监听http://localhost:54321企业版启用 HTTPS 时为https://localhost:54321以集群中第一个节点的主机名与端口作为入口。API URI 以版本号开头紧跟资源类型例如GET /3/Frames—— 返回集群中全部 Frame 列表GET /3/Frames/my_frame—— 返回名为my_frame的单个 FrameGET /3/Models、GET /3/Cloud—— 同理。与资源类型相关的所有端点共享同一前缀路径中的资源名如 Frame 名、列名可直接出现在路径中也可作为查询参数例如GET /3/Frames/my_frame?row_offset10000row_count1000。HTTP 动词语义动词用途说明GET读取数据不产生副作用参数在 URL 路径或查询串中HEAD仅返回 HTTP 状态用于探测资源可达性POST创建新对象导入/解析数据、训练模型等大部分参数通过请求 Schema 以x-www-form-urlencoded形式放入请求体DELETE删除对象通常从分布式 K/V 存储中删除PUT修改对象文档明确注明尚未使用从源码看POST 类端点大量对应 h2o-core/src/main/java/water/api 下的 HandlerImportFilesHandler、ParseSetupHandler、FramesHandler、ModelBuildersHandler等每个 Handler 负责一个资源族REST 路由与 Schema 均由其承载。版本化与稳定性策略当前稳定版本为 3端点与负载 payload 均版本化新大版本发布后旧版本仍会维护一段时间便于客户端升级。对已发布的 API如 v3只允许非破坏性变更non-breaking changes例如响应中新增输出字段、新增带默认值且省略时保持旧行为的参数。这类变更不会改变行为正确的既有客户端。破坏性变更才触发新的大版本号。每个新版本含 nightly发布前都会用旧版本的 Flow、R、Python 客户端跑全套测试来验证向后兼容。开发中的不稳定特性使用版本99EXPERIMENTAL例如GET http://127.0.0.1:54321/EXPERIMENTAL/Sample特性稳定后版本号从 99 改为当前稳定版本。在客户端代码中显式写EXPERIMENTAL可清楚标示正在调用实验端点。HTTP 状态码与错误负载标准化的错误契约状态码H2O 使用标准 HTTP 状态码200 OK—— 一切正常400 Bad Request—— 请求 URL 非法404 Not Found—— 指定对象不存在412 Precondition Failed—— 参数错误或处理请求时出现问题500 Internal Server Error—— 服务器发生未预期的失败。H2OErrorV3 错误负载所有非 2xx 响应都返回标准化错误负载包含面向终端用户的消息msg、面向开发者的消息dev_msg、HTTP 状态http_status、相关值字典values以及可选的异常信息exception_type、exception_msg、stacktrace。文档中请求一个不存在的 Frame 时GET http://127.0.0.1:54321/3/Frames/missing_frame返回的 JSON 中schema_name为H2OErrorV3http_status为 404exception_type为water.exceptions.H2OKeyNotFoundArgumentException。其源码定义在 h2o-core/src/main/java/water/api/schemas3/H2OErrorV3.java各字段均以API(help..., directionAPI.Direction.OUTPUT)标注语义例如timestamp是错误创建时的 epoch 毫秒数、error_url是出错 URL、values携带与错误相关的关键名/字段名。而Frame 不存在这一行为来自 FramesHandler.java 的getFromDKV当 Key 在分布式 K/V 存储中找不到时抛出H2OKeyNotFoundArgumentException。这种Handler 抛异常 → 序列化为统一错误 Schema的链路让各语言客户端都能以同一结构解析错误。Schema 与 Metadata自描述负载的机制Schema 字段模型每个端点的输入/输出负载都被实现为版本化 Schema自描述每个字段的属性名称、类型、默认值、帮助字符串、方向in/out/inout、是否为必填、重要程度、枚举字段的允许值字段可为简单值、嵌套 Schema、数组或字典。文档给出模型构建调用返回的model_id字段示例{ __meta: { schema_name: ModelParameterSchemaV3, schema_type: Iced, schema_version: 3 }, actual_value: { URL: /3/Models/prostate_glm, __meta: { schema_name: ModelKeyV3, schema_type: KeyModel, schema_version: 3 }, name: prostate_glm, type: KeyModel }, default_value: null, help: Destination id for this model; auto-generated if not specified, level: critical, name: model_id, required: false, type: KeyModel, values: [] }这里__metaschema 元信息、help、level、required、values等字段正是客户端自动生成表单与校验的基础。从源码结构看h2o-core/src/main/java/water/api/schemas3 目录下集中了ModelBuildersV3、H2OErrorV3、MetadataV3、FieldMetadataV3等 Schema 类均继承自SchemaV3/RequestSchemaV3以API注解声明字段语义——REST 参考文档正是由这些注解动态生成的。POST 请求体x-www-form-urlencodedPOST 参数以 HTML 表单风格的x-www-form-urlencoded编码发送文档注明未来版本将迁移到application/json。复杂字段如数组按 JSON 语法编码整型数组写成[1, 10, 100]字符串数组需 URL 编码。文档中 GLM 模型构建的完整 POST 体示范了这一点model_idprostate_glmtraining_frameprostate.hexnfolds0response_columnCAPSULEignored_columns%5B%22%22%5Dignore_const_colstruefamilybinomialsolverAUTOalphalambdalambda_searchfalsestandardizetruenon_negativefalsescore_each_iterationfalsemax_iterations-1linkfamily_defaultintercepttrueobjective_epsilon0.00001beta_epsilon0.0001gradient_epsilon0.0001prior-1max_active_predictors-1其中ignored_columns%5B%22%22%5D是[]的 URL 编码形式%5B[%22%5D]。上例已覆盖 GLM 的核心参数training_frame训练 Frame、response_column响应列、familybinomial二分类、solver、standardize、lambda_search、intercept以及各 epsilon 收敛阈值等。Metadata 端点客户端自适应能力所有负载格式可由服务端动态获取*/Metadata/schemas—— 返回全部 Schema 格式*/Metadata/endpoints—— 返回全部端点URL 模式的动态描述*/ModelBuilders端点 —— 提供各模型算法参数的额外元数据。正因为此Flow 对各算法没有硬编码知识它动态发现算法列表与参数信息因此当 H2O 新增算法或字段时Flow 无需改动即可正常工作。这一机制的源码入口是 h2o-core/src/main/java/water/api/MetadataHandler.java注释明确写着REST API 端点的 Markdown 文档其输出模型定义在 MetadataV3.java含routes与schemas数组。这也是参考文档永远最新的原因——REST API 参考文档本身就由服务端 Metadata 设施生成。控制查询参数exclude_fields 瘦身响应当响应负载过大时例如含 5000 个类别列的 Frame 的domains列表可用exclude_fields查询参数排除指定字段缩小 JSON 体积、加快客户端解析并避免浏览器等内存受限客户端在处理结果时耗尽内存。其用法接受逗号分隔的字段名列表嵌套字段名用斜杠分隔示例Flow 对/Frames/{frame_id}的典型调用exclude_fieldsframes/vec_ids,frames/columns/data,frames/columns/domain,frames/columns/histogram_bins,frames/columns/percentiles从源码看该参数被实现为请求 Schema 的公共字段_exclude_fields定义于 h2o-core/src/main/java/water/api/schemas3/RequestSchemaV3.java其文档字符串中的示例即/3/Frames?_exclude_fieldsframes/frame_id/URL,__meta。实战GBM_Example.flow 全流程curl / Java-Retrofit / Flow 三端对照文档以GBM_Example.flow为例用 CoffeescriptFlow 控制语言、curl、Java基于 h2o-bindings Retrofit三种方式复现导入 → 解析 → 训练 → 预测的完整流程。以下按步骤整理可直接运行的命令。准备启动 H2O 与测试数据默认集群地址为http://127.0.0.1:54321示例使用公开测试数据arrhythmia.csv.gz452 行、280 列的心律失常数据来自 S3 上的 h2o-public-test-data 仓库。Step 1导入ImportFilesFlowimportFiles [http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]curlcurl -X GET http://127.0.0.1:54321/3/ImportFiles?pathhttp://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gzJava / RetrofitImportFilesV3 importBody importService.importFiles(http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz, null).execute().body();响应 JSON 为ImportFilesV3files列出命中的文件destination_frames给出对应 Frame 名此处即原 URL 字符串。该端点由 ImportFilesHandler.java 承载底层调用H2O.getPM().importFiles(...)完成文件发现。Step 2解析参数猜测ParseSetupFlowsetupParse paths: [http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]curlcurl -X POST http://127.0.0.1:54321/3/ParseSetup --data source_frames[http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]Java / RetrofitParseSetupV3 parseSetupBody parseSetupService.guessSetup(importBody.destination_frames, ParserParserType.GUESS, (byte),, false, -1, null, null, null, null, 0, 0, 0, null).execute().body();ParseSetupV3返回的关键字段parse_type此处为CSV、separator44 即逗号、check_header、column_types、number_columns280、destination_framearrhythmia.hex、chunk_size4194304。对应源码 ParseSetupHandler.java 的guessSetup方法会调用解析器自动探测这些参数。Step 3正式解析ParseFlow 以parseFiles提交参数含destination_framearrhythmia.hex、parse_typeCSV、separator44、number_columns280、280 个Numeric类型、delete_on_donetrue、chunk_size4194304。curl 版本为curl -X POST http://127.0.0.1:54321/3/Parse --data destination_framearrhythmia.hexsource_frames[http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]parse_typeCSVseparator44number_columns280single_quotesfalsecolumn_namescolumn_types[Numeric,...]check_header-1delete_on_donetruechunk_size4194304Java 端将ParseSetup返回的字段parse_type、separator、number_columns、column_types、chunk_size 等回填给parseService.parse(...)。响应为ParseV3除目标 Frame 外还返回一个JobV3其中description为Parse、status为RUNNING、progress/progress_msg反映当前进度dest指向arrhythmia.hex。Step 4轮询 Job 完成Flow 自动轮询 Jobcurl 手写轮询$需 URL 编码为%24curl -X GET http://127.0.0.1:54321/3/Jobs/%2403010a010a7f32d4ffffffff%24_b98fc5bba38d21ea53da2a0834c44f7a响应为JobsV3内含JobV3数组可观察status从RUNNINGprogress1变化到完成、error_count保持 0。/3/Jobs端点支持列出全部 Job、查询单个 Job、以及POST /3/Jobs/(?.*)/cancel取消任务是长时操作导入、解析、训练的通用管理入口。Step 5训练 GBM 模型Flow 通过buildModel提交model_id、training_framearrhythmia.hex、response_columnC1、ntrees20、max_depth5、min_rows25、nbins20、learn_rate0.3、distributionAUTO、balance_classesfalse、max_confusion_matrix_size20、class_sampling_factors[]、max_after_balance_size5、seed0。curlcurl -X POST http://127.0.0.1:54321/3/ModelBuilders/gbm --data model_idgbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1training_framearrhythmia.hexscore_each_iterationfalseresponse_columnC1ntrees20max_depth5min_rows25nbins20learn_rate0.3distributionAUTObalance_classesfalsemax_confusion_matrix_size20class_sampling_factorsmax_after_balance_size5seed0Java 端先构造GBMParametersV3设置training_frame、response_column等再通过ModelBuilders.Helper.train_gbm(modelBuildersService, gbm_parms)发起训练。响应GBMV3除job外还返回algogbm、algo_full_nameGradient Boosting Machine、can_build可处理的任务类型Regression/Binomial/Multinomial以及parameters数组——其中每个参数都带name、help、required、type、default_value、actual_value、level、values等元数据这正是 Schema 自描述机制的现场体现。训练完毕后可用GET /3/Models/gbm-...查看模型返回model_category、scoring_history、training_metrics——含 MSE、r2、mean_residual_deviance 等回归指标、statusDONE、run_time。Step 6-7轮询训练 Job、查看模型与 Step 4 同理轮询$03010a...训练 Job随后curl -X GET http://127.0.0.1:54321/3/Models/gbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1Java 端通过modelsService.fetch(model_key.name)获取ModelsV3。Step 8预测PredictionsFlowpredict model: gbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1, frame: arrhythmia.hex, predictions_frame: prediction-9d6f23f3-45c2-4e1f-a48e-393b1b7de6dbcurlcurl -X POST http://127.0.0.1:54321/3/Predictions/models/gbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1/frames/arrhythmia.hex --data predictions_frameprediction-9d6f23f3-45c2-4e1f-a48e-393b1b7de6dbJava / RetrofitModelMetricsListSchemaV3 predictions predictionsService.predict(model_key.name, training_frame.name, predictions, false, false, -1, false, false, false, false, null).execute().body();响应ModelMetricsListSchemaV3包含predictions_frame新生成的预测 Frame如prediction-9d6f23f3-...、model_metrics按模型/Frame 计算的指标如 MSE、r2、mean_residual_deviance以及预测结果列labelpredict、typereal、data为实际预测值数组。三种预测部署路径POJO、REST 与语言绑定文档强调生产环境两大方面模型训练与模型部署预测。模型训练加载数据、预处理、训练通常在 Flow、Python、R、Scala 或 Java 中完成若要自动化如接入数据采集流水线REST API 是最佳选择。模型部署预测的两条路径导出模型为POJOPlain Old Java Object嵌入 JVM 应用通常更优——预测时不需要运行 H2O通过 REST API 调用运行中 H2O 实例里的模型适合没有 JVM 应用可集成、或希望在训练工作流中实时评估模型的场景。REST API 预测对应/3/Predictions/models/{model}/frames/{frame}端点POJO 可通过GET /3/Models/(?.*?)(\.java)?获取带.java扩展名即返回 Java POJO 源码其集成指南见 POJO/MOJO Javadoc。在仓库中POJO/MOJO 的运行时基类位于 h2o-genmodel/src/main/java/hex/genmodel如GenModel.java、AbstractMojoWriter.java、FolderMojoReaderBackend.java等可作为阅读 POJO/MOJO Javadoc 时的源码参考。端点速查表常用 REST API 一览端点方法功能/3/ImportFilesGET将原始数据文件导入为单列 H2O Frame/3/ParseSetupPOST猜测解析原始字节数据为 Frame 所需的参数/3/ParsePOST将原始字节数据解析为列式 Frame/3/FramesGET/DELETE列出 / 删除分布式 K/V 存储中的全部 Frame/3/Frames/(?.*)GET/DELETE获取 / 删除指定 Frame/3/Frames/(?.*)/summaryGET强制计算 rollups 后返回含直方图的 Frame/3/Frames/(?.*)/columns/(?.*)/summaryGET返回单列摘要指标min/max/mean/sigma/percentiles 等/3/Frames/(?.*)/exportPOST将 Frame 导出到指定路径可覆盖/3/ModelBuildersGET返回所有算法的 Model Builder 元数据/3/ModelBuilders/(?.*)GET返回指定算法的 Model Builder 元数据/3/ModelBuilders/{algo}/parametersPOST校验一组模型构建参数如 deeplearning、glm/3/ModelBuilders/{algo}POST在指定 Frame 上训练模型如 gbm、glm、deeplearning/3/ModelsGET/DELETE列出 / 删除全部模型/3/Models/(?.*?)(\.java)?GET获取指定模型.java后缀返回 Java POJO/3/Predictions/models/(?.*)/frames/(?.*)POST用指定模型对指定 Frame 打分返回预测 Frame 与指标/3/JobsGET列出全部 Job长时任务/3/Jobs/(?.*)GET查询指定 Job 状态/3/Jobs/(?.*)/cancelPOST取消运行中的 Job/3/AboutGET返回本 H2O 集群信息/3/CloudGET/HEAD判定 H2O cloud 各节点状态/99/Models.bin/(?.*)POST/GET导入 / 导出二进制模型各语言与 Java 生态的 API 文档入口R 与 Python 客户端R文档指向../h2o-r/docs/index.html函数列表与用法与../h2o-r/h2o_package.pdfR 包手册。仓库内 R 包源码位于 h2o-r/h2o-package/R59 个 R 文件测试见 h2o-r/tests/testdir_algos。Python文档指向../h2o-py/docs/index.html。仓库内 Python 包源码位于 h2o-py/h2oestimators、model、frame、grid、automl 等子模块测试见 h2o-py/tests/testdir_algos。由于两类绑定均通过 REST API 与服务器交互其文档中每个函数背后几乎都能映射到某个 REST 端点——这在排查Python 某参数对应 HTTP 哪个字段时尤为有用。Java 侧Javadoc 与绑定 Jarh2o-core JavadocJava 核心 API 指南Frame、Vec、Job、K/V 存储、分布式执行等。h2o-algos Javadoc算法实现 API 指南GBM、GLM、DRF、Deep Learning、K-Means 等。POJO/MOJO Javadoc创建与在 Java 应用中实现 POJO/MOJO 的分步指南。Java Retrofit 绑定是外部 Java 程序调用 REST API 的官方途径h2o-bindings 使用 Square 的 Retrofit 库若以 zip 形式下载 H2O绑定 Jar 位于bindings/java/h2o-bindings-{version}.jar源码位于bindings/java/h2o-bindings-sources.jar若从源码构建绑定 Jar 位于h2o-bindings/build/libs/h2o-bindings.jar生成源码位于h2o-bindings/build/src-gen/main/java/water/bindings/。文档强调payload schema 类与端点代理类均以 help 文本字段和 Javadoc方法注释默认构造函数将每个字段设为其默认值且每个 payload schema 类含toString()便于调试。仓库内可直接参考的 Java 示例位于 h2o-bindings/src/main/java/water/bindings/examples/retrofit/GBM_Example.javaH2oApi封装了newSession、importFiles、guessParseSetup等调用以及ImportPatternExample.java、Merge_Example.java。Sparkling Water附录同时指向 Sparkling Water 的 REST API 文档其中描述了可传给 Spark 以配置 Sparkling Water 的配置属性Spark 上运行 H2O 的集成配置。附仓库内关联资源路径索引资源仓库路径API 参考附录本文主题文档h2o-docs/src/product/api-reference.rstREST API 概述curl/Java/Flow 三端示例h2o-docs/src/api/REST/h2o_3_rest_api_overview.mdREST 参考文档渲染模板h2o-docs/template/rest-api-reference.htmlREST API 错误处理示例h2o-docs/src/api/rest-api-error-handling多语言 API 数据科学示例h2o-docs/src/api/data-science-example-1/README.mdREST Handler 源码ImportFiles/ParseSetup/Frames/ModelBuilders/Metadatah2o-core/src/main/java/water/apiSchema 源码H2OErrorV3/MetadataV3/RequestSchemaV3/ModelBuildersV3h2o-core/src/main/java/water/api/schemas3Java Retrofit 绑定示例h2o-bindings/src/main/java/water/bindings/examples/retrofitR 包源码与测试h2o-r/h2o-package、h2o-r/testsPython 包源码与测试h2o-py/h2o、h2o-py/testsPOJO/MOJO 运行时源码h2o-genmodel/src/main/java/hex/genmodel赞分享机器学习深度学习AutoML大数据后端【免费下载链接】h2o-3H2O is an Open Source, Distributed, Fast Scalable Machine Learning Platform: Deep Learning, Gradient Boosting (GBM) XGBoost, Random Forest, Generalized Linear Modeling (GLM with Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.项目地址https://gitcode.com/gh_mirrors/h2/h2o-3点击查看免费下载相关推荐Apache Pulsar Admin 接口完全指南pulsar-admin CLI、REST API 与 Java 客户端Apache Pulsar Admin 接口完全指南pulsar admin CLI、REST API 与 Java 客户端 Apache Pulsar 的消息队列后端流处理Apache Pulsar 管理接口Admin Interface完全指南CLI、REST API 与 Java 客户端Apache Pulsar 管理接口Admin Interface完全指南CLI、REST API 与 Java 客户端 Apache Pulsar 的管消息队列后端流处理Apache Pulsar Topic 管理完全指南Admin API、REST 与 Java 客户端实操详解Apache Pulsar Topic 管理完全指南Admin API、REST 与 Java 客户端实操详解 Apache Pulsar 以 Topic主消息队列后端流处理上一篇从入门到精通Nodepay-Bot高级用户的挖矿策略与优化技巧下一篇一站式网络资源下载解决方案高效获取视频号、抖音、快手等平台内容创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 H2O-3 API Reference 全指南：REST API、Schemas、R/Python 客户端与 Java Javadoc 的检索路径
机器学习深度学习AutoML大数据后端【免费下载链接】h2o-3H2O is an Open Source, Distributed, Fast Scalable Machine Learning Platform: Deep Learning, Gradient Boosting (GBM) XGBoost, Random Forest, Generalized Linear Modeling (GLM with Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.项目地址https://gitcode.com/gh_mirrors/h2/h2o-3点击查看免费下载导读本文是 H2O-3 官方文档api-reference.rst的深度展开版集中梳理 H2O-3 所有开发级 API 资源的官方入口REST API Endpoints 与 REST API Schemas、R 语言与 Python 客户端函数文档、h2o-core 与 h2o-algos 的 Javadoc、POJO/MOJO 的 Java 集成指南以及 Sparkling Water 的 REST API 配置说明。读完本文你将清楚在 H2O-3 中做开发该去哪查哪份文档并能直接用 cURL 调用 REST API 完成数据导入、解析、模型训练与预测的完整流程理解 Schema 自描述机制与版本化策略背后的源码实现。文章末尾附仓库内各文档与示例代码的精确路径便于 Agent 与开发者按图索骥。H2O-3 API 体系总览一份索引背后的分层结构H2O-3 是一个开源的分布式机器学习平台支持 Deep Learning、GBM/XGBoost、Random Forest、GLM、K-Means、PCA、GAM、RuleFit、SVM、Stacked Ensembles 与 AutoML 等算法。其官方api-reference.rst作为附录 B将全部开发级 API 资料归纳为七类对应仓库中的实际产物官方 API 资源仓库/生成物位置使用场景REST API Endpointsrest-api-reference.html模板以 cURL 或浏览器 REST 插件直接驱动 H2O 集群REST API Schemas同文件#schema-reference段落理解请求/响应负载的字段结构R 语言函数文档../h2o-r/docs/index.html构建产物通过 R 配置与调用 H2OPython 函数文档../h2o-py/docs/index.html构建产物通过 Python 配置与调用 H2Oh2o-core Javadoc../h2o-core/javadoc/index.html构建产物Java 核心组件Frame、Vec、Job、K/V 存储开发h2o-algos Javadoc../h2o-algos/javadoc/index.html构建产物算法层 Java 开发GBM、GLM、DRF、DL 等POJO/MOJO Javadoc../h2o-genmodel/javadoc/index.html构建产物在 Java 应用中集成 POJO/MOJO 模型注意h2o-docs/template/rest-api-reference.html仅是渲染模板包含{{version}}占位符真正按需生成、始终最新的是 h2o_3_rest_api_overview.md 这份 REST API 概述文档。R/Python 的docs/index.html、各模块javadoc/index.html均为构建期产物源码仓库内以可构建的工程形式存在例如 R 包在 h2o-r/h2o-packagePython 包在 h2o-py/h2o。关键结论REST API 是 H2O-3 的统一控制面文档明确说明Flow UI 以及 R、Python 两个语言绑定最终都是通过 REST API 访问 H2O 的。因此凡是在 Flow / R / Python 中可用的功能理论上都能在 REST API 中找到对应端点——唯一的例外是数据 munging切片、造列等这部分走的是快速演进的/99/Rapids端点。这一设计让 REST API 成为调试、自动化与二次开发的统一入口也解释了为何本附录把 REST 文档排在首位。REST API 核心概念URL、HTTP 动词与版本化URL 结构/版本/资源类型[/资源名]H2O 集群默认监听http://localhost:54321企业版启用 HTTPS 时为https://localhost:54321以集群中第一个节点的主机名与端口作为入口。API URI 以版本号开头紧跟资源类型例如GET /3/Frames—— 返回集群中全部 Frame 列表GET /3/Frames/my_frame—— 返回名为my_frame的单个 FrameGET /3/Models、GET /3/Cloud—— 同理。与资源类型相关的所有端点共享同一前缀路径中的资源名如 Frame 名、列名可直接出现在路径中也可作为查询参数例如GET /3/Frames/my_frame?row_offset10000row_count1000。HTTP 动词语义动词用途说明GET读取数据不产生副作用参数在 URL 路径或查询串中HEAD仅返回 HTTP 状态用于探测资源可达性POST创建新对象导入/解析数据、训练模型等大部分参数通过请求 Schema 以x-www-form-urlencoded形式放入请求体DELETE删除对象通常从分布式 K/V 存储中删除PUT修改对象文档明确注明尚未使用从源码看POST 类端点大量对应 h2o-core/src/main/java/water/api 下的 HandlerImportFilesHandler、ParseSetupHandler、FramesHandler、ModelBuildersHandler等每个 Handler 负责一个资源族REST 路由与 Schema 均由其承载。版本化与稳定性策略当前稳定版本为 3端点与负载 payload 均版本化新大版本发布后旧版本仍会维护一段时间便于客户端升级。对已发布的 API如 v3只允许非破坏性变更non-breaking changes例如响应中新增输出字段、新增带默认值且省略时保持旧行为的参数。这类变更不会改变行为正确的既有客户端。破坏性变更才触发新的大版本号。每个新版本含 nightly发布前都会用旧版本的 Flow、R、Python 客户端跑全套测试来验证向后兼容。开发中的不稳定特性使用版本99EXPERIMENTAL例如GET http://127.0.0.1:54321/EXPERIMENTAL/Sample特性稳定后版本号从 99 改为当前稳定版本。在客户端代码中显式写EXPERIMENTAL可清楚标示正在调用实验端点。HTTP 状态码与错误负载标准化的错误契约状态码H2O 使用标准 HTTP 状态码200 OK—— 一切正常400 Bad Request—— 请求 URL 非法404 Not Found—— 指定对象不存在412 Precondition Failed—— 参数错误或处理请求时出现问题500 Internal Server Error—— 服务器发生未预期的失败。H2OErrorV3 错误负载所有非 2xx 响应都返回标准化错误负载包含面向终端用户的消息msg、面向开发者的消息dev_msg、HTTP 状态http_status、相关值字典values以及可选的异常信息exception_type、exception_msg、stacktrace。文档中请求一个不存在的 Frame 时GET http://127.0.0.1:54321/3/Frames/missing_frame返回的 JSON 中schema_name为H2OErrorV3http_status为 404exception_type为water.exceptions.H2OKeyNotFoundArgumentException。其源码定义在 h2o-core/src/main/java/water/api/schemas3/H2OErrorV3.java各字段均以API(help..., directionAPI.Direction.OUTPUT)标注语义例如timestamp是错误创建时的 epoch 毫秒数、error_url是出错 URL、values携带与错误相关的关键名/字段名。而Frame 不存在这一行为来自 FramesHandler.java 的getFromDKV当 Key 在分布式 K/V 存储中找不到时抛出H2OKeyNotFoundArgumentException。这种Handler 抛异常 → 序列化为统一错误 Schema的链路让各语言客户端都能以同一结构解析错误。Schema 与 Metadata自描述负载的机制Schema 字段模型每个端点的输入/输出负载都被实现为版本化 Schema自描述每个字段的属性名称、类型、默认值、帮助字符串、方向in/out/inout、是否为必填、重要程度、枚举字段的允许值字段可为简单值、嵌套 Schema、数组或字典。文档给出模型构建调用返回的model_id字段示例{ __meta: { schema_name: ModelParameterSchemaV3, schema_type: Iced, schema_version: 3 }, actual_value: { URL: /3/Models/prostate_glm, __meta: { schema_name: ModelKeyV3, schema_type: KeyModel, schema_version: 3 }, name: prostate_glm, type: KeyModel }, default_value: null, help: Destination id for this model; auto-generated if not specified, level: critical, name: model_id, required: false, type: KeyModel, values: [] }这里__metaschema 元信息、help、level、required、values等字段正是客户端自动生成表单与校验的基础。从源码结构看h2o-core/src/main/java/water/api/schemas3 目录下集中了ModelBuildersV3、H2OErrorV3、MetadataV3、FieldMetadataV3等 Schema 类均继承自SchemaV3/RequestSchemaV3以API注解声明字段语义——REST 参考文档正是由这些注解动态生成的。POST 请求体x-www-form-urlencodedPOST 参数以 HTML 表单风格的x-www-form-urlencoded编码发送文档注明未来版本将迁移到application/json。复杂字段如数组按 JSON 语法编码整型数组写成[1, 10, 100]字符串数组需 URL 编码。文档中 GLM 模型构建的完整 POST 体示范了这一点model_idprostate_glmtraining_frameprostate.hexnfolds0response_columnCAPSULEignored_columns%5B%22%22%5Dignore_const_colstruefamilybinomialsolverAUTOalphalambdalambda_searchfalsestandardizetruenon_negativefalsescore_each_iterationfalsemax_iterations-1linkfamily_defaultintercepttrueobjective_epsilon0.00001beta_epsilon0.0001gradient_epsilon0.0001prior-1max_active_predictors-1其中ignored_columns%5B%22%22%5D是[]的 URL 编码形式%5B[%22%5D]。上例已覆盖 GLM 的核心参数training_frame训练 Frame、response_column响应列、familybinomial二分类、solver、standardize、lambda_search、intercept以及各 epsilon 收敛阈值等。Metadata 端点客户端自适应能力所有负载格式可由服务端动态获取*/Metadata/schemas—— 返回全部 Schema 格式*/Metadata/endpoints—— 返回全部端点URL 模式的动态描述*/ModelBuilders端点 —— 提供各模型算法参数的额外元数据。正因为此Flow 对各算法没有硬编码知识它动态发现算法列表与参数信息因此当 H2O 新增算法或字段时Flow 无需改动即可正常工作。这一机制的源码入口是 h2o-core/src/main/java/water/api/MetadataHandler.java注释明确写着REST API 端点的 Markdown 文档其输出模型定义在 MetadataV3.java含routes与schemas数组。这也是参考文档永远最新的原因——REST API 参考文档本身就由服务端 Metadata 设施生成。控制查询参数exclude_fields 瘦身响应当响应负载过大时例如含 5000 个类别列的 Frame 的domains列表可用exclude_fields查询参数排除指定字段缩小 JSON 体积、加快客户端解析并避免浏览器等内存受限客户端在处理结果时耗尽内存。其用法接受逗号分隔的字段名列表嵌套字段名用斜杠分隔示例Flow 对/Frames/{frame_id}的典型调用exclude_fieldsframes/vec_ids,frames/columns/data,frames/columns/domain,frames/columns/histogram_bins,frames/columns/percentiles从源码看该参数被实现为请求 Schema 的公共字段_exclude_fields定义于 h2o-core/src/main/java/water/api/schemas3/RequestSchemaV3.java其文档字符串中的示例即/3/Frames?_exclude_fieldsframes/frame_id/URL,__meta。实战GBM_Example.flow 全流程curl / Java-Retrofit / Flow 三端对照文档以GBM_Example.flow为例用 CoffeescriptFlow 控制语言、curl、Java基于 h2o-bindings Retrofit三种方式复现导入 → 解析 → 训练 → 预测的完整流程。以下按步骤整理可直接运行的命令。准备启动 H2O 与测试数据默认集群地址为http://127.0.0.1:54321示例使用公开测试数据arrhythmia.csv.gz452 行、280 列的心律失常数据来自 S3 上的 h2o-public-test-data 仓库。Step 1导入ImportFilesFlowimportFiles [http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]curlcurl -X GET http://127.0.0.1:54321/3/ImportFiles?pathhttp://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gzJava / RetrofitImportFilesV3 importBody importService.importFiles(http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz, null).execute().body();响应 JSON 为ImportFilesV3files列出命中的文件destination_frames给出对应 Frame 名此处即原 URL 字符串。该端点由 ImportFilesHandler.java 承载底层调用H2O.getPM().importFiles(...)完成文件发现。Step 2解析参数猜测ParseSetupFlowsetupParse paths: [http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]curlcurl -X POST http://127.0.0.1:54321/3/ParseSetup --data source_frames[http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]Java / RetrofitParseSetupV3 parseSetupBody parseSetupService.guessSetup(importBody.destination_frames, ParserParserType.GUESS, (byte),, false, -1, null, null, null, null, 0, 0, 0, null).execute().body();ParseSetupV3返回的关键字段parse_type此处为CSV、separator44 即逗号、check_header、column_types、number_columns280、destination_framearrhythmia.hex、chunk_size4194304。对应源码 ParseSetupHandler.java 的guessSetup方法会调用解析器自动探测这些参数。Step 3正式解析ParseFlow 以parseFiles提交参数含destination_framearrhythmia.hex、parse_typeCSV、separator44、number_columns280、280 个Numeric类型、delete_on_donetrue、chunk_size4194304。curl 版本为curl -X POST http://127.0.0.1:54321/3/Parse --data destination_framearrhythmia.hexsource_frames[http://s3.amazonaws.com/h2o-public-test-data/smalldata/flow_examples/arrhythmia.csv.gz]parse_typeCSVseparator44number_columns280single_quotesfalsecolumn_namescolumn_types[Numeric,...]check_header-1delete_on_donetruechunk_size4194304Java 端将ParseSetup返回的字段parse_type、separator、number_columns、column_types、chunk_size 等回填给parseService.parse(...)。响应为ParseV3除目标 Frame 外还返回一个JobV3其中description为Parse、status为RUNNING、progress/progress_msg反映当前进度dest指向arrhythmia.hex。Step 4轮询 Job 完成Flow 自动轮询 Jobcurl 手写轮询$需 URL 编码为%24curl -X GET http://127.0.0.1:54321/3/Jobs/%2403010a010a7f32d4ffffffff%24_b98fc5bba38d21ea53da2a0834c44f7a响应为JobsV3内含JobV3数组可观察status从RUNNINGprogress1变化到完成、error_count保持 0。/3/Jobs端点支持列出全部 Job、查询单个 Job、以及POST /3/Jobs/(?.*)/cancel取消任务是长时操作导入、解析、训练的通用管理入口。Step 5训练 GBM 模型Flow 通过buildModel提交model_id、training_framearrhythmia.hex、response_columnC1、ntrees20、max_depth5、min_rows25、nbins20、learn_rate0.3、distributionAUTO、balance_classesfalse、max_confusion_matrix_size20、class_sampling_factors[]、max_after_balance_size5、seed0。curlcurl -X POST http://127.0.0.1:54321/3/ModelBuilders/gbm --data model_idgbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1training_framearrhythmia.hexscore_each_iterationfalseresponse_columnC1ntrees20max_depth5min_rows25nbins20learn_rate0.3distributionAUTObalance_classesfalsemax_confusion_matrix_size20class_sampling_factorsmax_after_balance_size5seed0Java 端先构造GBMParametersV3设置training_frame、response_column等再通过ModelBuilders.Helper.train_gbm(modelBuildersService, gbm_parms)发起训练。响应GBMV3除job外还返回algogbm、algo_full_nameGradient Boosting Machine、can_build可处理的任务类型Regression/Binomial/Multinomial以及parameters数组——其中每个参数都带name、help、required、type、default_value、actual_value、level、values等元数据这正是 Schema 自描述机制的现场体现。训练完毕后可用GET /3/Models/gbm-...查看模型返回model_category、scoring_history、training_metrics——含 MSE、r2、mean_residual_deviance 等回归指标、statusDONE、run_time。Step 6-7轮询训练 Job、查看模型与 Step 4 同理轮询$03010a...训练 Job随后curl -X GET http://127.0.0.1:54321/3/Models/gbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1Java 端通过modelsService.fetch(model_key.name)获取ModelsV3。Step 8预测PredictionsFlowpredict model: gbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1, frame: arrhythmia.hex, predictions_frame: prediction-9d6f23f3-45c2-4e1f-a48e-393b1b7de6dbcurlcurl -X POST http://127.0.0.1:54321/3/Predictions/models/gbm-51b9780b-70d0-40d0-9b5a-c723a3f358c1/frames/arrhythmia.hex --data predictions_frameprediction-9d6f23f3-45c2-4e1f-a48e-393b1b7de6dbJava / RetrofitModelMetricsListSchemaV3 predictions predictionsService.predict(model_key.name, training_frame.name, predictions, false, false, -1, false, false, false, false, null).execute().body();响应ModelMetricsListSchemaV3包含predictions_frame新生成的预测 Frame如prediction-9d6f23f3-...、model_metrics按模型/Frame 计算的指标如 MSE、r2、mean_residual_deviance以及预测结果列labelpredict、typereal、data为实际预测值数组。三种预测部署路径POJO、REST 与语言绑定文档强调生产环境两大方面模型训练与模型部署预测。模型训练加载数据、预处理、训练通常在 Flow、Python、R、Scala 或 Java 中完成若要自动化如接入数据采集流水线REST API 是最佳选择。模型部署预测的两条路径导出模型为POJOPlain Old Java Object嵌入 JVM 应用通常更优——预测时不需要运行 H2O通过 REST API 调用运行中 H2O 实例里的模型适合没有 JVM 应用可集成、或希望在训练工作流中实时评估模型的场景。REST API 预测对应/3/Predictions/models/{model}/frames/{frame}端点POJO 可通过GET /3/Models/(?.*?)(\.java)?获取带.java扩展名即返回 Java POJO 源码其集成指南见 POJO/MOJO Javadoc。在仓库中POJO/MOJO 的运行时基类位于 h2o-genmodel/src/main/java/hex/genmodel如GenModel.java、AbstractMojoWriter.java、FolderMojoReaderBackend.java等可作为阅读 POJO/MOJO Javadoc 时的源码参考。端点速查表常用 REST API 一览端点方法功能/3/ImportFilesGET将原始数据文件导入为单列 H2O Frame/3/ParseSetupPOST猜测解析原始字节数据为 Frame 所需的参数/3/ParsePOST将原始字节数据解析为列式 Frame/3/FramesGET/DELETE列出 / 删除分布式 K/V 存储中的全部 Frame/3/Frames/(?.*)GET/DELETE获取 / 删除指定 Frame/3/Frames/(?.*)/summaryGET强制计算 rollups 后返回含直方图的 Frame/3/Frames/(?.*)/columns/(?.*)/summaryGET返回单列摘要指标min/max/mean/sigma/percentiles 等/3/Frames/(?.*)/exportPOST将 Frame 导出到指定路径可覆盖/3/ModelBuildersGET返回所有算法的 Model Builder 元数据/3/ModelBuilders/(?.*)GET返回指定算法的 Model Builder 元数据/3/ModelBuilders/{algo}/parametersPOST校验一组模型构建参数如 deeplearning、glm/3/ModelBuilders/{algo}POST在指定 Frame 上训练模型如 gbm、glm、deeplearning/3/ModelsGET/DELETE列出 / 删除全部模型/3/Models/(?.*?)(\.java)?GET获取指定模型.java后缀返回 Java POJO/3/Predictions/models/(?.*)/frames/(?.*)POST用指定模型对指定 Frame 打分返回预测 Frame 与指标/3/JobsGET列出全部 Job长时任务/3/Jobs/(?.*)GET查询指定 Job 状态/3/Jobs/(?.*)/cancelPOST取消运行中的 Job/3/AboutGET返回本 H2O 集群信息/3/CloudGET/HEAD判定 H2O cloud 各节点状态/99/Models.bin/(?.*)POST/GET导入 / 导出二进制模型各语言与 Java 生态的 API 文档入口R 与 Python 客户端R文档指向../h2o-r/docs/index.html函数列表与用法与../h2o-r/h2o_package.pdfR 包手册。仓库内 R 包源码位于 h2o-r/h2o-package/R59 个 R 文件测试见 h2o-r/tests/testdir_algos。Python文档指向../h2o-py/docs/index.html。仓库内 Python 包源码位于 h2o-py/h2oestimators、model、frame、grid、automl 等子模块测试见 h2o-py/tests/testdir_algos。由于两类绑定均通过 REST API 与服务器交互其文档中每个函数背后几乎都能映射到某个 REST 端点——这在排查Python 某参数对应 HTTP 哪个字段时尤为有用。Java 侧Javadoc 与绑定 Jarh2o-core JavadocJava 核心 API 指南Frame、Vec、Job、K/V 存储、分布式执行等。h2o-algos Javadoc算法实现 API 指南GBM、GLM、DRF、Deep Learning、K-Means 等。POJO/MOJO Javadoc创建与在 Java 应用中实现 POJO/MOJO 的分步指南。Java Retrofit 绑定是外部 Java 程序调用 REST API 的官方途径h2o-bindings 使用 Square 的 Retrofit 库若以 zip 形式下载 H2O绑定 Jar 位于bindings/java/h2o-bindings-{version}.jar源码位于bindings/java/h2o-bindings-sources.jar若从源码构建绑定 Jar 位于h2o-bindings/build/libs/h2o-bindings.jar生成源码位于h2o-bindings/build/src-gen/main/java/water/bindings/。文档强调payload schema 类与端点代理类均以 help 文本字段和 Javadoc方法注释默认构造函数将每个字段设为其默认值且每个 payload schema 类含toString()便于调试。仓库内可直接参考的 Java 示例位于 h2o-bindings/src/main/java/water/bindings/examples/retrofit/GBM_Example.javaH2oApi封装了newSession、importFiles、guessParseSetup等调用以及ImportPatternExample.java、Merge_Example.java。Sparkling Water附录同时指向 Sparkling Water 的 REST API 文档其中描述了可传给 Spark 以配置 Sparkling Water 的配置属性Spark 上运行 H2O 的集成配置。附仓库内关联资源路径索引资源仓库路径API 参考附录本文主题文档h2o-docs/src/product/api-reference.rstREST API 概述curl/Java/Flow 三端示例h2o-docs/src/api/REST/h2o_3_rest_api_overview.mdREST 参考文档渲染模板h2o-docs/template/rest-api-reference.htmlREST API 错误处理示例h2o-docs/src/api/rest-api-error-handling多语言 API 数据科学示例h2o-docs/src/api/data-science-example-1/README.mdREST Handler 源码ImportFiles/ParseSetup/Frames/ModelBuilders/Metadatah2o-core/src/main/java/water/apiSchema 源码H2OErrorV3/MetadataV3/RequestSchemaV3/ModelBuildersV3h2o-core/src/main/java/water/api/schemas3Java Retrofit 绑定示例h2o-bindings/src/main/java/water/bindings/examples/retrofitR 包源码与测试h2o-r/h2o-package、h2o-r/testsPython 包源码与测试h2o-py/h2o、h2o-py/testsPOJO/MOJO 运行时源码h2o-genmodel/src/main/java/hex/genmodel赞分享机器学习深度学习AutoML大数据后端【免费下载链接】h2o-3H2O is an Open Source, Distributed, Fast Scalable Machine Learning Platform: Deep Learning, Gradient Boosting (GBM) XGBoost, Random Forest, Generalized Linear Modeling (GLM with Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.项目地址https://gitcode.com/gh_mirrors/h2/h2o-3点击查看免费下载相关推荐Apache Pulsar Admin 接口完全指南pulsar-admin CLI、REST API 与 Java 客户端Apache Pulsar Admin 接口完全指南pulsar admin CLI、REST API 与 Java 客户端 Apache Pulsar 的消息队列后端流处理Apache Pulsar 管理接口Admin Interface完全指南CLI、REST API 与 Java 客户端Apache Pulsar 管理接口Admin Interface完全指南CLI、REST API 与 Java 客户端 Apache Pulsar 的管消息队列后端流处理Apache Pulsar Topic 管理完全指南Admin API、REST 与 Java 客户端实操详解Apache Pulsar Topic 管理完全指南Admin API、REST 与 Java 客户端实操详解 Apache Pulsar 以 Topic主消息队列后端流处理上一篇从入门到精通Nodepay-Bot高级用户的挖矿策略与优化技巧下一篇一站式网络资源下载解决方案高效获取视频号、抖音、快手等平台内容创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考