当前位置: 首页 > news >正文

Hive采用Tez引擎出现OOM的处理办法

环境是Hive以Tez作为引擎,随后运用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space…

连接工具以DataGrip为例,解决办法如下:

-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;
-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。就是hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而

实践中通过调整hive.tez.container.size参数解决了OOM问题。

http://www.gsyq.cn/news/10436.html

相关文章:

  • VMware之后下一个消失的永久许可,Citrix Netscaler VPX旧版许可已经失效了!你升级了吗?
  • Feminism in China
  • 大模型微调示例四之Llama-Factory-DPO - 教程
  • n8n+MySQL实现数据库查询!
  • firewalld 端口流量转发
  • Day20封装的初步认识
  • 【Qt开发】显示类控件(三)-> QProgressBar - 详解
  • 完整教程:数据结构与算法-树和二叉树-二叉树的存储结构(Binary Tree)
  • 工业相机与镜头靶面尺寸的关系:从原理到选型的避坑指南 - 教程
  • 提供优雅报错能力
  • Security Onion Solution
  • 详细介绍:MySQL进阶学习
  • 时序数据库 TimechoDB V2.0.6 发布 | 新增查询写回、黑白名单等功能
  • 第二篇
  • EasyDSS “进度条预览”黑科技,如何重塑视频点播的交互体验?
  • AI重塑招聘:从筛简历到做决策,HR如何借技术提效35%?
  • 直播点播之外,EasyDSS如何开辟“实时协作”第三极?它的会议功能,远比你想象的强大
  • 抖音视频关键词批量下载工具分享|分享痛点|
  • 第二部分:VTK核心类详解(第38章 vtkPointData点数据类) - 教程
  • 使用ai来搭建测试用例1
  • 总线的概念以及分类
  • 详细介绍:基于伪随机数的WPS PIN码逆向原理分析(精灵尘埃/仙尘攻击)
  • WPF Prism PrismApplication OnInitialized()
  • 使用shell脚本一键部署docker及docker-compose环境
  • 数据全生命周期安全建设方案推荐:双轮驱动架构的实践与创新
  • 噬菌体展示技术原理深度解析:从基因型-表型偶联到亲和筛选的核心逻辑
  • 日记2
  • AP2 (Agent Payments Protocol) 使用教程
  • RTK精度和时间 - MKT
  • LeetCode-100.相同的树