当前位置: 首页 > news >正文

spark读hive偶尔出现table not found

1、问题发现:

在spark环境调试业务过程中,出现table not found问题,重跑之后改问题又消失,后面发现有一定概率出现该问题

2、问题定位:

spark环境中是通过hive-site连接hive hive.metastore,查看hive.metastore.uris配置,发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因,猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri,多次测试后发现,连接到ip1:9083和ip3:9083时,会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083,同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因

http://www.gsyq.cn/news/111601.html

相关文章:

  • 海外回国eSIM避坑指南一定要提前搞懂,不然真的会被坑惨!
  • keyence颜色传感器LR-W70使用(最多可区分16种颜色)
  • Wan2.2-T2V-A14B模型部署与高保真T2V实战
  • LangGraph4j 入门
  • 12/16
  • Linux SSH隧道代理转发及多层转发
  • Java面试题含答案——2025年最新完整分享,收藏这篇就够了
  • 硬核拆解:这套电影解说工作流,如何帮你零成本搭建AI影视解说SaaS
  • 黑科技加持,工作效率翻倍!这 9 款小众软件宝藏盘点
  • Nano Banana Pro 如何重塑 AI 驱动的教育未来
  • 12.12 标签(四) 表格
  • Hutool Beanutil.copyproperties() 是浅拷贝还是深拷贝 - Higurashi
  • Flutter状态管理全解析:Provider vs Bloc vs Riverpod实战对比
  • 课题申报新手入门必备指南!利用AI辅助搞定 6大关键部分,高效提升申报成功率(附AI提示词)
  • 2025 年 12 月找靠谱中国 AI 智能体获客老师,麟哥难道不称职?
  • 免费标签打印软件与企业级标签打印软件评测,这样选最合适!
  • FastAPI+VUE3创建一个项目的步骤模板(二)
  • 从瑞吉外卖到南风窗图书管理系统:期末作业轻量化改造实战(最后附效果对比图)
  • MM440如何用模拟量作为频率给定
  • GeoServer 跨域问题解决方案
  • Codebuddy使用CloudBase MCP辅助AI编码基于Spec工作流开发的坦克大战小游戏
  • 基于SpringBoot的博物馆管理系统(毕业设计项目源码+文档)
  • Part 10|我给这套系统划的第一个边界
  • 基于SpringBoot的车辆报废回收系统(毕业设计项目源码+文档)
  • 为什么过滤 rtmpt 而不是 rtmp?
  • 基于SpringBoot旅游包车管理系统毕业设计项目源码
  • 2025年优测全链路压测平台:高并发卡顿环节精准定位实践
  • 2025年优测平台:接口最大并发量测试工具与实践方法
  • 芸光 AI 讲师:AI 搜索 GEO 实战教学领路人,让企业 0 基础也能落地 AI 获客
  • Go 安装插件更换国内镜像