大数据探索-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据探索

专栏成员

6

文章

9066

阅读量

9

订阅数

Superset sqllab连接hive无法显示表信息的问题

使用superset，连接hive时(hive的引擎是spark)，表名和表信息无法加载，加载出来了一堆表的数据库名

框框不是欢欢

2022-10-17

1.3K0

K8s部署docker镜像 Superset，无法查看配置的Hive连接信息

hive spark json jdbc python

1、连接hive不是真正的hive，而是由kyuubi+spark并接入hive元数据库搭建的，用来替代运行效率慢的hive且也可以提供jdbc连接

框框不是欢欢

2022-10-13

1.7K0

Spark任务写数据到s3，执行时间特别长

spark 编程算法 hive node.js 大数据

目前使用s3替代hdfs作为hive表数据存储，使用spark sql insert数据到hive表，发现一个简单的查询+插入任务，查询+insert的动作显示已经执行完，任务还在跑，直到跑了两个小时后才执行结束。

框框不是欢欢

2022-10-11

9080

分享一下Spark History Server搭建以及使用s3路径的eventlog的坑

完成了spark on k8s的部署和测试，现在需要一个能够查看spark任务执行情况的ui，原先采用yarn资源管理器ui链接到spark-web-ui，由于yarn集群下的机器ip固定，可以通过配置本地代理的方式访问它，现在去掉了yarn，自己需要搭建一个能够查看所有spark任务执行情况的页面。直接使用spark-web-ui不方便管理且部署的driver机器在线上且ip不固定，无法通过配置代理和服务名方式打通。

框框不是欢欢

2022-06-07

1.3K0

No FileSystem for scheme "s3"问题解决

spark hive kubernetes 文件存储

公司使用s3的路径去关联hive的分区，现在接入spark on k8s引入了3.0以上的hadoop版本，高版本的hadoop版本开始支持s3a配置。

框框不是欢欢

2022-05-19

2.5K0

Mac hadoop + hive整合s3-伪分布式环境

hadoop hive mac os

JDK: java1.8 路径为:/Library/Java/JavaVirtualMachines/jdk1.8.0_291.jdk/Contents/Home

框框不是欢欢

2022-04-25

1.4K1

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态