首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >spark Could not write all entries

spark Could not write all entries

作者头像
机器学习和大数据挖掘
发布2019-07-02 09:16:42
发布2019-07-02 09:16:42
1.3K0
举报
文章被收录于专栏:数据挖掘数据挖掘

使用 sparkdataFrame 储存到 elasticsearch 出现如下报错:

代码语言:javascript
复制
Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries [1/1] (Maybe ES was overloaded?). Error sample (first [1] error messages):
    rejected execution of org.elasticsearch.transport.TransportService$4@7d5f91de on EsThreadPoolExecutor[bulk, queue capacity = 50, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@3447703a[Running, pool size = 32, active threads = 32, queued tasks = 68, completed tasks = 9151096]]
Bailing out...

这个无法查到定位到报错位置,所以在新建 spark 的时候进行如下配置:

代码语言:javascript
复制
val masterUrl = "local"
val appName = "ttyb"
val sparkConf = new SparkConf()
  .setMaster(masterUrl)
  .setAppName(appName)
  .set("es.nodes", "172.16.14.21")
  .set("es.port", "9200")
  //Bailing out...错误
  .set("es.batch.size.entries", "1")
  //插入失败后无限重复插数据
  .set("es.batch.write.retry.count", "-1")
  //查数据等待时间
  .set("es.batch.write.retry.wait", "100")
val Spark = SparkSession.builder().config(sparkConf).getOrCreate()

得到新的错误:

代码语言:javascript
复制
org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: 
null

报错显示:

ES 负载过高,需要重新修复

本想重启 ES ,发现是机器 磁盘空间已满 ,查错成功

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-03-05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档