带有时间戳字段的Elasticsearch & Spark写入错误
是指在使用Elasticsearch和Spark进行数据写入时，由于时间戳字段的处理不当而导致的错误。
Elasticsearch是一个开源的分布式搜索和分析引擎，具有高性能、可扩展性和强大的全文搜索功能。Spark是一个快速通用的大数据处理框架，可以进行数据分析、机器学习和图计算等任务。
在使用Elasticsearch和Spark进行数据写入时，如果涉及到时间戳字段，需要注意以下几个方面：
- 时间戳字段格式：确保时间戳字段的格式正确，符合Elasticsearch和Spark的要求。常见的时间戳格式包括UNIX时间戳、ISO 8601格式等。
- 时区处理：在跨时区的场景下，需要考虑时区的转换和处理。确保时间戳字段的时区与数据的时区一致，避免数据写入错误。
- 数据类型匹配：确保时间戳字段的数据类型与Elasticsearch和Spark的要求一致。通常情况下，时间戳字段可以使用long类型或者日期类型进行存储。
- 数据转换：在将数据写入Elasticsearch之前，需要将时间戳字段进行适当的数据转换。例如，将UNIX时间戳转换为日期类型，或者将日期字符串转换为日期类型。
- 错误处理：在数据写入过程中，如果遇到时间戳字段的错误，需要进行适当的错误处理。可以通过日志记录、异常捕获等方式来处理错误，并及时修复问题。
对于带有时间戳字段的Elasticsearch & Spark写入错误，可以使用腾讯云的相关产品来解决问题。腾讯云提供了Elasticsearch服务和Spark服务，可以帮助用户快速搭建和管理Elasticsearch集群和Spark集群。具体产品和介绍链接如下：
- 腾讯云Elasticsearch：提供稳定可靠的Elasticsearch服务，支持高性能的全文搜索和分析功能。详情请参考：https://cloud.tencent.com/product/es
- 腾讯云Spark：提供强大的大数据处理能力，支持分布式计算和机器学习等任务。详情请参考：https://cloud.tencent.com/product/spark
通过使用腾讯云的Elasticsearch和Spark服务，可以有效地解决带有时间戳字段的数据写入错误，并提高数据处理的效率和准确性。
相关·内容
我需要一种方法来将下面的时间戳写入Elasticsearch，而不会在错误消息上出现错误。下面的代码读取JSON文件，然后写入Elasticsearch。 我的代码： import org.apache.spark.sql.types._
val schemaDF = spark.read.json("/tmp/LTPD/schema.json")
schemaDF.printSchema()
val schema = schemaDF.schema
//read from JSON file
val streamingDF = spark
.rea
浏览 59提问于2020-03-25得票数 1
我正在使用Spark结构化流写入Elasticsearch 6.2.0 Sink：
dataDf
.writeStream
.outputMode(OutputMode.Append)
.format("org.elasticsearch.spark.sql")
.queryName("ElasticSink")
.option("checkpointLocation", s"${s3Url}/checkpoint_elasticsearch")
...
.option("es.mappin
浏览 3提问于2018-09-03得票数 1
回答已采纳
2回答
我面临这样的问题:当我输入一个带有spark.sql数据的Hive时间戳字段时，时间被奇怪地更改为21:00:00！
让我解释一下：
我有一个用spark.sql读取的csv文件。我读取该文件，将其转换为dataframe并将其存储在一个Hive表中。此文件中的一个字段是日期，格式为"3/10/2017“。我想输入的Hive字段是格式的(我使用此数据类型而不是日期的原因是我想用Impala查询表，而Impala只有时间戳，所以它不是简单地更改数据类型到日期的解决方案)
从文档中可以看到，Hive时间戳数据类型具有“YYYY:MM:SS”格式，因此在将数据输入到Hive表之前，我会将日期
浏览 1提问于2017-11-22得票数 1
回答已采纳
2回答
当我通过impala查询时，我将一个日期字段转换为hive中的时间戳为from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') as timestamp) as column_name,，时间以GMT格式显示。不仅我创建的列每个时间戳字段都要转换为GMT格式。
如何让它按原样显示时间？或者如何将其转换为est？
请帮我处理sql查询或spark/scala代码，我试过用这个，它对我很有帮助。
浏览 10提问于2017-01-24得票数 3
我正在使用Spark格式编写带有时间戳字段的日志。
示例{ "timestamp": "2016-11-02 21:16:06.116" }
当我将Json日志写入弹性索引时，时间戳被分析为字符串而不是日期。我尝试使用org.apache.spark.util.TaskCompletionListenerException:在sparkconf中设置属性，但它在运行时抛出了以下错误：sparkConf.set("es.mapping.timestamp", "timestamp")未能解析时间戳2016-11-03 15:46:5
浏览 1提问于2016-11-03得票数 2
我正在尝试使用elasticsearch-hadoop连接器在ElasticSearch中索引以下模式的DataFrame。
|-- ROW_ID: long (nullable = false)
|-- SUBJECT_ID: long (nullable = false)
|-- HADM_ID: long (nullable = true)
|-- CHARTDATE: date (nullable = false)
|-- CATEGORY: string (nullable = false)
|-- DESCRIPTION: string (nullable = fals
浏览 24提问于2018-09-10得票数 0
回答已采纳
我在elasticsearch中索引我的couchbase文档(使用xdcr)。在couchbase中，我们有存储unix时间戳的字段，但我希望在ElasticSearch中将它们作为日期时间索引。有没有办法告诉elasticsearch将unix时间戳(以秒为单位)转换为日期时间？
谢谢。
浏览 14提问于2015-02-16得票数 1
我正在读取Kinesis的数据，并通过structured将其写入ElasticEearch。我需要存储每个微批写入ElasticSearch索引的时间戳，作为每个记录中字段的一部分。
例如，流中的第一个微批处理包含10K记录，这些10K记录的时间戳应该反映它们被处理(或写入ElasticSearch)的时刻。然后，我们应该有一个新的时间戳，当第二个微批处理，等等。
我尝试添加一个带有current_timestamp函数的新列：
.withColumn("recordDate", current_timestamp())
但是，在整个查询生命周期中，该函数只被计算一次。因此，
浏览 0提问于2018-09-28得票数 1
回答已采纳
我是否可以对默认的timestamp字段进行范围查询，忽略date值，即仅在时间戳中使用时间--比如每天2小时？
我的意图是搜索所有文档，但不包括在上午9点到12点之间索引的文档(我在过滤中看到了带有日期范围的示例)。
时间戳示例如下：
"@timestamp": [
"2015-12-21T15:18:17.120Z"
]
Elasticsearch版本: 1.5.2
浏览 3提问于2017-03-20得票数 2
1回答
我有一个Elasticsearch索引，它使用@timestamp字段将日期存储在date字段中。
有许多记录缺少@timestamp字段，但是有一个包含unix时间戳的timestamp字段。(从PHP生成，所以秒，而不是毫秒)
注意，timestamp字段的日期类型，但数字数据似乎存储在那里。
如果有一个带有unix时间戳的数字@timestamp字段，那么如何在重新索引中使用无痛脚本并将其设置为缺少的timestamp？
下面是我想要转换的一个例子记录。
{
"_index": "my_log",
"_type": &#
浏览 1提问于2019-06-06得票数 0
见到你很高兴。
现在，我使用Apache的Elasticsearch来加入elasticsearch索引。()
但是，当pyspark向elasticsearch写入带有日期类型字段的数据时，我遇到了一个问题。
原始字段：
创建:时间戳(nullable = true)
但是，当我将数据保存到elasticsearch时，如下所示：
result.write.format("org.elasticsearch.spark.sql")\
.option("es.nodes","server")\
.option("es.ma
浏览 1提问于2020-06-04得票数 1
回答已采纳
我想在elasticsearch 2.1中创建一个带有默认日期/时间字段的索引。2.1的文档指出，_timestamp在2.0中已弃用，改为使用date类型
因此，我的问题是，为所有新记录创建具有默认时间戳/日期的索引的正确方法是什么？
浏览 3提问于2015-12-28得票数 0
ElasticSearch的官方文件说：
包含文档时间戳的文档字段/属性名称。若要指定常量，请使用该格式。不适用于Elasticsearch 6.0+索引版本，但对5.x索引版本及以下版本的支持将继续。
因此，当我试图使用它来确保我的索引分别有时间戳时，我会得到这个错误。
org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:不能对ES 6.x和更高版本中的索引/更新请求使用时间戳。请删除es.mapping.timestamp设置。
我试过的代码是：
df.write.format("org.elasticsearch
浏览 3提问于2020-12-16得票数 0
我收到一个错误时，写入数据的elasticsearch从火花。大多数文档都写得很好，那么我就有这样的例外了。
org.elasticsearch.hadoop.rest.EsHadoopRemoteException： date_time_exception: date_time_exception:年份无效值(有效值-999999999 - 999999999)：-6220800000
在elasticsearch中的字段映射是“date”在pySpark中的字段类型是DateType而不是TimestampType，国际海事组织应该明确指出这是一个没有时间的日期。火花显示的数值是"
浏览 1提问于2020-01-29得票数 0
我是spark streaming和elasticsearch的新手，我正在尝试使用spark从kafka topic读取数据，并将数据存储为rdd。在rdd中，我想在新数据到来时添加时间戳，然后推送到elasticsearch。
lines.foreachRDD(rdd -> {
if(!rdd.isEmpty()){
// rdd.collect().forEach(System.out::println);
String timeStamp = new
SimpleDateFormat("yyyy::MM::
浏览 2提问于2017-10-26得票数 3
我正在尝试用ElasticSearch保存一个JSON文件，但是它不能工作。
这是我的代码：
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.elasticsearch.spark.sql._
import org.apache.spark.SparkConf
object HelloEs {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName(
浏览 4提问于2018-07-19得票数 2
2回答
ELK最合适的时间戳名称_或@
、、、、
当使用Logstash将日志解析到Elasticsearch，然后使用Kibana可视化时，时间戳最合适的名称是什么？
我在过滤器中使用日期定义时间戳：
date {
match => [ "logtime", "yy-MM-dd HH:mm:ss" ]
}
Logstash自动将其放入@timestamp字段。Kibana可以配置为使用任何格式正确的字段作为时间戳，但在Elasticsearch中使用_timestamp似乎是正确的。要做到这一点，您必须对datestamp字段进行变异和重命名。
mutate {
rename =&g
浏览 5提问于2016-08-09得票数 2
回答已采纳
我在java应用程序中使用spark，我必须将数据存储到现有的db表中。数据库是一个Sybase。火花版本3.0.1。我在dataframe中有几个时间戳类型的字段。因此，看起来它们不能映射到数据库文件中的“datetime”类型，但为什么不呢？我使用这个语句试图插入dataframe：
outputDS.write().mode(SaveMode.Append).jdbc(URL, tableName, properties);
此外，还有语句示例，说明如何在输出数据集中创建时间戳列：
.withColumn("DateCreated", lit(new TimeStamp(
浏览 1提问于2021-02-02得票数 1
我有以下设置:我有一个将JSON消息发送到RabbitMQ的Java。它们看起来是这样的：
{
"a": 0,
"b": 1,
"c": 2
}
现在，我使用Logstash读取RabbitMQ队列并将它们存储到Elasticsearch中，这样我就可以使用Kibana分析数据。存储在Elasticsearch中的JSON如下所示：
{
"a": 0,
"b": 1,
"c": 2,
"@version": "1",
"@timestamp":
浏览 1提问于2014-01-22得票数 4
回答已采纳
无法创建索引并使用弹性接收器将数据推送到elasticsearch
df.writeStream
.outputMode("append")
.format("org.elasticsearch.spark.sql")
.option("es.nodes","localhost:9200")
.option("checkpointLocation","/tmp/")
.option("es.resource","index/type")
.st
浏览 0提问于2019-08-09得票数 1
我正在使用kafka -connect Elasticsearch插件从我的kafka获得消息到Elasticsearch。我在kafka中的数据包含一个日期字段(时间戳格式)。
我的第一个问题是当我使用这个插件时，Elasticsearch索引没有将日期字段识别为日期类型，而是识别为一个长的.我在连接器配置中使用SMT转换来解决这个问题。
下面是我当前的配置，它允许我在弹性中推送数据：
{
"name": "elasticsearch-sink-test",
"config": {
"connector.class
浏览 0提问于2018-12-25得票数 3
回答已采纳
1回答
加载到拼板时将时间戳转换为UTC
、、、、
我正在通过火花加载数据到地板上。
dataFrame.write.parquet(path)
我的数据有一个时间戳列，当我写到拼图时，它实际上是将时间戳转换为UTC时区，然后存储。
实际时间
UTC时间
我看到火花conf被设置为UTC时区。spark.sql.session.timeZone有任何方法来关闭这个转换吗？
我想按原样加载时间戳，而不将其转换为任何其他时区。我该怎么做？
浏览 4提问于2020-12-10得票数 2
我通读了spark structured streaming文档，我想知道spark structured是如何确定事件已经迟到的？它是否将事件时间与处理时间进行比较？
以上图为例，粗体右箭头线" time“是否代表处理时间？如果是这样
1)这个处理时间是从哪里来的？由于它的流，它是否假设有人可能正在使用具有处理时间戳的上游源，或者spark添加了处理时间戳字段？例如，当阅读来自Kafka的消息时，我们会这样做
Dataset<Row> kafkadf = spark.readStream().forma("kafka").load()
默认情况下
浏览 0提问于2018-02-26得票数 4
我正在尝试从星火中用Elasticsearch编写一个对象集合。我必须满足两项要求：
文档已经在JSON中序列化，应该按如下方式编写
应提供Elasticsearch文档_id
到目前为止我已经试过了。
saveJsonToEs()
我尝试像这样使用 (序列化的文档包含带有所需的Elasticsearch的字段_id )：
val rdd: RDD[String] = job.map{ r => r.toJson() }
val cfg = Map(
("es.resource", "myindex/mytype"),
("
浏览 8提问于2017-12-19得票数 1
我正在使用elasticsearch连接器(confluent)来连接kafka。我从主题中获取消息到elasticsearch索引中。如果没有使用键，我可以看到偏移量是_id的一部分。我想根据偏移量和时间戳在弹性搜索中浏览消息。
是否可以将消息的偏移量和时间戳作为索引中的字段？
以下是elasticsearch文档
{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearc
浏览 0提问于2016-11-18得票数 0
当我尝试将字符串字段转换为TimestampType时，输出值将带有微秒精度( yyyy-MM-dd HH:mm:ss.S)。但我需要的格式是yyyy-MM-dd HH:mm:ss ie，不包括微秒精度。另外，我想将它保存为时间戳字段，同时将其写入一个拼花文件中。因此，我字段的数据类型应该是格式yyyy-MM-dd HH:mm:ss的时间戳。
我试着用TimestampType作为
col("column_A").cast(TimestampType)
or
col("column_A").cast("timestamp")
将字段转换为时间戳。
浏览 2提问于2017-07-06得票数 3
我有一个带有两个字段的Elasticsearch索引“会话”： "user_id" : {
"type" : "keyword"
},
"login_at" : {
"type" : "date"
} 每次用户登录时，都会创建一条带有user_id和当前时间戳的新记录。 我想列出一周内未登录的所有用户。我知道如何通过以下命令获取每个用户的上次登录时间： GET sessions/_search
{
"size": 0,
"aggs&#
浏览 13提问于2020-09-06得票数 0
我使用云函数将Firebase firestore文档发送到elasticsearch进行索引。我正在尝试找到一种方法来将firebase时间戳字段映射到索引中的elasticsearch日期字段。 elasticsearch日期类型映射支持epoch_millis和epoch_seconds格式，但firestore日期类型是一个对象，如下所示： "timestamp": {
"_seconds": 1551833330,
"_nanoseconds": 300000000
}, 我可以使用秒字段，但会丢失秒的小数部分。 有没有办法将
浏览 16提问于2019-03-08得票数 3
回答已采纳
我有一个基于时间的Kibana，时间域是一种名为的时间戳。没有设置时间字段名，我需要将它设置为时间戳。由于时间戳格式(数字)不好，我创建了一个名为datetime的脚本字段，以获得更好的日期格式。脚本字段datetime的代码
doc['timestamp'].value * 1000;
它的工作原理是：
Samples
Input Output
1599027119802 Sep 2, 2020 @ 08:11:59.802
1577833200000 Jan 1, 2020 @ 00:00:00.0
浏览 4提问于2020-09-02得票数 0
1回答
我使用logstash每30秒向elasticsearch发送一个事件。此事件名为"Test“，有一个数值字段"value”。因此，我有一个事件列表，其中"value“字段有时会发生变化。例如：
时间戳: 2-04-2014 22:00:30取值: 30
时间戳: 2-04-2014 22:01:00取值: 35
时间戳: 2-04-2014 22:01:30取值: 35
时间戳: 2-04-2014 22:02:00取值: 29
..。
我想在kibana中，显示一个带有" value“标签的框: value，其中value总是最后获得的值。我发现直方图可以显
浏览 0提问于2014-04-02得票数 3
3回答
我想存储将行插入到MySQL表中的时间戳，以便稍后与其他时间进行比较。最好的字段类型是什么，在PHP中插入带有时间戳的行的最佳方式是什么？
浏览 1提问于2009-12-29得票数 4
回答已采纳
我正在编写一个Spark结构的流媒体应用程序，其中使用Spark处理的数据需要沉没到弹性搜索。
这是我的开发环境，因此我有一个独立的Elastic search。
我尝试了以下两种方法将DataSet中的数据汇聚到ES中。
1.ds.writeStream().format("org.elasticsearch.spark.sql").start("spark/orders"); 2.ds.writeStream().format("es").start("spark/orders");
在这两种情况下，我都会得到以下错误：
由以
浏览 1提问于2017-09-26得票数 3
在一个定义为VARCHAR(45)的表中，我有三个*date字段，默认值为'00-00-0000‘。创建记录时，每个字段都需要当前系统时间的默认值。
我已经将其中一个字段从VARCHAR(45)改为默认为CURRENT_TIMESTAMP的TIMESTAMP，效果非常好。我认为每个表只能有一个带有Datatype时间戳的字段。
如何处理表中的其他两个字段？我也想*CURRENT_TIMESTAMP他们。
谢谢
浏览 2提问于2012-01-20得票数 0
回答已采纳
我们在Elasticsearch中创建了一个索引，如下所示，索引名是apachelog，动态映射设置为“严格”，我们将httpresponse字段设置为integer：
curl -X PUT 'http://localhost:9200/**apachelog**' -d \
'{
"log": {
<b>"dynamic": "strict"</b>,
"properties": {
"@fields": {
"pr
浏览 5提问于2015-09-09得票数 1
是否有方法使用ElasticSearch script_fields的输出来更新索引中的另一个变量？
我在ElasticSearch 1.x中有一个索引，它启用了时间戳，但没有存储。(地图见下文)
这意味着可以访问时间戳进行搜索，或者使用script_fields，例如-
GET twitter/_search
{
"script_fields": {
"script1": {
"script": "_fields['_timestamp']"
}
浏览 5提问于2017-06-06得票数 0
回答已采纳
我已经成功地将python与elasticsearch ()和复合聚合一起使用了一段时间，但遇到了一个我无法解决的问题。我正在查询的数据是多个组织的资产数据，每个资产由一行组成。每行包含每个资产的两个日期(scan_date和时间戳)，我需要搜索结果给出每个组织的最大(时间戳- scan_date)，即最古老的"scan_age“。在SQL方面：
SELECT organization, MAX(timestamp - scan_date) as oldest_scan_age
FROM database
GROUP BY organization
elasticsearch库包含用于
浏览 11提问于2022-11-25得票数 0
回答已采纳
1回答
我正在向elasticsearch数据库发送带有logstash的事件。事件的结构如下：
timestamp:2014-04-04 12:00:00 name:'leo' time:10
timestamp:2014-04-04 12:00:30 name:'john' time:15
...
...
在Kibana界面中，我可以显示一些图形；例如，时间戳的平均时间。
由于logstash不断发送事件，因此我希望显示实时发送的最新事件。是否可以使用时间戳字段编写一个只返回最新事件的查询？我不想碰Kibana的“时间过滤器”
提前感谢您的帮助
浏览 0提问于2014-04-05得票数 0
我是ElasticSearch的新手。我有大量的数据要用Elasticsearch索引。
我正在使用Apache来使用Elasticsearch索引hive表中的数据。
作为这个功能的一部分，我编写了简单的Spark脚本。
object PushToES {
def main(args: Array[String]) {
val Array(inputQuery, index, host) = args
val sparkConf = new SparkConf().setMaster("local[1]").setAppName("Push
浏览 1提问于2017-07-17得票数 0
我用弹性搜索火花连接器在火花壳中做了一些实验。激发火花：
] $SPARK_HOME/bin/spark-shell --master local[2] --jars ~/spark/jars/elasticsearch-spark-20_2.11-5.1.2.jar
在scala外壳中：
scala> import org.elasticsearch.spark._
scala> val es_rdd = sc.esRDD("myindex/mytype",query="myquery")
它运行良好，结果包含myquery中指定的良好记录。唯一的
浏览 4提问于2017-02-04得票数 3
回答已采纳
我有带有时间戳的csv文件。我必须使用pyspark读取文件。但是时间戳我们不知道。请帮我看看怎么读？ 示例： filename - projectno_without_data_20211030.csv 我必须在不知道时间戳的情况下读取此格式- projectno_without_data_*.csv 我使用下面的代码- df_read_file = sqlContext.read.format('com.databricks.spark.csv').option("delimiter", '|').options(header='t
浏览 31提问于2021-11-17得票数 0
回答已采纳
我想通过我的spark转换在Elasticsearch中创建一个索引。我想知道使用elasticsearch-spark库最好的方法是什么？亲切的问候
浏览 47提问于2019-01-26得票数 0
我希望将一些数据附加到Elasticsearch中的文档中，并使用MVEL设置时间戳。
这就是我目前正在尝试的。但不起作用。
{"error":"ElasticSearchIllegalArgumentExceptionfailed执行脚本；嵌套:PropertyAccessException[错误:无法访问属性(时间戳)：java.lang.Long\nNear：{.时间戳.}^\n行: 1，列: 1]；"，“状态”：400}
如何访问时间戳字段(它是通过映射成功创建的)
{
"script": "
浏览 3提问于2013-11-01得票数 0
2回答
我正在尝试使用不同的时间戳对hive表进行分区。我有一个带有时间戳的表，但是当我执行hive分区查询时，它告诉我它不是有效的分区列。下面是表格：
+---+-----------------------+
|id |rc_timestamp |
+---+-----------------------+
|1 |2017-06-12 17:18:39.824|
|2 |2018-06-12 17:18:39.824|
|3 |2019-06-12 17:18:39.824|
+---+-----------------------+
spark.sql("SE
浏览 0提问于2019-06-13得票数 3
2回答
我正在用一个时间字段(称为origin_timestamp )将json结构化日志消息写入stdout。
我使用尾输入插件使用Fluent位收集日志消息，该插件使用解析器docker。解析器配置为Time_Key time。
关于Time_Key的文档说：
如果日志条目提供一个带有时间戳的字段，则此选项指定该字段的名称。
由于time != origin_timestamp，我原以为不会用Fluent位添加任何时间字段，但是最终在Elasticsearch中得到的日志消息有以下时间域：
(包含原始日志消息的字段日志中的origin_timestamp)
origin_times
浏览 1提问于2019-09-10得票数 0
我有一个案例，Kafka生产者一天发送两次数据。这些生产者从数据库/文件中读取所有数据并发送给Kafka。所以这些信息是每天发送的，是重复的。我需要对消息进行重复数据删除，并使用Spark流在一些持久存储中写入。在这种情况下，删除重复消息的最佳方法是什么？
发送的重复消息是带有时间戳字段的json字符串，仅更新。
注意：我不能改变Kafka Producer只发送新的数据/消息，它已经安装在客户机上并由其他人编写。
浏览 65提问于2018-02-12得票数 2
我如何解决这个问题，让它正确地拾取带有@timestamp字段的条目？谢谢。
JSON日志：
{
"@timestamp": "2017-02-14T15:55:05.070Z",
"@version": "1",
"action": "create",
"controller": "MyController",
"db": 10.51,
"duration": 40.77,
浏览 0提问于2017-02-15得票数 0
2回答
我有一些数据，其中的时间戳列字段是长的和它的纪元标准，我需要保存为分割格式的数据，如yyyy/mm/dd/hh使用spark scala
data.write.partitionBy("timestamp").format("orc").save("mypath")
这只是按时间戳拆分数据，如下所示
timestamp=1458444061098
timestamp=1458444061198
但我想让它像
└── YYYY
└── MM
└── DD
└── HH
浏览 1提问于2018-09-27得票数 12
回答已采纳
我有火花作业，从Cassandra读取，处理/转换/过滤数据，并将结果写入Elasticsearch。我在集成测试中使用了docker，我在从spark到Elasticsearch的写作中遇到了麻烦。
依赖关系：
"joda-time" % "joda-time" % "2.9.4",
"javax.servlet" % "javax.servlet-api" % "3.1.0",
"org.elasticsearch"
浏览 1提问于2016-08-08得票数 5
我使用和将API日志存储到弹性索引中。
我需要在这个索引上实现弹性搜索ILM，但是要做到这一点，需要在弹性索引接收的文档的根目录中设置一个“@时间戳”字段。
那么，在将数据从应用程序api日志发送到ElasticSearch之前，我如何编辑事件数据以添加这个“@时间戳”字段呢？
浏览 6提问于2022-09-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
