日志服务 Logstash 日志上传-操作指南-文档中心-腾讯云

概述
CLS 日志服务支持通过以下两种 Logstash 插件将 Logstash 采集的日志上传至 CLS 日志服务：
﻿Logstash CLS Output 插件﻿
﻿Logstash Kafka Output 插件﻿
本文将介绍如何通过这两种 Logstash Output 插件将日志上传至 CLS 日志服务。
通过 CLS Output 插件上传
注意：
请确保云 API 密钥关联的账号具有相应的 Logstash 日志上传最小权限。
1. 执行以下命令安装 Logstash CLS Output 插件。
logstash-plugin install logstash-output-cls
2. 执行以下运行 Logstash CLS Output 插件。
logstash -f logstash-sample.conf
3. 配置 Logstash 的配置文件example/fluent.conf。
input {
}
﻿
## 若需要指定日志中的时间字段作为日志时间戳， 可配置如下时间解析配置
filter {
  date {
    match => ["produce_log_time","yyyy-MM-dd HH:mm:ss.SSS"]
    target => "@timestamp"
  }
}
﻿
output {
  cls{
     endpoint  => "[CLS数据接入域名]"
     topic_id  => "[日志主题id]"
     access_key_id     => ""
     access_key_secret => ""
  }
}
参数描述
参数名
类型
是否必填
默认值
描述
endpoint
string
是
-
目标上传的日志主题所在地域的域名。请参见 可用地域。
示例：
广州内网域名：ap-guangzhou.cls.tencentyun.com
广州公网域名：ap-guangzhou.cls.tencentcs.com
topic_id
string
是
-
目标上传的日志主题 ID。
source
string
否
本地网卡 IP
日志的来源 IP。
access_key_id
string
是
-
﻿云 API 密钥 的一部分，SecretId 用于标识 API 调用者身份。
access_key_secret
string
是
-
﻿云 API 密钥 的一部分，SecretKey 是用于加密签名字符串和服务器端验证签名字符串的密钥。
max_buffer_items
int
否
4000
日志上传按照批次上传。该参数控制每一批次最多可以有多少条日志。
max_buffer_bytes
int
否
2097152
日志上传按照批次上传。该参数控制每一批次的日志总大小最多为多少。单位为Bytes。
max_buffer_seconds
int
否
3
日志上传按照批次上传。 该参数控制每一批次从创建到可发送的最大逗留时间。
total_size_in_bytes
int
否
104857600
实例能缓存的日志大小上限。 单位为Bytes。
max_send_retry
int
否
10
日志上传失败时， 最大重试次数。 
send_retry_interval
int
否
200
日志上传失败时，下一次重试的时间间隔。
to_json
boolean
否
true
是否对采集的日志进行 Json 解析。
time_key
string
否
@timestamp
日志时间戳的来源字段 key 名。
通过 Kafka Output 插件上传
请参见 Kafka 协议上传 Logstash 配置。
﻿

参数名	类型	是否必填	默认值	描述
endpoint	string	是	-	目标上传的日志主题所在地域的域名。请参见可用地域。示例：广州内网域名：ap-guangzhou.cls.tencentyun.com 广州公网域名：ap-guangzhou.cls.tencentcs.com
topic_id	string	是	-	目标上传的日志主题 ID。
source	string	否	本地网卡 IP	日志的来源 IP。
access_key_id	string	是	-	云 API 密钥的一部分，SecretId 用于标识 API 调用者身份。
access_key_secret	string	是	-	云 API 密钥的一部分，SecretKey 是用于加密签名字符串和服务器端验证签名字符串的密钥。
max_buffer_items	int	否	4000	日志上传按照批次上传。该参数控制每一批次最多可以有多少条日志。
max_buffer_bytes	int	否	2097152	日志上传按照批次上传。该参数控制每一批次的日志总大小最多为多少。单位为Bytes。
max_buffer_seconds	int	否	3	日志上传按照批次上传。该参数控制每一批次从创建到可发送的最大逗留时间。
total_size_in_bytes	int	否	104857600	实例能缓存的日志大小上限。单位为Bytes。
max_send_retry	int	否	10	日志上传失败时，最大重试次数。
send_retry_interval	int	否	200	日志上传失败时，下一次重试的时间间隔。
to_json	boolean	否	true	是否对采集的日志进行 Json 解析。
time_key	string	否	@timestamp	日志时间戳的来源字段 key 名。

Logstash 日志上传

本页目录：

概述

通过 CLS Output 插件上传

参数描述

通过 Kafka Output 插件上传