腾讯云 Logstash(简称 Logstash)是基于 开源数据收集引擎 Logstash 构建的云端托管服务,它是一个服务器端的数据处理管道,支持动态的从不同来源采集和转换数据,并将数据标准化到目标位置。Logstash 常和 Elasticsearch 配合,通过输入、过滤和输出插件,加工和转换任何类型的事件,将数据加载到 Elasticsearch。
Logstash 的工作方式
数据输入:支持多样的数据来源,通过输入插件方便的采集日志、指标、Web 应用、数据库、消息队列、传感器等来源数据。
数据过滤:通过过滤插件清理和转换数据,如将非结构化数据解析导出结构、解析 IP 地址、标准化日期、通过编解码器简化常见格式等。
数据输出:通过输出插件将数据传输到需要的地方,例如 Elasticsearch、数据库等,以便对数据做进一步的分析和处理。
特点与优势
易于部署和管理,简化运维操作。
支持弹性扩展节点数量。
集成官方所有 Input、Output、Filter 插件。
支持 CKafka、MySQL、PostgreSQL、COS 等腾讯云产品的输入或输出插件。