在本实验中,我们将会使用腾讯云的消息队列CKafka、无服务器云函数SCF和对象存储COS,实现一个异常日志检测及记录系统。当业务系统中的应用功能程序生成日志后,会把日志信息通过消息实时传输到CKafka服务端。通过配置异常日志检测SCF的触发规则,一旦日志消息投递成功即可触发异常日志监测SCF的逻辑。异常日志监测SCF会监测接收到的日志消息是否含有异常关键字,然后把异常信息归档后投递到COS并发送邮件到指定的邮箱,从而实现无服务器函数发送邮件的目的。
10月动态 消息队列 RocketMQ 版 【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造,兼容社区SDK,具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨,已经在多个外部客户落地,涉及教育、出行、游戏等多个行业。 购买指南: https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询,在消息查询页面,用户可以根据专享集群的 gr
CKafka 高级版正式上线,在兼容原生 Kafka 2.x 等高版本的同时,提供 20MB/s 的带宽调整步长,可以根据业务需求灵活的扩容。支持跨 AZ 部署,支持 ACL 访问控制。原 CKafka 标准版将停止新购,存量集群实例管控功能,如升配、续费等,均不受影响。推荐您使用 CKafka 高级版产品形态,未来还将继续基于高级版迭代新特性上线。
自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。
导语 | 3月21日,腾讯云TVP团队倾力打造的「TVP吐槽大会」第四季——腾讯云中间件专场落下帷幕,微服务和消息队列领域的资深TVP们在深度体验腾讯云中间件产品之后,提出直击痛点建议的同时也充分肯定了腾讯云中间件产品的实力与价值。
导读:目前国内公有云上的kafka产品都是基于开源kafka产品二次封装改造的,基本上开源kafka的配置参数都能应用在云上kafka产品里。本文以腾讯云的ckafka产品为例,分别介绍了几个应用场景,每个点都有详细的配置干货。通过这些设置和正确的使用姿势,我们来很好的保证关联业务的稳定性和可靠性。
目前随着技术架构不断演进,特别是微服务分布式技术兴起,很多大型网站逐步采用分布式的消息队列,用于面对流量高峰和异步处理,基于云上的消息队列逐步成为主流,接下来给大家一起介绍下腾讯云消息队列Ckafka及新推出的TDMQ相关产品特性、使用场景,以及系统对接,帮助大家更好做好技术选型。
作者:朱丹阳,腾讯云监控开发工程师 腾讯云消息队列 CKafka 简介 消息队列 CKafka(Cloud Kafka)是基于开源 Apache Kafka 消息队列引擎,提供高吞吐性能、高可扩展性的消息队列服务。消息队列 CKafka 完美兼容 Apache Kafka 0.9、0.10、1.1、2.4 版本接口,在性能、扩展性、业务安全保障、运维等方面具有超强优势,让您在享受低成本、超强功能的同时,免除繁琐运维工作。 产品特点: 收发解耦:有效解耦生产者、消费者之间的关系。在确保同样的接口约束的前提
导语:本文介绍了腾讯云消息队列 CKafka 监控的最佳实践指南,帮助开发者免除繁琐的运维工作,并快速发现问题,提高工作效率。
腾讯云消息队列 CKafka,分布式、高吞吐量、高可扩展性的消息服务,100%兼容开源 Apache Kafka 0.9 0.10
前言 随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案 使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数,为开发者提供的存储数据应用解决方案。开发者只需要在 COS 控制台一键配置,即可使
科技是推动社会发展的重要动力,技术是推动行业发展的重要支撑力量。为便于读者了解腾讯云中间件产品的最新动态,腾讯云中间件推出产品月报专栏,每月一期。本月的三项动态如下:
随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。
关注腾讯云大学,了解最新行业技术动态 戳【阅读原文】查看55个腾讯云产品全集 课程概述 消息队列 CKafka(Cloud Kafka)是一个分布式、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API(0.9、0.10版本)。CKafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。CKafka 具有数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合等场景。 【课程目标】 了解腾讯云消息队列 CKafka 的特性 了解腾讯云消息队
随着 IT 技术与大数据的不断发展,越来越多的企业开始意识到数据的价值,通过大数据分析,可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用,成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓,将多个数据源通过数据集成技术,汇集一起进行数据分析。由此,数据集成成为了构建数据湖仓的必经之路,然而企业在数据集成过程中却面临很多棘手问题。
CKafka荣获最高级认证 今天,由中国信通院和混沌工程实验室联合举办的混沌工程技术沙龙--金融行业精品专场在北京召开。本次技术沙龙上发布了金融级产品稳定性测评成果,在分布式系统稳定性评估体系的获奖名单中,腾讯云消息队列CKafka通过首批消息队列服务稳定性认证,荣获最高级别“先进级”认证,这项认证肯定了CKafka在数据安全性、系统稳定性上的产品能力和技术实力。 根据混沌测试报告显示,CKafka已通过单项故障注入测试(服务器宕机、服务发现故障、服务暂停、网络故障、CPU负载高、内存负载高)和综
现如今,Kafka 作为一个高性能、高可靠性、分布式的消息队列系统,广泛地被应用于大规模互联网服务中,如 Tencent、Facebook、LinkedIn、Netflix、Airbnb 等知名公司。然而,在大规模的分布式系统中,服务的不可预测性、复杂性和耦合性经常会导致一些不可预测的故障事件。当Kafka Broker节点宕机时,可能会出现以下故障:
导语:上一章我们聊到了:什么是消息队列,为什么要用消息队列,有那些消息队列?下来我们聊聊什么样的消息队列适合我们公司。
控制台链接:https://console.tencentcloud.com/trocketmq
1. 腾讯微服务平台TSF:提供服务双注册发现能力;提供容器部署前的健康检查功能;多系统可使用同一个TraceID。
腾讯云中间件 - 微服务团队产品2021年6月简报: 微服务平台 TSF 服务监控模块优化,新增微服务网关可扩展性;解决日志模块大索引与索引过多导致日志检索慢、超时问题。 消息队列 CKafka 支持partition级别的监控;七月发布预览。 消息队列 TDMQ 支持AMQP协议兼容;升级大规模延时消息架构;支持全资源级别的CAM鉴权。 微服务引擎 TSE 子账号授权流程优化,默认多可用区部署,默认数据持久化;公网开通,后台监控运维系统发布。 弹性微服务TEM 扩展各种场景下的部署管理能力;支持
一、云函数 SCF + Ckafka 联合转储方案正式发布 发布时间: 2020-08-06 产品背景: SCF + Ckafka 联合转储方案可以帮忙用户节省使用与开发成本,用户可以将 Ckafka 消息转储同步转储至消息队列 Ckafka,用于 Ckafka 集群间的数据同步。 产品功能 高度可定制化支持自定义换行符、数据筛选等,帮助开发者快速实现 Ckafka 各种的场景转储服务。 转储消息队列 Ckafka 的方案将使用云函数 SCF 的 Ckafka 触发器进行,通过 Ckafka 触发器将消息
https://cloud.tencent.com/act/pro/618season?from=20877 或者 https://cloud.tencent.com/act/pro/developer_business-scenario?from=18122&from=20878
ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别
基础网络是腾讯云上所有用户的公共网络资源池,所有云服务器的内网 IP 地址都由腾讯云统一分配,无法自定义网段划分、IP 地址。随着用户规模和更多复杂业务的扩增,基础网络已经不能满足业务需求,因此在基础网络上演进出具备自主可控、安全性更高的私有网络(VPC)。
1. 腾讯微服务平台TSF:支持虚拟机部署应用的健康检查和滚动发布;支持Go语言治理框架,通过mesh的方式支持Dubbo协议和Dubbo应用的服务治理能力。
导语 随着大数据时代的到来,各大互联网公司对于数据的重视程度前所未有,各种业务对数据的依赖也越来越重。有一种观点认为大数据存在 “3V” 特性:Volume, Velocity, Variety。这三个 “V” 表明大数据的三方面特征:量大,实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源,海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。 我们想要在数据上创造价值,首先要解决数据获取的问题。因为在互联网发展中,企业内或不同企业之间建立了各种不同的业务系统,这些
“智变加速,产业焕新”,2023腾讯全球数字生态大会已于9月7-8日完美落幕,40+专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。
长城汽车是一家全球化智能科技公司,业务包括汽车及零部件设计、研发、生产、销售和服务,旗下拥有哈弗、魏牌、欧拉、坦克及长城皮卡。2022年,长城汽车全年销售1,067,523辆,连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务,加速向全球化智能科技公司进阶,智能化车型渗透率达86.17%,车联网作为智能化两大应用方向之一,在这个过程中快速发展。
腾讯云中间件 - 微服务团队产品2021年11月简报: API网关:支持参数流控插件、支持自定义响应体插件;支持直通TKE Pod,可通过API网关享受认证鉴权、流量控制、灰度分流等能力。 微服务引擎 TSE 注册配置中心 :Nacos组件实现客户端与控制台访问内网方式与外网方式解耦,用户自主通过开关控制。 微服务引擎 TSE 服务治理中心:PolarisMesh(北极星)治理中心支持多语言服务注册与发现、支持K8s service注册至PolarisMesh(北极星),同时增强了可观测性能力。
长城汽车是一家全球化智能科技公司,业务包括汽车及零部件设计、研发、生产、销售和服务,旗下拥有魏牌、哈弗、坦克、欧拉及长城皮卡。2022年,长城汽车全年销售1,067,523辆,连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务,加速向全球化智能科技公司进阶,智能化车型渗透率达86.17%,车联网作为智能化两大应用方向之一,在这个过程中快速发展。
导语:前面我们介绍了消息队列也比较了各种消息队列,接下来创建一个CKafka来测试一下。
导语 | 本文描述了如何在腾讯云上使用云化后大数据组件来完成实时分析系统的设计和实现,阅读过程中通过对比云Ckafka、Flink和MySQL等组件的使用差异来体现云化方案的优势。文中以视频直播礼物打赏的场景为例,展示全/半托管服务下开发的便利,便于读者对视频直播系统的设计有一个初步了解。 一、解决方案描述 (一)概述 本方案结合腾讯云CKafka、流计算Oceanus、私有网络VPC、商业智能分析BI等,对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、
11月动态 消息队列 RocketMQ 版 【新功能】支持调整节点规格和存储规格,如当前的集群规格不满足您的业务需求,可以在控制台上提升节点规格、节点数量和存储规格。 【新功能】支持公网带宽:专享集群已开启公网带宽计费,开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费,建议在测试、调试等不影响生产环境的场景下使用公网。 【新功能】支持在控制台快速发送测试消息,方便测试和调试。 【新功能】查看消息增加消费状态说明:查询消息时,在消息详情页面可以查看消息消费状态,并且支持重新发送消息和查看异常诊
腾讯云中间件 - 微服务团队产品2021年3月简报: 弹性微服务 TEM 新品发布 腾讯微服务平台 TSF 支持原生应用无侵入接入;虚拟机部署应用支持存活检查、支持在控制台配置 start 和 stop 脚本;Mesh 应用支持控制台配置服务注册信息;新增 SideCar 运行状态监控;新增资源标签化管理功能 消息队列 CKafka 支持设置消息动态保留策略;支持删除消费分组;支持定时升配功能;更多 bug 修复和体验优化 腾讯微服务观测台 TSW 新增依赖拓扑图按分层展示功能;新增数据跨地域上报
作者:spiderwu,腾讯 CSIG 高级工程师 本文描述了如何在腾讯云上使用云化后大数据组件来完成实时分析系统的设计和实现,阅读过程中通过对比云 Ckafka、Flink 和 MySQL 等组件的使用差异来体现云化方案的优势。文中以视频直播礼物打赏的场景为例,展示全/半托管服务下开发的便利,便于读者对视频直播系统的设计有一个初步的了解。 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析 BI 等,对视频直播行业数字化运营进行实时可视
大家好,自我介绍一下,目前我是腾讯云无服务器云函数产品负责人。我做了很多年后端开发。今天是从一个程序员角度讲解一下我们怎么样用Serverless架构。
通过本文你可以了解到:第一,Serverless架构介绍;第二,对云函数产品介绍;第三,Serverless使用场景。
腾讯云中间件 - 微服务团队产品2021年5月简报: 微服务平台 TSF 优优化用户体验:提供新手入门教程、新功能弹窗提醒、创建应用流程优化;支持全链路灰度发布的泳道中部署组的监控能力。优化监控能力,新增服务监控同环比;优化服务拓扑图,强化TSF监控能力。 消息队列 TDMQ 贡献开源代码,对外开源Pulsar RoP 组件,支持开源RocketMQ客户端接入Pulsar;集群版本更新至开源Pulsar 2.7.1,支持Pulsar 2.7.1诸多新特性,并简化接入方式;新版集群去除listene
腾讯云中间件 全面覆盖分布式微服务、分布式消息、消息队列等热点技术。提供企业技术中台解决方案。 随着近十年互联网蓬勃发展,需求正进行爆炸式的增长并进入超快速迭代阶段,传统行业为适应大的趋势,需要在此场景下敏捷改造自身业务为快速迭代提供支撑,实现快速根据业务变化情况统筹底层资源。时至今日,K8s、DevOps、微服务铁三角初具雏形,企业要想实现长远目标,打造良好完善的IT体系规划,就需要不断参考云原生的理念去实践。立足当下,放眼未来,腾讯云原生三驾马车已扬帆起航,腾讯云中间件团队历尽多年打磨,成功助
作者:spiderwu,腾讯 CSIG 高级工程师 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析 BI 等,对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、各模块打赏礼物情况、在线人数等。 视频直播场景 1.2 方案架构及优势 根据以上视频直播场景,设计了如下架构图: 架构图 涉及产品列表: 流计算 Oceanus 私有网络 VPC 消息队列 CKafka 云数据库 My
腾讯云中间件 - 微服务团队产品2021年10月简报: API网关:正式发布云原生网关 ,完美兼容开源 Kong 网关,为您幅度降低网关建设成本;支持条件路由插件,支持自定义认证/请求体插件。 微服务引擎 TSE :发布子产品服务注册中心、配置中心、治理中心。支持一键创建、免运维、高可用、开源增强的组件托管服务。 消息队列 TDMQ: 支持开源RabbitMQ备用交换机能力;支持客户端代码声明功能,原Spring内置客户端使用MQ的客户可以无缝迁移至TDMQ; 支持独占消费、支持集群维度的数据统计
本文整理自董文强在Techo开发者大会「Serverless Summit」专场的演讲,感兴趣的读者可以扫码关注文末ServerlessCloudNative公众号,回复PDF,下载讲师演讲完整PDF。 为什么要采用云函数? 云函数SCF是腾讯云为企业和开发者们提供的无服务器执行环境,能够在无需购买和管理服务器的情况下运行代码。 最初,公司的需求是在确保性能的前提下,实现又省事、又省钱。采用云函数,用户不需要关注服务器、不用运维,非常省事。同时,云函数采用按需计费,用多少花多少,省钱。开发者只需要管理
https://cloud.tencent.com/document/product/1493/105501
流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。
腾讯云中间件 - 微服务团队产品2021年4月简报: 微服务观测平台 TSW 正式公测 微服务引擎 TSE 支持Zookeeper、Eureka注册中心托管与集群创建、删除、升级、信息展示;支持Consul、Zookeeper、Eureka注册中心基础业务指标监控;支持Consul、Zookeeper注册中心数据持久化能力;支持注册中心服务管理可视化;香港开区;优化用户体验 微服务平台 TSF 微服务网关升级;支持查看容器集群创建和部署组发布事件;TSF程序包上传流程优化;Java启动参数支持配置
本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析BI等,对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、各模块打赏礼物情况、在线人数等。
作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。 本文将会介绍如何使用 Flink 实现常见的 TopN 统计需求。首先使用 Python 脚本模拟生成商品购买数据(每秒钟发送一条)并发送到 CKafka,随后
导语 消息队列 RocketMQ 版(TDMQ for RocketMQ,简称 TDMQ RocketMQ 版)在今日正式公测!TDMQ RocketMQ 是TDMQ系列产品中的一款分布式高可用的消息队列服务,兼容 Apache RocketMQ 的各个组件与概念,RocketMQ 4.6及以上版本的客户端几乎零改造接入。欢迎大家扫描文末二维码使用体验! TDMQ RocketMQ 版的背景 RocketMQ作为典型的业务处理消息队列,主要用于处理订单,支付,积分等业务类型,对信息交换的准确性有极高的要求
领取专属 10元无门槛券
手把手带您无忧上云