如何在达到特定大小(128Mb)时将Kafka消息提交到HDFS接收器
在达到特定大小（128Mb）时将Kafka消息提交到HDFS接收器，可以通过以下步骤实现：
- 首先，确保你已经安装并配置好了Kafka和HDFS。Kafka是一个分布式流处理平台，而HDFS是Hadoop分布式文件系统。
- 创建一个Kafka消费者，用于从Kafka主题中读取消息。你可以使用Kafka提供的Java API或其他编程语言的相应API来实现。
- 在消费者中设置一个缓冲区，用于存储接收到的消息。当缓冲区的大小达到特定值（128Mb）时，触发提交操作。
- 在提交操作中，将缓冲区中的消息写入HDFS。你可以使用Hadoop提供的Java API或其他编程语言的相应API来实现。
- 在写入HDFS之后，清空缓冲区，以便接收新的消息。
这样，当消费者接收到的消息达到特定大小时，就会将消息提交到HDFS接收器。
Kafka是一个高吞吐量的分布式发布订阅消息系统，适用于实时流数据处理。HDFS是Hadoop生态系统的一部分，用于存储大规模数据集。通过将Kafka消息提交到HDFS接收器，可以实现数据的持久化存储和后续的批量处理。
腾讯云提供了一系列与云计算相关的产品，包括消息队列 CKafka、对象存储 COS、大数据计算引擎 EMR 等。你可以根据具体需求选择适合的产品来实现上述功能。以下是相关产品的介绍链接：
- 腾讯云消息队列 CKafka：https://cloud.tencent.com/product/ckafka
- 腾讯云对象存储 COS：https://cloud.tencent.com/product/cos
- 腾讯云大数据计算引擎 EMR：https://cloud.tencent.com/product/emr
请注意，以上答案仅供参考，具体实现方式可能因环境和需求而异。
相关·内容
我的配置: Confluent (5.0.0) Kafka生成一些avro消息。Connect worker (HDFS连接器接收器)以Parquet格式将这些消息流式传输到HDFS节点。我将connect worker配置为每5000条消息向HDFS提交一次消息(flush.size=5000)。此配置运行良好。我的问题是:有没有办法在达到128Mb(或256M
浏览 7提问于2019-04-23得票数 2
回答已采纳
我试图使用Kafka Sink连接器将批处理的数据发送到NOSQL数据库。我正在跟踪文档，并对在何处实现发送记录的逻辑感到困惑。请帮助我理解如何在内部处理这些记录，以及在批处理中必须使用什么Put()或Flush()来处理记录。
浏览 5提问于2017-07-02得票数 8
回答已采纳
我刚刚做了一个新的主题，还没有产生任何消息。在目录/tmp/kafka-logs-1/topicname-0/中创建了一个名为00000000000000000000.index的文件，该文件的大小非常大。
浏览 5提问于2013-10-16得票数 18
回答已采纳
2回答
但它激起了我的兴趣:像Kafka或Kinesis这样的“流中间件”是否可以像传统的消息代理那样用于非流数据？反之亦然:传统的MQs (如RabbitMQ、ActiveMQ、阿波罗等)是否可以用于流数据？让我们举一个例子，其中应用程序将发送需要处理的JSON消息的后端常量，并且处理相当复杂(验证、数据转换、过滤、聚合等)：
案例1:消息是电影的每个帧；也就是说，每个视频帧包含帧数据和一些支持元数据的JSON也许审计/安全事件会在数百名用户导航应用程序、单击按钮并采取行动时
浏览 0提问于2017-06-07得票数 17
回答已采纳
在完成特定事件(由http请求触发)后，将创建一个新线程(通过Spring @异步)，该线程调用kafkatemplate.send()，并对它返回的ListenableFuture进行回调。正常行为:在正常应用程序负载下，我已经验证各个消息都按需要发布到主题中(在回调成功或失败时，应用程序日志条目以及在kafka集群上查看主题中的消息)。如果我打倒所有kafka经纪人3-5分钟，然后将集群恢复在线，应用程序的发行者立即重新建立与kafka</
浏览 1提问于2019-10-03得票数 1
回答已采纳
Kafka是一个分布式流媒体平台，使公司能够创建实时数据源。Uber，Twitter，Airbnb，Yelp以及今天财富500强公司中超过30％的公司都在使用它。例如，通过集成各种数据，如喜欢，页面点击，搜索，订单，购物车和库存，Kafka可以帮助实时将数据提供给预测分析引擎，以分析客户行为。那么 Kafka有哪些好处，您的公司为什么要采用它，以及您的IT团队成功实施它需要哪些技能？
浏览 7127提问于2018-09-14
3回答
如果我们可以在Hadoop中更改数据块大小，请告诉我如何做到这一点。更改数据块大小是否有利?如果是，请让我知道更改的原因和方式。如果没有，那么让我知道为什么和如何？
浏览 0提问于2015-12-23得票数 2
3回答
我脑海中有很多问题:(我想创建一个Kafka集群，并开发一些代码来准备数据工程面试。但是我被困住了。任何帮助都将不胜感激。我将尝试在一个例子场景中解释我的问题。首先，竞选自动化系统向目标客户发送个性化的竞选邮件。当用户单击广告电子邮件中的链接时，浏览器将打开电子商务网站。
在此背景下，网站开发人员应向Kafka</em
浏览 0提问于2019-08-14得票数 1
我正在开发一个分布在两个JBoss实例上并在多个JMS队列上生成/使用JMS消息的应用程序。
当我们配置应用程序时，我们必须确定我们将使用哪个线程模型，特别是每个队列产生和使用线程的数量。是否有任何方法/工具来度量JMS (特别是JBoss消息队列)的吞吐量，作为生成/消费线程数量的函数？
浏览 2提问于2009-01-06得票数 2
1回答
我正在连续地接收udp多播分组流，顺序编号为1到大约35,000,000在6小时内均匀发送。我需要确保在每到256个数据包之后，在N组数据包被周期性地处理之前，接收到所有的数据包，比如N。因此发件人将只通过TCP重新发送接收方通过TCP具体请求的数据包号。这就是UDP可靠性是如何通过接收机来实现的。
浏览 0提问于2019-07-18得票数 1
6回答
我们面临的问题是，当吞吐量增加时，数据包会被丢弃。我们怀疑这是由于UDP接收缓冲区不断被轮询，导致缓冲区被阻塞并丢弃任何传入的数据包。是否有可能读取此缓冲区会导致传入数据包被丢弃？
浏览 2提问于2009-10-02得票数 10
3回答
它一直处于闲置状态(0 FPS)，直到在视口中发生一些动作，例如使用鼠标将摄像机从一边移动到另一边，或者按下动画播放。如果视口是空闲的，CPU / GPU上就没有排水量。
浏览 0提问于2012-12-25得票数 1
回答已采纳
William指出，“通常计数器被初始化为某个值，然后对每个后续块增加1(模2^b，其中b是块大小)”。这句话到底是什么意思？
浏览 0提问于2021-11-29得票数 2
8回答
所有的mallocing都是在启动时发生的，而所有的freeing都发生在应用程序的末尾(在实践中从来没有这样做，因为应用程序的主要部分是在一个无限循环中)。所以我确信碎裂不是问题所在。
浏览 5提问于2009-06-06得票数 24
回答已采纳
25回答
update在我的虚拟机上： PHP致命错误:在第179行的phar:///bin/composer.phar/src/Composer/Util/RemoteFilesystem.php中，允许的内存大小为
浏览 368提问于2015-10-23得票数 68
回答已采纳
20回答
在提交代码时，我可以看到添加相当冗长的消息的好处，但是还有其他的事情我应该记住吗？
感谢所有伟大的答案--他们帮了很多忙。
浏览 10提问于2009-01-06得票数 99
33回答
使JSON Web令牌无效
、、、、
对于我正在进行的一个新的node.js项目，我正在考虑使用JSON令牌从基于cookie的会话方法(我的意思是将id存储到包含用户会话的键值存储)切换到基于令牌的会话方法(没有键值存储)。该项目是一个利用socket.io的游戏，在这样的情况下，在单个会话中将有多个通信通道(web和socket.io)，使用基于令牌的会话将非常有用。
如何使用jwt方法从服务器提供令牌/会话无效？似乎这种机制在基于令牌的方法中是不存在的，因为令牌本身将包含通常存在于键值存储中的信息。
浏览 35提问于2014-02-24得票数 596
回答已采纳
21回答
是否有一行宏定义来确定机器的字节顺序。我正在使用下面的代码，但是将它转换成宏太长了。{ unsigned char *test_endian = (unsigned char*)&test_var;
}
浏览 3提问于2010-01-20得票数 114
回答已采纳
维基百科：
在任何特定时间，客户端可以在应用程序状态之间进行转换，也可以“处于静止状态”。我知道REST的一个目标是使URI访问保持一致和可用，例如，不要在帖子中隐藏分页请求，而是将请求的页码作为get URI的一部分。对我来说很有意义。如果我有一个消息队列，而我的用户想要读取这些消息，但是当他读取消息时，他想阻止某些发送者在他的会话期间通过的消息？如果将其存储在服务器端的某个位置，并且服务器只发送未被用户阻止的消息(或消息ID)，
浏览 36提问于2010-06-23得票数 613
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
