Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >KafkaIO检查站-如何向Kafka提交抵消

我正在使用GoogleDataflow中的BeamKafkaIO源运行一个作业,并且无法找到一种简单的方法来在作业重新启动期间持久化偏移(作业更新选项是不够的,我需要重新启动作业)

比较BEAM的KafkaIO与PubSubIO(或者准确地比较PubsubCheckpoint与KafkaCheckpointMark),我可以看到在KafkaIO中没有实现检查点持久性(KafkaCheckpointMark.finalizeCheckpoint方法是空的),而它是在PubsubCheckpoint中实现的。

这是否意味着我没有办法可靠地管理卡夫卡在工作中的抵消,用最少的努力重新启动?

到目前为止,我考虑的备选方案如下:

  1. 实现我自己的持久化偏移的逻辑-听起来很复杂,我在Scala中使用了BEAMBERSAO。
  2. 除了这会导致许多重复的工作重新启动(主题有30天的保留期),什么也不做。
  3. 启用自动提交,但这会导致消息丢失,甚至更糟。

回答 2

gather nut

发布于 2015-09-11 03:58:27

别个分析是

libcurl4-gnutls-dev的包没安装上造成的

但是我本地无法手动 apt-get 安装这个包哇?

apt-get install libkrb5-dev libcurl4-gnutls-dev

814487939

发布于 2015-09-11 06:04:45

题主,这个应该是这里的错误,configure: error: Please reinstall the libcurl distribution -

easy.h should be in <curl-dir>/include/curl/。

和开发者交流更多问题细节吧,去 写回答
相关文章
腾讯云CentOS7安装LNMP+wordpress
许多云主机都有学生优惠,于是我趁着现在大一买了个腾讯1元云主机+免费cn域名(高中生的话就别想了)。鉴于我只知道用服务器安装博客,别的用途不了解,所以我就去安装wordpress。
饶文津
2020/06/02
2.9K0
LNMP之Php的安装配置
此配置的编译参数是: ./configure --prefix=/opt/php7.2.3 --with-openssl --with-zlib --with-curl --enable-ftp --with-gd --with-jpeg-dir --with-png-dir --with-freetype-dir --enable-mbstring --with-libxml-dir --enable-soap --enable-sockets --with-xmlrpc --with-iconv-dir
用户1173509
2018/03/28
2K0
LNMP之Php的安装配置
【腾讯云的1001种玩法】新手教程:腾讯云CentOS7安装LNMP+wordpress
饶文津
2017/04/13
3.4K0
LNMP架构介绍、安装PHP(php-fpm)
CGI全称是“公共网关接口”(Common Gateway Interface),HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具,其程序须运行在网络服务器上。 CGI可以用任何一种语言编写,只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。
阿dai学长
2019/04/03
2K0
部署LNMP架构之安装PHP
一、什么是PHP PHP即“超文本预处理器”,是一种通用开源脚本语言。PHP是在服务器端执行的脚本语言,与C语言类似,是常用的网站编程语言。PHP独特的语法混合了C、Java、Perl以及 PHP 自创的语法。利于学习,使用广泛,主要适用于Web开发领域。
星哥玩云
2022/08/08
5040
部署LNMP架构之安装PHP
腾讯云cos php sdk 安装步骤
参考文档:https://cloud.tencent.com/document/product/436/12266
xunzhou
2021/01/20
8.8K0
LNMP架构介绍,MySQL安装, PHP安装,Nginx介绍
LNMP架构介绍: MySQL安装: cd /usr/local/src wget http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.35-linux
叶瑾
2018/06/14
1.2K0
小白如何从零开始安装Discuz! Q内测版
首先强调一点:当前Discuz! Q还是很早期的版本,主要是面向开发者,让开发者提前介入模板和插件的开发。或者有经验的站长,作为早期体验和选型。 但如果是不很懂技术的小白,也想体验的话,可以按照下面的方法来安装。并且保证是全新的服务器。如果这些条件都不具备,或者用了宝塔面板之类的第三方工具,不建议安装使用。 因为,当前官方开发人员的主要精力,集中在开发迭代新功能上,并没有太多精力来帮助没经验的用户安装使用。 安装Discuz! Q内测版,首先你要具备以下条件 一个腾讯云实名认证过的账号,并且使用了DNS
腾讯云DNSPod团队
2020/06/22
1.6K0
宝塔面板或者LNMP下安装php的mongodb扩展
ext 1.8 + lib 1.7 不支持php5.6 MongoDB 4.2支持ext 1.8 + lib 1.5+ 支持php5.6 具体支持列表:https://docs.mongodb.com/drivers/php#compatibility https://docs.mongodb.com/php-library/master/tutorial/install-php-library/
小沨
2020/10/23
1.6K0
lnmp安装多个php版本后如何更改环境变量的php
用了lnmp一键安装包,发现自己越来越长见识啦,我的虚拟机中同时安装了两个版本的PHP,我每次php -v 时都是一个低版本的php,后来想直接用高版本了,就想着配置一下环境变量就搞定了,于是就安装环境变量的折腾,最后发现无论怎么调整都没办法更改过来,查看了lnmp的论坛才知道,只需要建一个软连接即可。
PHP学习网
2022/08/03
2.6K0
腾讯云极速配置 NodeJS + LNMP 运行环境
金朝麟
2017/02/15
7.2K0
腾讯云极速配置 NodeJS + LNMP 运行环境
腾讯云服务器上部署LNMP环境
最近在学Laravel,同参考文章,本来只是在虚拟机上运行,但现在正好因为手上有腾讯云服务器,所以就直接拿来部署Laravel。
用户6468650
2019/10/28
6.1K0
LNMP一键安装包下腾讯云“动态加速”服务的正确使用姿势
许多站长是使用 LNMP 一键安装包来搭建在云主机的上的系统环境,本人的个人小站也是如此。最近在使用腾讯云的动态加速服务,而在这个 LNMP 环境下使用踩了点坑。所以在这里本文做记录下。
Jeff
2018/07/19
2.2K0
LNMP一键安装包下腾讯云“动态加速”服务的正确使用姿势
腾讯云 CDN 和 lnmp1.4 环境安装 Let’s Encrypt 免费证书教程
魏艾斯博客目前放在腾讯云服务器上,最近看到很多人都在使用 https,于是就拿自己博客试验一下在腾讯云 CDN 和 lnmp1.4 环境下添加 SSL 的过程,注意:这里仅仅是试验一下,为了给有类似环境的朋友提供一个参考,也给自己记录一下备用。 腾讯云服务器介绍:点我打开 一、添加 SSL 1、打开 xshell,输入命令: lnmp ssl add 然后按照提示输入域名,网站路径,rewrite 规则,是否需要网站日志,然后来到关键步骤:选择 2 是添加Let’s Encrypt 免费证书,接着输入邮箱,
魏艾斯博客www.vpsss.net
2018/06/01
1.6K0
openrasp-iast 灰盒扫描工具
openrasp-iast 是一款灰盒扫描工具,能够结合应用内部hook点信息精确的检测漏洞,需安装Agent和扫描器,支持java、PHP等应用程序。
Bypass
2021/09/10
8980
openrasp-iast 灰盒扫描工具
腾讯云极速配置NodeJS+LNMP运行环境
腾讯云服务器地址因为NodeJS异步、非阻塞的特性,所以多核CPU对NodeJS算比较浪费吧,所以主要提高内存的大小,所以选了腾讯云1核、2G 内存的服务器。
用户6248011
2019/10/26
2.9K0
CentOS7 安装LNMP(Linux+Nginx+MySQL+PHP)
由于工作需要,需要学习PHP,本来想安装LAMP的,但是考虑到现在Nginx服务器有良好的性能且应用广泛。这里我决定搭建Linux(CentOS7+Nginx+MySQL+PHP)下的web服务器。
botkenni
2022/01/10
1.1K0
CentOS7 安装LNMP(Linux+Nginx+MySQL+PHP)
LNMP架构应用实战——PHP扩展及缓存插件安装
imagick扩展模块依赖于ImageMagick这个软件,因此需要下载两个软件,先安装ImageMagick这个软件,后装imagick扩展模块
民工哥
2020/09/16
1K0
Elementary OS安装PHP测试环境 lnmp一键安装包
作者:matrix 被围观: 3,739 次 发布时间:2016-12-30 分类:零零星星 | 无评论 »
HHTjim 部落格
2022/09/26
1.7K0
Elementary OS安装PHP测试环境 lnmp一键安装包
点击加载更多

相似问题

腾讯云服务器安装lnmp失败啊,求解?

21.5K

腾讯云部署f-stack不成功?

0453

php的composer安装腾讯云人脸识别库报错?

0435

腾讯云怎么安装directadmin?

3570

腾讯云PHP部署后台?

6929
相关问答用户
到家集团 | 技术VP擅长5个领域
某公司 | 程序员擅长1个领域
新浪微博 | 高级总监擅长4个领域
腾讯云TDP | 先锋会员擅长2个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档