2022年3月10日,云头条发布《二次废标(海信网络 2.1 亿、联通数字 1.4 亿):第三次 1 亿元(莱斯信息)中标》的项目情况,此项目为「标段二」。「标段一」更加精彩。...「标段一」先后招标 3 次,1 次流标、两次废标。目前正在第四次招标。...流标公示 2020年12月21日发布流标公示,本项目流标,将重新招标。...经评标委员会评审后否决所有投标,无有效投标人,本次项目流标。 (第三次)招标公告 2021年9月29日发布招标公告。 开标记录 2021年11月5日发布开标记录,详情如下。...流标公示 2022年2月24日发布流标公示,本项目流标,将重新招标。 (第四次)招标公告 2022年2月5日发布招标公告。
前面我们全面介绍了在akka-cluster环境下实现的CQRS写端write-side。简单来说就是把发生事件描述作为对象严格按发生时间顺序写入数据库。...因为业务逻辑中一个动作的发生时间顺序往往会对周围业务数据产生不同的影响,所以现在只能考虑事件源event-sourcing这种模式了。...EventEnvelope是以流元素的形式从数据库中提出。...eventsByPersistenceId(...)启动了一个数据流,然后akka-persistence-query会按refresh-interval时间间隔重复运算这个流stream。...现在每当完成一项业务的所有事件存写后在读端一次性成批把事件读出来然后进行实质的数据操作,应当可取。
所有Lagom API都使用Akka Stream的异步IO功能进行异步流; Java API使用JDK8 CompletionStage进行异步计算。...Source是一种允许异步流式传输和处理消息的Akka流API。 ? 此服务调用具有严格的请求类型和流响应类型。...使用流式传输消息需要使用Akka流。 tick服务调用将返回以指定间隔发送消息的源。 Akka流对这样的流有一个有用的构造函数: ? 前两个参数是发送消息之前的延迟以及它们应该发送的间隔。...响应于发生的事情而不是以特殊方式发布事件,最好从持久性实体获取事件流,并将其适应于发送到消息代理的消息流。这样,您可以确保发布者和消费者至少处理一次事件,这样可以保证整个系统的一致性。...订阅者组允许集群中的许多节点消费消息流,同时确保每个消息只能由集群中的每个节点处理一次。没有用户组,您所有的服务节点将获得流中的每个消息,导致其处理被重复。
高级抽象 消息模式 事件源 带明确确认的邮箱 死信 应该用死信做什么? 如何收到死信?...发送方了解交互是否成功的唯一有意义的方法是接收业务的确认消息,这不是 Akka 可以自己完成的(我们既不编写“按我的意思做”的框架,也不希望我们这样做)。...Akka 持久性模块的“至少一次传递”支持具有业务级确认的ACK-RETRY协议。通过跟踪通过"至少一次传递"发送的消息的标识符,可以检测到重复的消息。...如果组件的状态由于机器故障或被推出缓存而丢失,则可以通过重放事件流(通常使用快照来加快进程)来重建。Akka Persistence 支持「事件源」。...Actor 可以订阅事件流上的类akka.actor.DeadLetter,请参阅「事件流」了解如何执行该操作。然后,订阅的 Actor 将收到(本地)系统中从那时起发布的所有死信。
不过akka-stream实现了reactive-stream的back-pressure规范:数据发送方和接收方之间互动提示,使过快的数据产生能按接收方要求慢下来甚至暂时停下来。...2、scalaz-sstream和akka-stream的数据流都是一种申明式的数据处理流程描述,属于一种运算方案,最终都需要某种运算器来对数据流按运算方案进行具体的运算,得出运算结果和产生副作用。...akka-stream的数据流是由三类基础组件组合而成,不同的组合方式代表不同的数据处理及表达功能。三类组件分别是: 1、Source:数据源。...Source可以从单值、集合、某种Publisher或另一个数据流产生数据流的元素(stream-element),包括: /** * Helper to create [[Source]]...对通过输入端口输入数据流的元素进行转变处理(transform)后经过输出端口输出。FlowShape有一个输入端和一个输出端。 在akka-stream里数据流组件一般被称为数据流图(graph)。
---- Akka概述 Akka 是一个开源的并发、分布式、基于消息驱动的框架,用于构建高可伸缩性、可靠性和并发性强的应用程序。...插件和扩展:Akka 提供了丰富的插件和扩展机制,可以轻松集成其他库和框架,如 Akka HTTP、Akka Streams 等,以构建全栈应用程序。...回弹性设计 遵守“反应式宣言”的原则,Akka让我们编写出可以在出现故障时能够自我修复,并保持响应能力的系统。 高性能 在单台计算机上可以处理高达每秒5000万条消息。...具有群集分片的事件源和CQRS(Command Query Responsibility Segregation,读写责任分离)。...反应流数据 具有回压的异步非阻塞流处理。完全异步和基于流的HTTP服务器和客户端为构建微服务提供了一个很好的平台。
为了维持公司的正常增长和持续发展,Akka 团队在 2022 年还不得不做出一个艰难的决定,将许可证更改为商业源许可证 (BSL),以此获取必要的资金支持。...简言之,该平台相当于 Langchain 的 Java 应用替代方案;Akka 类似于瑞士军刀,支持高容量代理式 AI 工作流的自动化。...Memory,用于“持久化、内存内及分片数据”; Akka Streaming,用于流处理等。...“我们坚信,Agentic AI 将成为第五次计算浪潮。这是一个你无法忽视的巨大趋势。”Akka 高级总监 Duncan DeVore 如此断言。 回顾历史,第一次计算浪潮是大型机。...因此在 2022 年,CTO 兼创始人 Bonér 被迫在 Akka v2.7 中将 Apache 2.0 许可更换成了限制性更强的 BSL v1.1(商业源代码许可证),并开始按核心收费。
再就是journal表里记录的事件是严格按发生时间顺序的,所以在重新运算更新状态时发生冲突机会甚微,而且一旦真的发生异常还可以再重新演算journal里的记录恢复正确的状态。...persistenceQuery则是一套与事件存写完全分离代表CQRS Q的读取部分,主要工作是定时按批量从journal里读取记录再把event还原成为数据库更新语句然后对系统业务数据库进行更新。...考虑到akka-cluster集群分布式运算可扩展能力特性,处理万级POS同时在线应该不成问题。当然,每个POS开单销售的过程都存放在内存作为每单销售的状态。...gRPC方式是基于HTTP/2.0协议上的,可以实现点对点的持续连接,支持双向数据流操作,有效解决了request/response模式带来的效率问题。...我们在前面的博客里已经构建了基于gRPC,多分布式数据库的数据流编程框架,可以直接采用。google的移动应用编程语言dart2也是支持gRPC的,从整体系统实现的可行性方面应该不会有什么问题了。
最近刚完成了对整个akka套装(suite)的了解,感觉akka是一套理想的分布式编程工具:一是actor模式提供了多种多线程编程方式,再就是akka-cluster能轻松地实现集群式的分布式编程,而集群环境变化只需要调整配置文件...按一般的scala和akka的编程方式编写多线程分布式数据库管理软件时一是要按照akka代码模式,使用scala编程语言的一些较深的语法;二是需要涉及异步Async调用,集群Cluster节点任务部署及...而对于SDP用户来说,具备最基本的scala知识,无需了解akka、actor、threads、cluster,只要按照SDP自定义的业务处理流模式就可以编制多线程分布式数据处理程序了。...一段完整的程序Stream是由流元素源Source、处理节点Process-Node(Flow)及数据输出终点Sink三个环节组成,下面是一个典型的程序框架: def load(qry: Query...Source也可以并行运算Query产生,然后合并成一条无序的数据源,如下伪代码的类型: def load_par(qrys: Query*): PRG[R,M] = ???
相关的指令-事件command-event转换和状态更新机制 4、单据状态初始化 5、业务逻辑部分,从接到各项指令、指令-事件转换、处理副作用、存写事件、更新单据状态 6、结束单据处理 以一单支付金额大于等于应付金额作为整单结束状态...在本例子里passivation的应用场景如下:每单支付后如果一段时间没有收到新的开单指令,这个shard-entity可以通过向ShardRegion发送Passivate消息或按空转时间段设定自动passivate...实际上C端和Q端各自的功能应该是:C端主要负责把所有的操作动作都记录下来,Q端把这些动作恢复成交易项目,形成客单内容,然后管理整个客单状态。C端只维护客单的开始、结束状态。...如实向Q端反应具体操作动作,提供客单状态如新单、结束、单号等Q端管理客单状态必要的信息。...POS机号编码规则为:客户号+店号+序号,客户代表云POS用户 7、每客单结束时POSHandler向POSRouter发送消息请求启动执行一次Q端读取动作,这样可以避免持久数据流占用资源 8、系统应该作为一种云服务提供给各种的客户端设备
集群单例模式由akka.cluster.singleton.ClusterSingletonManager实现。它在所有集群节点或标记有特定角色的一组节点中管理一个单实例 Actor 实例。...你可以使用提供的akka.cluster.singleton.ClusterSingletonProxy访问单例 Actor,该代理将所有消息路由到单例的当前实例。...代理将跟踪集群中最老的节点,并通过显式发送单例的actorSelection 的akka.actor.Identify消息并等待其回复来解析单例的ActorRef。...一如既往,额外的逻辑应该在单例(确认)和客户机(重试)Actor 中实现,以确保至少一次消息传递。 单例实例不会在状态为WeaklyUp的成员上运行。...从 JMS 队列接收消息的 Actor,严格要求只有一个 JMS 消费者才能确保消息按顺序处理。这也许不是人们想要如何设计事物,而是与外部系统集成时典型的现实场景。
抖动平滑:对视频到达间隔做 EMA/滑窗平滑,对音频按步进累加。...出口) RTMP 推流:握手、复用、带宽自适与重试; 编码组合:H.264 + AAC 为通用组合;H.265 → RTMP 需目标端明确支持方可启用; 并发能力:多路上行相互隔离,单路异常不拖累他路...9) Gateway & Sidecar(网关/旁路) 内网 RTSP 网关扩展:将已拉取的媒体回灌至内置轻量 RTSP 服务,对内提供二次 RTSP URL; AI 旁路:可在拉流侧同时暴露 YUV...做法:rtmp_ms = rtp_ts / 90(Video);AAC 按帧步进累加;禁止时间戳回拨;CompositionTime(CT)控制在 0–250 ms(如无 B 帧),有 B 帧时仅在同一...依托 大牛直播SDK 的「拉流回调 + 推流输入」组合,你可以把 RTSP→ RTMP 转发 沉淀为一块可复用、可运维、可规模化的底座能力: 在 端侧/Android 贴近采集源做首跳转发,降低时延与回源压力
2022年5月7日,克拉玛依市工业和信息化局发布《政务云服务租赁单一来源》公示,预算 7000 万元。...单一来源原因 政务云服务租赁项目自采购以来,为克拉玛依市级近百家单位提供云服务,极大地支撑了电子政务、智慧医疗、智慧教育、智慧社区、行政审批、公安视频、中小企业公共服务等云平台业务开展,该项目涉及城市管理的方方面面...项目建设按照“五统一”的原则,由克拉玛依油城数据有限公司作为新型智慧城市建设和运营的统筹主体,负责组织项目的统一建设和运营管理,政务云服务租赁项目作为新型智慧城市建设项目的一部分,经专家论证,一致同意采用单一来源方式采购...废标公告 2022年5月18日发布废标公告,理由为供应商未按要求实施二次报价。
问题原因: Topic中单条数据> 1M,超过Kafka Consumer处理单条数据的默认最大值。...解决方式: 有三种可选方式:扩大kafka consumer单条数据的数据大小:fetch.message.max.bytes。...结果: 方式一:按业务要求扩大Kafka Consumer可处理的单条数据字节数即可正常处理业务。 方式二:Kafka Consumer需先解码,再进行业务处理。...术语『无限』在这里有点误导,因为如果你要处理的key以128位编码,则key的最大数量将会有个限制(等于2的128次方)。但这是一个巨大的数字!...(3)akka.pattern.AskTimeoutException:Ask timed out on [Actor[akka://...]] after [10000 ms] Akka超时导致,一般有两种原因
通过一段时间akka-typed的具体使用对一些经典akka应用的迁移升级,感觉最深的是EvenSourcedBehavior和akka-cluster-sharding了。...EventSourcedBehaviro是akka-typed为event-sourcing事件源模式提供的开发支持。具体的原理和使用方法在前面的博客里都介绍过了,在这篇就不再重复。...当系统完成一个阶段的工作后,从这个阶段的起点开始,把所有用户的动作按发生时间顺序重演并对数据库进行实质的更新。可以看到,这个具体的数据库更新过程是单一用户的,所以不需要“锁”了。...单据状态在结单时用EventSourcedBehavior拿了个snapshot作为下一单的起始状态。销售中途出现异常退出后可以在上一单状态快照的基础上实施动作重演把状态恢复到出现异常之前。...由于每个阶段都可以清晰的用一张销售单的生命周期来代表,所以在整单操作完成后就可以进行CQRS的读部分了。
5; //取消模式 bool refd = 6; //退款模式 bool susp = 7; //挂单 bool canc = 8; //废单...首先,用akka-http搭建一个http server框架: import akka.actor._ import akka.stream._ import akka.http.scaladsl.Http...这个过程包括把HttpResponse Entity里的数据从某种类型转换成通讯用的二进制数据流、到了客户端再转换成目标类型。...客户端可以按行业标准从一个xml/json文件里提取里面的数据类型和实例。所以,自定义类型的数据转换主要包括 类型->jsonstring->bytestring->jsonstring->类型。...还有一项需求是在Reponse里返回一个数据流(多条数据),如当前交易项目清单。这个也比较容易:akka-http本身支持json-streaming。
指标正常,但是没处理到数据 问题原因 Topic中单条数据 > 1M,超过 Kafka Consumer 处理单条数据的默认最大值。...解决方式 有三种可选方式:扩大kafka consumer 单条数据的数据大小:fetch.message.max.bytes。...结果 方式一:按业务要求扩大 Kafka Consumer 可处理的单条数据字节数即可正常处理业务 方式二:Kafka Consumer 需先解码,再进行业务处理。...kafka.controller.KafkaController$SessionExpirationListener) 关于producer参数设置,设置retries参数,可以在Kafka的Partition发生leader切换时,Flink不重启,而是做3次尝试...(3) akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://...]] after [10000 ms] Akka超时导致,
Akka 持久化(persistence)还提供具有至少一次消息传递(at-least-once message delivery)语义的点对点(point-to-point)通信。...事件源(Event sourcing):基于上面描述的构建块,Akka 持久化为事件源应用程序的开发提供了抽象(详见「事件源」部分)。...Akka 持久化使用AbstractPersistentActor抽象类支持事件源。扩展此类的 Actor 使用persist方法来持久化和处理事件。...Akka 持久化(persistence)是基于单写入(single-writer)原则的。对于特定的persistenceId,一次只能激活一个PersistentActor实例。...注入是幂等的,即只使用第一次注入。 本地快照存储 本地快照存储(local snapshot store)插件配置条目为akka.persistence.snapshot-store.local。
工作原理如下图所示,Spark Streaming接受实时传入的数据流后,将数据划分成批Spark中的RDD,然后传入到Spark Engine进行处理,按批次生成最后的结果数据。 ?...从上面代码中还发现,创建StreamingContext时,还需要指定多长时间来处理一次新数据的批次间隔。...Input DStream和Receivers Input DStream是DStream的一种,它是从流式数据源中获取的原始数据流。...除了文件流外,每个Input DStream都关联一个Recevier对象,该对象接收数据源传来的数据并将其保持在内存中提供给spark使用。...例如:文件系统、套接字连接,以及Akka Actor 2).高级输入源:能够应用于特定工具类的输入源。例如:Kafka、Flume、Kinnesis等,这些就需要导入一些额外的依赖包。
这是一次重要的重写,核心部分是使用Akka Actor和REST层则采用Spray。目前为止,只有核心部分和SQS模块被重写;SQL后端和复制(Replication)尚在进行中。...实现说明 出于好奇,下面简单描述下ElasticMQ是如何实现的,包括核心系统,REST层,Akka数据流的使用和长轮询的实现。所有的代码都可以在GitHub上找到。...在这里map,flatMap和for-comprehensions(更好的语法是map/ flatMap)非常方便,例如(简化): //异步的按顺序调用查找队列并删除它, //因为?...数据流,当然这需要启用continuations插件。...使用Akka数据流,您可以像正常的顺序代码一样编写使用Future的代码。CPS插件会将其转换为在需要时使用回调。