关注留言点赞,带你了解最流行的软件开发知识与最新科技行业趋势。
数据无处不在。我们周围的几乎每个人和每件事都在生产它。为了使企业具有竞争力,他们需要构建弹性的、可扩展的系统,以有效地利用和响应不断增长的数据量。公司通过转向实时数据流来满足这一需求,以开发新的解决方案并改善他们的业务和客户体验。
此类数据流一直在增长。而且,在拼车、欺诈检测、库存管理等实时数字体验兴起的推动下,增长速度加快了。
那么数据流的下一步是什么?
数据作为一种产品越来越受欢迎
数据作为产品的概念将变得更加主流。在许多行业中,数据流正成为企业如何在公司内部运营和传播信息的核心。但是,仍然需要对关键数据原则和最佳实践进行更广泛的教育,例如通过数据网格概述的那些。
数据作为一种产品是重新思考如何在业务的一个部分产生的数据可靠地用于另一个部分的基础。具有正式所有权和责任的数据产品,结合可发现性和可访问性的平台,可以大大减少障碍并为所有人提供更轻松的数据访问体验。模式、Kafka API 和成熟的规范标准(如ASyncAPI)可以成为这种演变的一部分。
随着越来越多的人接受这种心态,我希望看到公司从使用临时数据管道转向基于数据产品的管道,从而推动一个集中式系统,该系统可以为更好的分析洞察力和运营执行提供动力。
自助服务解决方案的增长
随着基于云的产品的兴起,我希望看到更多公司提供更易于访问、按需付费的自助服务解决方案。在过去的几年里,我们已经看到了这种转变;基于云的产品使公司可以更轻松地根据其使用情况(或缺乏使用情况)试用数据产品。鉴于当前的市场状况,这些产品将对尚未准备好签署产品供应的多年合同或仅专注于单一技术的组织更具吸引力。
云迁移的增加和 SaaS 的持续兴起
云在这里停留。我们已经证明它是有效的,它是安全可靠的,而且对于许多人来说,它是有道理的。这对任何人来说都不足为奇,但预计云迁移的趋势将继续下去。
在 Apache Kafka 的上下文中,构建基于 Kafka 的数据流解决方案过去意味着托管和管理您自己的 Kafka 集群。如果您曾经担任过该职位,您就会知道这通常意味着更多的 DevOps 工作,而不是专注于构建应用程序以充分利用您的数据。基于云的 Kafka 产品不仅消除了 Kafka 集群带来的许多 DevOps 难题,而且还使开始运行和开始流式传输数据变得更加容易和快速。
我个人对云和 SaaS 可以做些什么来使 Kafka 和数据流更容易访问感到兴奋。在我访问全球各地的开发人员和公司时,我看到许多人都抱有这种热情。整个地理区域和行业都在借此机会迁移到云端并一头扎进数据流中。
KRaft 引领 Kafka 采用率上升
从 Apache Kafka 3.3 开始,KRaft 共识协议已经取代了 Zookeeper 并且可以投入生产。现在可以从集群内部维护和管理集群元数据,这意味着部署 Kafka 实例时需要担心的事情少了一件。
虽然基于云的 Kafka-as-a-Service 有很多选择,但开源 Kafka 中的 KRaft 等改进使自托管变得更加容易。这一点,以及为简化在本地机器和测试环境上运行托管 Kafka 服务所做的工作,意味着 Kafka 不再是复杂性的代名词。由于管理和维护 Kafka 实例的困难不再阻止人们使用数据流,我预计 Kafka 的采用将会增加更多。
数据流将作为各种规模公司的转型技术继续成熟,成为大多数组织开展业务所需的关键基础设施。
如果您还没有探索过数据流可以为您提供什么,也许今年就是您去了解一下的好时机!
领取专属 10元无门槛券
私享最新 技术干货