首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    华汇数据带你了解下大数据服务能力

    大数据服务能力其实是一个相对于大数据产品能力的概念。从企业实际建设大数据项目的角度来说,多数情况下简单地购买一些大数据产品并不能满足实际需求,往往需要供应商提供一定的服务来完成项目的建设。具体来说,大数据项目前期的规划、咨询、设计,实施阶段大数据平台等产品的部署以及定制化开发,进一步对已有数据的迁移、集成、整合以及在此基础上进行的数据治理,接下来的持续运维运营和迭代优化,结合业务进行的一些应用开发等,这些围绕数据开展的一系列工作都属于大数据服务的范畴。供应商向客户提供这些服务的水平就是我们提到的大数据服务能力。

    04

    小米doris

    apache doris在小米演进架构中的应用,原来的方式是来自各平台的数据,都要有一个数据汇总的平台,但是由于数据量巨大,如果还用传统的mysql来做数据筛选,mysql的查询语句会变得越来越复杂,而且每天产生的都是pb级别的数据量,这种级别的数据,不搭建hadoop大数据平台的话,根本没有这样海量数据的处理能力。但是要维护一个大数据处理平台,运维成本是相当高的。而且每进行一次数据的汇总运算的话,可能服务集群的所有资源都要让度出来供该次运算得出结果,对整体集群的上其他一些服务的影响也特别大,所以引入了apache doris平台。支持了本地数据的上传,支持insert into select from的查询语句,也支持routing keys直接订阅kafka的broker(这好像是rabbitmq中的概念呀),这些数据导入之后,就可以在apache doris进行汇总了。现在apache doris已经在天星数科、新零食、用户画像、BI广告投放等业务上广泛被使用,大大提高的服务的运算性能。服务的演进过程也是宽查询,就是建立相应的表

    01

    【学习】干货收藏:如何进行大数据分析及处理?

    众所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。 那么越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。基于如此的认识, 大数据分析普遍存在的方法理论有哪些呢? 1. 可视化分析。 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的

    06
    领券