暂无搜索历史
去年,一家零售企业的CEO找到我,说了一句让我印象很深的话: "我们公司有数据,但没有数据能力。"
架构本质上是对一个系统的结构性描述,告诉你系统由哪些部分组成、这些部分之间怎么协作。只不过描述的视角不同,就有了不同的架构类型。
客户信息重复录入、物料编码混乱、供应商数据不一致……这些看似细小的数据问题,不仅会增加业务沟通成本,还有可能导致决策偏差、运营风险。
ETL曾经是传统企业的主流选择,但是随着数据量的爆炸式增长以及业务需求的快速变化,ELT模式逐渐兴起。那么在今天的数据时代,我们到底应该怎么选?
不管是离线数仓还是实时数仓,都是企业为业务决策、数据分析提供稳定的数据支撑。但是对于不同的业务和数据时效要求,他们两个架构设计的逻辑是不一样的。
电商的实时库存同步、金融的交易审计,还有微服务间的数据协同,这些都离不开对数据库变更的精准、实时捕捉。
用户复购率的口径,产品和运营两个部门对出来的数字不一样,到底该相信哪一个?凌晨跑批又失败了,源头业务系统传过来的用户ID一半是空的,数据根本没法用。
数据越多越混乱,想取个数做分析需要等半天,查询又复杂又慢。问题到底出在哪?不是数据不够,而是我们的数据放错了地方。
数据清洗就是把原始数据里的错误改掉、把格式标准统一、补齐缺失的部分,最终让数据完整、统一、真实有效,能直接拿来分析、建模。很多人花大量时间研究模型、算法,可真到...
公司用了五六年的客户管理系统,查询慢、功能旧,业务部门天天提需求,旧系统根本扛不住,只能换新版平台。有时候业务越做越大,原来的本地服务器撑不起并发,老板拍板要把...
公司系统越上越多,数据越来越乱,销售部门报的客户数量和财务系统对不上,采购说的供应商名录和仓库系统里的编码完全不一致。每次开会都在扯皮,谁的数据是对的?谁也说不...
我们做数据的,最常遇到的痛苦是什么?无非是业务部门天天要报表,技术部门说数据没对齐,分析师抱怨取数慢,开发说需求变太快。这背后,其实都绕不开一个问题,我们的数据...
作为一个在数据领域摸爬滚打过来的人,我经常看到新手朋友对批处理和流处理这两个词感到困惑。简单来说,它们都是处理数据的方式,但背后的逻辑和适用场景完全不同。在如今...
想我早年入行时,面对 MySQL、MongoDB、Redis 这些数据库名词,着实混乱了很久。它们到底有什么不同?我该学哪个、用哪个?今天,我就用最直白的方式,...
数据挖掘是什么?这东西到底怎么落地?今天我正好把这几年的心得整理出来,希望能帮到你。
公司业务部门需要分析数据,IT部门却因为安全和合规的顾虑,迟迟不敢把数据交出去。这些数据关系到很多客户的个人隐私,自然不能随便传输共享。而可信数据空间正是当下正...
说实话,这可能是很多技术团队正面对的困境。过去几年,我们团队搭建过一家公司的数据治理体系。这个过程并不轻松,但总算是摸出了点门道。
用我的经验来说,这几年我参与了不少企业的数据平台升级项目。一个很明显的感受是,很多过去主要使用国外数据工具的公司,现在都在认真考虑转向国产ETL工具的替代方案。...
在工作里和很多刚开始接触数据治理的朋友聊天,我发现有几个词特别容易把人绕晕:元数据、数据元、元模型。它们长得像,听起来也差不多,经常被混为一谈。但如果你真想理解...
在我刚接触企业数据的那几年,经常被一个问题困扰:为什么同一个客户,在销售系统里叫“北京某某科技有限公司”,在财务系统里变成了“北京某某科技公司”,到了物流系统又...
暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市