首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

李卓豪:网易数数据逻辑数据湖的实践

内容分为五部分: 关于网易数 为什么做逻辑数据湖 怎么做逻辑数据湖 未来规划 精彩问答 01 关于网易数 网易数是从网易杭州研究院孵化出来的。网易杭研的重要职责是公共技术的研究和产品孵化。...2018年支持网易严选、考拉、音乐、新闻数据构建。通过在商业化过程对市场需求的摸索实践,终于在2019年形成了“全链路数据”解决方案,致力于将“数据生产力”的理念能力落实到解决方案。...纵观网易大数据的发展历史,可以看到这个过程贯穿了数据理念的变化。有数从公共数据平台逐渐转变为具备有业务属性的数据,最后逐步向“数据生产力”理念靠拢。...同时在落地过程,形成了技术业务双循环的模式。双循环中涉及三个角色,两种驱动力。三方分别是内部用户、外部用户、数据;业务场景、技术前瞻是推动双循环的驱动力。...这两种驱动缺一不可:大数据技术和应用发展日新月异,数据的业务支撑能力特别依赖于底层的技术能力和前瞻性。 02 为什么做逻辑数据湖 1.

1.3K10

的定义 | 白话战略

《白话战略》已经写了三篇,尤其是第一篇「是个什么鬼」收到了很多朋友的反馈。写“白话”这个系列主要是想通过写文章来驱动自己思考,并借此和更多人一起交流和探讨这个话题。 ?...,像上文提到业务、数据、搜索、移动,哪些才是,哪些是蹭热点的?...与前台的划分原则是什么? 化与平台化的区别是什么? 化和服务化的区别是什么? 该怎么建设?...我在上一篇白话战略-2 到底长啥样?已经举了一些常见的例子,这里就不赘述了。 可以说,就是企业所有可以被「多前台产品团队」复用能力的载体。...另一方面就是通过对于能力的SaaS化包装,减少前台团队发现能力和使用能力的阻力,甚至通过自助式(Self-Service)的方式快速定位和使用能力。

1.5K43
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    | 什么到底是

    到处都在喊,到处都是这个词在好多地方已经被滥用了。 在有些人眼里:就是技术平台,像微服务开发框架、Devops平台、PaaS平台,容器云之类的,人们都叫它“技术”。...在有些人眼里:就是微服务业务平台,像最常见的什么用户中心,订单中心,各种微服务集散地,人们都叫它“业务”。...在有些人眼里:应该是组织的事情,类似于企业内部资源调度中心和内部创新孵化组织,人们都叫它“组织”。 ,从字面意思上理解,是位于前台和后台之间。 那么,到底是什么呢?...谈到,首先会想到阿里巴巴,今天就从阿里开始,一起认识下到底是什么?到底如何发展而来的呢? 阿里的发展历程 ?...技术:将使用云或其他基础设施的能力以及应用各种技术中间件的能力进行整合和包装,助力前台和业务及数据的快速建设。

    8.3K21

    数据:什么是数据

    数据:什么是数据 什么是数据 数据是全新的架构变革。过去三十年,企业数据管理都以传统的IT架构为基础。...由此,集成式的建设方式给技术部门形成巨大的维护成本和治理成本,并没有达到数据建设的真正目的。 数据的基本能力 数据具有数据服务的能力。...传统企业搭建数据,如果仅完成了API接口的创建,仅仅是完成了数据建设的其中一环。因此,数据并不是端到端的技术赋能平台。...由此,集成式的建设方式给技术部门形成巨大的维护成本和治理成本,并没有达到数据建设的真正目的。 数据的基本能力 数据具有数据服务的能力。...数据的建立可以帮助企业对数据进行风险隔离,确保一方不影响另一方。 数据应用方式 数据应用方式一为帮助业务部门灵活使用数据分析。数据改变了以往业务部门数据分析技术能力不足的窘况。

    3.3K10

    数据,什么是数据

    在 3 月 15 日 ThoughtWorks 技术雷达峰会上,关于数据的话题也获得了众多参会者的热烈关注。如今似乎人人都在提数据,但却不是所有人都清楚数据到底意味着什么。...数据是只有大厂才需要考虑的高大上的概念吗?普通企业该不该做数据?数据的出现会给现有数据从业者们带来颠覆式的挑战吗? 数据不是大数据平台!...首先它不是一个平台,也不是一个系统,如果有厂商说他们有个数据卖给你,对不起,它是个骗子。 要回答数据是什么,首先要探讨一下到底是什么。...数据也可以小而美 建设数据的关键考量包括两方面。 首先数据一定要与业务价值对齐。构建数据,最重要的不是技术,也不是数据质量好不好,而是数据思维和数据文化。...最后,史凯也提到了阿里战略的另一个——“业务”。

    1.7K31

    ​图解《战略》业务设计原则

    业务是一个充满生命力的个体, 它承载业务逻辑、 沉淀业务数据、 产生业务价值,并随着业务不断发展进化。 它的设计遵循如下图所示的若个原则: ?...业务设计原则 台架构,有服务的调用方和生产方,按角色关系划分,共有以下四类关系: 1,服务生产方与服务生产方的关系 2,服务生产方与服务消费方之间的关系 3,服务生产方的管理者与服务生产方之间的关系...(2)去掉冗余数据(接口如何定义) 尽量去掉接口实体客户端不需要的冗余字段,既能减少网络开销,又能避免给前端解析带去复杂性。...--END-- 文章摘自:机械工业出版社《战略:建设与数字商业》 2019年9月出版。...《战略》由国内领先的数字商业云服务提供商阿里系云徙科技官方出品,从成功要素、建设方法论、架构设计、成熟度模型4个维度详解业务以及数据建设思路和方法,成功通过帮助近40家龙头企业实现数字化转型

    2.5K20

    数据是什么:数据剖析

    数据被誉为大数据的下一站,成为了人们谈论的焦点,2019年也被称为数据元年。但是数据是什么?它和数据仓库、商业智能、大数据平台有什么区别?它的主要功能是什么?...本次分享内容: 1、数据现象及剖析 2、技术实践过程的问题与挑战 3、Q&A环节 去年3月份我写了一篇关于数据的文章,得到了10万+的浏览量。...数据和数据平台最大的区别是什么?我们认为数据是离业务更近。业务需要什么服务?是数据和数据服务。 的部门或者团队,最优先考虑的是提供给业务所需要的服务。...滴滴的数据和其他的数据有所差异,它的数据的整个生产价值曲线,跟大部分的企业都不一样。 滴滴的数据跟前面介绍的数据,在数据服务、数据资产,底部的数据存储上是类似的。...四、数据的本质和六大能力模型 在这样的愿景和使命下,数据是什么?它应该构建什么样的能力呢? 1. 数据的本质 数据是什么?

    3.8K52

    内容和数据的区别

    什么是内容内容是企业级的数字化解决方案之一,它是一种整合和管理企业各类内容资源的平台。...内容使用的场景跨平台内容管理:内容支持跨平台的内容创建、管理和分发。...数据使用的场景企业数据分析:数据整合了企业内部的各种数据资源,通过数据清洗、转换、整合,实现数据的汇聚、整合和分析。...内容和数据的区别内容是一个集中的平台,负责管理和分发各种形式的内容,如文本、图片、视频、音频等。...内容专注于管理和分发各种类型的内容资源,而数据则聚焦于企业数据的整合、治理和利用,两者在业务场景和目标上有明显的差异。如何使用MassCMS创建内容

    13610

    聊透,到底什么是

    大约从去年年底开始,的概念开始被广泛讨论。但与此同时,关于究竟是什么,却是众说纷纭。...引用王健老师在《当我们谈时,我们在谈些什么| 白话战略》一文中提到的关于的一些理解,就能看出一些端倪。...这似乎会给大家一个错觉,似乎是一种自上而下的战略选择。老板觉得好,所以要搭建中。...而这时,的概念恰好对应了这个问题,所以大家接受了。...03 产品经理的挑战之前的内容,我们其实花了很大的篇幅来讨论,为什么会有解决怎样的问题,以及适用怎样的场景。但是,具体到业务场景当中,产品经理又在做什么事情,解决怎样的问题?

    98830

    关于

    不是凭空而来,亦不是平台化架构换个名字。化架构是平台化架构的自然演进。...如果一个把若干平台聚拢起来,对业务支持的SLA没有变化、也没有在业务运营上有所改变,一定是失败的。 ? 以上图为例,业务在发展过程,会有若干业务系统。...当前的问题通过的思路去解决,慢慢这个矛盾就会变低,但必然会产生新的矛盾,就需要用新的思想去解决。 电商业务,有四件事情肯定要去做: 保证阿里的业务跑得更快,更稳定。...不只一种解法,实现有不同的方法和实施路径,但可以总结出类似的目标和价值。...是思想,微服务是一种实现方式。你觉得台架构和微服务是什么关系呢?欢迎留言! 备注:来自只喝牛奶杀手的整理

    77940

    理解

    前段时间参加了IAS2019(互联网架构峰会),本次峰会以为主题,所以又称战略大会,据说是全国首届关于战略的会议,会议上有许多优秀的企业架构师带来了他们各自在实践过程的心得。...王健老师在《当我们谈时,我们在谈些什么| 白话战略》一文中提到: 在有些人眼里:就是技术平台,像微服务开发框架、Devops平台、PaaS平台,容器云之类的,人们都叫它“技术”。...什么时候需要? 我们讨论了如何定义,现在来看看怎么就需要了。...数据分析、基础能力、IoT。...在应用案例,侯老师介绍了能力、数据、IoT带来的实际价值。

    2.1K60

    阿里开始“拆”?!建设何去何从?

    · 2015年,阿里巴巴提出“大中,小前台”概念; · 2018年9月,腾讯宣布打造技术;  · 2018年11月,阿里将系统与阿里云合体; · 2018年11月,美团宣布建立自身平台的数据...“可复用性”是系统的关键词,开辟的新业务能多大程度从已有的进行复用,也成为问题避不开的一个点。...2 不是拆台,是变“薄” 早在2019年湖畔大学分享时,张勇就表示,如果一个企业奔着,就是死。这是他当时就发出的一个关于方向的信号,也为如今的“拆”埋下了伏笔。...3 关键思考点3:懂,再做选择 无论是什么体量的公司,你在思考“要不要搭建中”之前,需要真的明白,懂得。...从数据采集、数据存储与计算、数据应用、数据智能应用等多方面,帮助你更加轻松落地自己公司的数据。 目前200名内购买7折优惠,只需69元!

    50420

    != 银弹

    18年从姜博士口中第一次听到这个词,看到他们的架构图和微服务拆分没多大区别,技术栈基于spring cloud 1.x。...想起一句话,大公司造,钱烧没了;小公司造,公司烧没了。业务始终得优于技术。 阿里在技术上的营销和包装能力是一流的,把分布式服务化解决方案升华为,定义了方法论和标准。...云栖的造势让各行各业都在造让我想到了刚毕业时EJB的火热,应用服务器的容器服务现在想起来不也是些数据库操作;还有ESB的由盛及衰衰;都是一路的踩坑和填坑。...不等于银弹,如果不围绕自己的商业模式分解,没有项目->产品->平台的业务的积累和标准化的运营规范,分布式架构只会吃力不讨好。要强要厚实,也容易做重。...前些年大家看到阿里成功的光芒,玄难离职到前阵子媒体透的阿里拆,薄,可能说风口变了,大环境变了。或者按业务线做小或薄,我们才能更快试错和拥抱业务变化。

    62020

    数据

    主要实现数据的标准化,我们叫作“书同文、车同轨”,融合模型一般是维度建模,主要实现跨越数据的整合,整合的形式可以是汇总、关联,也包括解析,挖掘模型其实是偏应用的,但如果用的人多了,你也可以把挖掘模型作为企业的知识沉淀到...,比如离网挽留的模型具有很大的共性,就应该有人把它规整到模型,以便开放给其它人使用,是相对的,没有绝对的标准。...数据服务将数据模型按照应用要求做了服务封装,就构成了数据服务,这个跟业务台中的服务概念是完全相同的,只是数据封装比一般的功能封装要难一点,毕竟OLTP功能的变化有限,而数据分析受市场因素的影响很大,变化更快...但有数据模型和数据服务还是远远不够的,因为再好的现成数据和服务也往往无法满足前端个性化的要求,这时候就得授人以鱼不如授人以渔了,数据的最后一层就是数据开发,其按照开发难度也分为三个层次,最简单的是提供标签库

    3K42

    博文视点中书单|读懂“”,告别“伪

    近期,由于关于阿里打算“拆”的文章爆火,各家企业对的看法出现了反对的声音。 前几天,我们也在文章探讨了阿里是否真的要拆,结论是,不是拆台,是变”薄“。...今天,为了帮助大家真正地读懂,认识,告别“伪”,博文菌特地挑选了6本系列的图书,供大家参考哦!...读了本书后,你可以了解数据是什么、数据的价值是什么、数据如何帮助企业腾飞、企业具备数据的建设条件吗、应该如何建设数据、数据在哪些行业中有成功的应用、建设数据需要哪些软件支撑。...(扫码了解本书详情)  05  ▊《产品经理宝典:从业务建模到设计全攻略》 刘天 著 从中产品经理视角出发来解读的概念与功能,以讲述如何设计产品为核心,将笔者在多个中项目的产品设计经验总结成一套可复用的建设模型...同时本书还总结了多个在产品实战分析中常用的方法论,方便各位产品经理以及对感兴趣的互联网人在设计自己的方案时直接参考与借用。

    48610

    战略全解读(三):业务建设

    从业务到,必须经历抽象建模的过程。这个过程分为两个阶段,分别是 0 级抽象中心建模的阶段和 1 级抽象组件建模的阶段。每个阶段采用的建模抽象机制都是实体抽象法。...##业务的 8 个设计原则 业务是一个充满生命力的个体,它承载业务逻辑、沉淀业务数据、产生业务价值,并随着业务不断发展进化。它的设计遵循如图 6-3 所示的 8 个原则。 1....分布式运行机制 采用微服务风格进行建设,每一个业务中心都是独立部署的,因此分布式运行机制是保障业务正常运行的基础。无状态的微服务易于扩展和部署,对弹性伸缩、灰度发布等互联网场景有良好的支持。...同时微服务架构也带来了复杂性,一个微服务应用一般由多个服务组成,每个服务又有多个实例,因此一套系统部署上线后,至少有几十个节点提供服务。...扩展点机制源于 Java 的 SPI 机制,当业务的某一个业务点遇到新业务逻辑比当前逻辑差别较大时,可以使用扩展点机制来实现。

    1.4K20

    技术与业务到底讲了什么?

    最近有童鞋在我之前发布的《聊聊》一文中提问:技术是什么?和业务又有什么区别?考虑到在工作,也有部分同事问过这个问题,我这里总结一下形成此文进行答复。...在之前我的《聊聊》一文,重点强调和介绍了业务,这是大部分谈论的人谈到的类型,因为不论什么,最终都是为业务服务,赋能前台,提高企业的用户响应力的。...[一个常见的电商业务示例图] 2、技术又讲了什么 虽然我比较认可网易云的观点“所有的都是业务”,而其他的其实都是一种广义上的业务,被称之为,就需要具备一定的业务属性,最终都要为业务服务...但还有众多的其他被搬上了舞台,其中作为开发人员的视角,最关心的可能就是技术了。那么,什么是技术?这里我们通过下面这张图,来看看阿里是如何定义技术的。...(均来自于波波老师的《Spring Boot与K8s云原生应用开发》课程PPT) [eBay体系示意图] [拍拍贷体系示意图] 3、我司的业务与技术 分享一个我司目前的总体技术体系图,这是我在

    1.7K00

    你以为的真的是吗?

    慢慢地,业务领导和IT都开始怀疑当初上是否是正确的选择,甚至一度怀疑就是个伪概念。因为搞来搞去,它的性质和地位就是一套信息化应用系统而已,有用户登录入口,有维护功能,有后台数据库。...我不由感叹说:你们只是上了一套名字叫“**管理系统”的系统,并不是真正意义上的是不是伪概念,是不是炒作,我之前在公众号已经说得很明白了。...,那是单机应用系统,上只是为了对外宣传的; 不少企业规划,第一时间就是考虑选个什么系统,考虑上云,考虑如何去抽数据,搞所谓上,技术先行。...搞来搞去,只做了一个形而没有魂,导致越来越多的人鄙夷就是伪概念,花了钱不仅达不到效果,反而还拖累了系统和用户。...像上面CIO朋友举的例子,很明显数据输出有残缺,没有站在业务的角度去支持业务规则,甚至为了保证业务顺利进行而让用户到去手工修改数据,完全就是违背了数据的宗旨。

    60820

    数据建设(二):数据简单介绍

    2018年概念开始深入互联网公司,2019年数据概念大火。...是一种经营理念,是一种组织形式,是“平台思维”的自然演进。 又包含业务、技术、数据。...三、数据与业务区别和联系 一个企业可以同时拥有业务和数据,两者是相辅相成的。...在企业构建数据与业务没有先后之分,根据企业实际情况进行规划建设。...不是平台,平台可以有很多,例如:营销平台、风控平台、管理平台,平台解决的是特定领域业务的问题,而解决的是全企业各个业务领域综合问题,一般一个企业只需要一个就可以,现在还有业务、数据之分

    4.9K63

    到底长啥样?| 白话战略

    在上篇《白话战略开篇:是个什么鬼》,我试着依据自己的经验和理解,阐述了产生的原因以及最终建设目的,可能会过于抽象,大家听得还是云里雾里,本文就试图通过我的收集和思考,带着大家一起来看看中到底...---- 数据业务双 提起,绕不开也是最先想到的应该都是阿里巴巴的数据业务双。毕竟阿里的“大中小前台”战略人尽皆知,其威力也是显而易见的。...从图中可见,阿里主要体现为由业务和数字并肩构成的双,并肩扛起了所有前台业务。...---- 组织 以上无论是业务、数据、技术、研发……都是围绕技术展开的,也是企业在建设中最关注的方面。...列举了这么多各式各样的,最后都扯到了组织层面,是不是有种越听越晕的感觉,是不是感觉什么东西加个“”的后缀都可以靠到台上来,估计很快就会看到例如AI,VR,搜索,算法……对了,算法已经有了

    3.1K21
    领券