Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >如何利用数据架构带动企业增长?

如何利用数据架构带动企业增长?

作者头像
个推君
发布于 2019-03-12 02:45:28
发布于 2019-03-12 02:45:28
4240
举报
文章被收录于专栏:原创原创

对于架构师而言,技术的发展是无尽的,在搭建和实践智能数据架构的过程中,架构师们都会或多或少地遇到一些疑惑和挑战,如何解决在架构建设中遇到的某些问题?架构建设的领域又有什么新的行业动态和技术方法?

近日,在个推TechDay全国沙龙北京站的现场,几位资深架构师围绕“以智能数据架构,挖掘增长金矿”的主题,开启了对智能数据技术的深入探讨。

贝壳金服2B2C CTO 

史海峰 《架构之十年磨剑,大巧不工》

在传统的IT行业中,企业级业务系统是技术水平的高峰,比如电信、金融、税务系统。以电信行业为例,它有其独有的行业特征:业务系统本身就是生产系统,信息化程度高;24小时全天候跨地域不间断地提供服务;业务复杂,功能多样等。电信行业中以中国移动为代表的架构设计规划最为领先,该架构有一套完整的设计规范,整体建设周期也很长。

而在PC互联网时代,电子商务纷纷崛起,很多互联网电商平台都面临着从自营到平台化转变的挑战。自营与平台化最大的区别在于,自营只有一个商户,而真正的平台则需要像云计算一样,支持多商户的入驻与经营。对于架构师来说,要实现这样的平台转型,需要有清晰的业务系统架构总图、系统架构蓝图以及技术架构规划。

进入到移动互联网时代,手机的普及使得O2O快速发展。O2O平台对于系统稳定性的要求非常高,而且对业务发展的响应速度也提出了新的 ,其所需要的技术架构非常复杂、需要有严谨的基础架构和运维机制,还要维持创新能力。

到了产业互联网时代,架构师应该对行业有更深入的理解和实践,同时,也要有相应的架构思维,从“点、线、面、体”各维度提升认知,在进行架构建设时,架构师不仅要考虑到技术上实现的可能性,也要考虑到行业特点,以及企业各个方面对于互联网技术的态度与需求。

个推平台架构主管

王志豪 《微服务网关架构实践

微服务是指,将单一的应用程序拆分成多个微小的服务,各个小服务之间低耦合,高内聚,每个小的服务可以单独进行开发,不依赖于具体的编程语言,也可以使用不同的数据存储技术,各个服务可以独立部署,拥有各自的进程,相互之间通过轻量化的机制进行通信,所有的服务共同实现具体的业务功能。

个推整体的微服务架构,主要是基于Docker和Kubernetes进行实践的。个推将应用服务分为三层,最上层是API网关,为服务提供统一的入口;第二层是业务逻辑层,主要实现具体的业务逻辑;最底层是基础服务层,为同一产品线下的不同产品提供共同的基础服务。

在构建整个微服务体系时,个推选择了研发自己的网关。目前市面也有很多优秀的网关产品,但都并不是特别适合个推的微服务体系。

第一,个推的配置和服务注册与发现均基于Consul实现的;

第二,很多的开源的网关的配置相对于个推的需求略显复杂;

第三,由于不同的功能很难用统一的网关去实现,个推更希望在API网关的功能扩展上保持足够的灵活性;

第四,个推的微服务体系是基于Docker和Kubernetes进行实践的,其他的网关较难直接融入个推的微服务体系。

个推选取了OpenResty+Lua作为实现网关的技术选型。其中,OpenResty是一个基于 Nginx 与 Lua 的高性能 Web 平台,Lua则是一个较为轻量的、扩展性较强的语言。同时,个推也借鉴了Kong和Orange的插件机制,通过插件的方式实现网关功能的扩展。

个推的微服务网关的设计重点,体现在插件的设计和请求过程,每个插件都会在OpenResty的一个或多个阶段起作用。在进行请求处理的时候,个推会按照产品配置和插件规则筛选出具体执行的插件,然后实例化插件,对流量进行处理。个推微服务网关还有规则配置简单,不同插件实现灵活,配置基于Conusl实时热更新等特点。在自己的微服务网关中,个推还实现了诸如动态路由、流量控制、Auth鉴权、链路追踪、A/B Testing等功能。

在实践微服务网关的过程中,个推还有一些有待改进的地方,比如:网关的弹性设计不够、网关还需要进一步与DevOps进行结合等。

百度主任架构师

郑然搜索引擎的大数据计算架构

搜索引擎的建设主要分为三个方面,第一,是内容抓取部分,爬虫会将海量信息抓取下来;第二,是检索系统部分,系统需要加入对已抓取信息的内容的理解,放到索引中;第三,是索引构建部分。

支持搜索引擎计算的建库部分中,有一个非常核心的系统:Tera,它是一个大型分布式表格存储系统,可以进行高性能、可伸缩的半结构化存储,同时支持存储万亿量级的超链和网页信息。Tera系统有八个核心技术

1、数据模型的全局有序;

2、实时的读写和区间扫描(这一点与数据模型的全局有序也密不可分);

3、可以支持行式存储和列式存储;

4、友好的分布式文件系统

5、利用SSD cache热数据;

6、数据压缩,异步IO和分组提交等性能优化手段;

7、支持秒级分裂合并,并且能够实现自动负载均衡

8、在分布式数据库上实现了分布式事务。

Tera是百度搜索引擎从批量处理迈向实时流式计算的最基础的架构,它可以提供实时的读写能力,同时提供海量存储和增量计算,并且节约增量成本。在研发方面,Tare也能够使中间数据可见、Debug能力增强。

本质上来说,Tera是一个分布式存储系统,它需要遵循分布式存储系统的设计要素,包括:明确数据模型、存储引擎的设计、数据分片的方式、如何管理元数据、高可用的设计以及应用的是分层式还是竖井式的存储。同时,存储系统也需要进行性能优化工程的实践,包括指标数据的采集和可视化、先做profiling再手动优化、面向SSD进行编程、Batch&pipeline&asynchronous和学习存储引擎的先进研究成果。

京东数科高级DBA

潘娟Sharding-Sphere云架构演化

互联网应用业务的特点是用户和数据量大、产品迭代迅速、业务组合复杂、突发性流量暴增以及7*24小时不间断提供服务,这些特点导致互联网架构从一开始的单体式架构发展到分布式微服务,再到云原生架构。分布式微服务使得系统解耦可用性得到提升,而云原生架构更好地实现了资源按需伸缩、自动化的部署和管理。同时,互联网数据库也在不断地升级,由于早期的RDBMS无法满足数据扩展的需求,NoSQL应运而生。再到后来,囊括分布式数据库、分布式数据库中间件以及云数据库的NewSQL也都纷纷顺应数据扩展的需求而产生。

作为分布式数据库的中间件,Sharding-Sphere可以借助底层成熟的关系型数据库进行增量持续的开发,这满足了分布式的需求,并且能够大大降低运维和接入成本。

同时,Sharding-Sphere也应该拥有四种核心能力:

1、能够通过数据拆分或读写分离,实现数据分片的能力。具体来讲,数据分片需要先通过SQL解析,对查询语句进行优化、合并和改写,再找到可以执行的SQL,最终实现结果归并。

2、分布式事务能够保证数据的一致性。在数据还未打散之前,我们可以用传统的ACID(Atomicity、Consistency、Isolation、Durability)保障数据的一致性;但在数据被打散之后,我们则需要引进新的BASE原则(Basically Available、Soft state、Eventual consistency)来保障数据一致。有两种方式可以实现分布式事务BASE:一种为XA,虽然XA支持回滚,能够达到强一致性,但当并发量变大,它的性能会急剧下滑;而另一种方式是柔性事务,在这种方式下,当业务量急剧上升时,并发性能只会发生略微衰退,并且能够保证,在最终达到一致。

3、数据库治理。Sharding-Sphere可以通过注册中心的操作,实现统一管理、熔断或失效转移的功能,同时可以通过拓扑图和调用链来打造APM监控。

4、弹性伸缩Sharding-Sphere是由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar这3款相互独立的产品组成的,他们均提供标准化的数据分片、分布式事务和数据库治理功能。Sharding-JDBC更适用于单体应用和分布式微服务,它是一个轻量级的Java框架;Sharding-Proxy实现了MySQL的二进制协议,并且不存储任何数据;Sharding-Sidecar的核心是Service Mesh Sidecar,能够帮助本地的应用层与网络节点进行沟通。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018/12/12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
嘉年华专访 | 我有故事,你有酒吗?
潘娟,京东金融高级DBA,主要负责京东金融生产数据库运维及数据库平台、中间件开发工作。多次参与京东金融6.18、11.11大促活动的护航工作。曾负责京东金融数据库自动化平台设计与开发项目,现专注于Sharding-Sphere分布式数据库中间件开发。乐于在数据库、自动化、分布式、中间件等相关领域进行学习和探索。
数据和云
2018/12/05
1.1K0
应用技术架构 —— 微服务架构
在 2010s 进入移动互联网(web3.0)时代,互联网用户规模再次迎来井喷式增长,面向服务的技术架构在服务海量规模用户时显得力不从心。SOA 架构中 ESB 存在单点以及 RPC 中缺少服务的治理能力,ESB 和 RPC 架构都很难满足移动互联网海量用户的要求,微服务开始出现,并成为今天技术架构的主流。
腾讯云 CODING
2022/03/16
1.9K0
应用技术架构 —— 微服务架构
sharding sphere MySQL分库分表分享
视频地址: https://www.bilibili.com/video/BV1zy4y1m7ZS/
suveng
2021/01/21
1.4K0
微服务架构-从理想到现实
注:本文为我最近阅读《微服务架构设计模式》的一点感悟,我不准备详细去写对该书的读书笔记记录,而是结合我们自己所做的一些微服务架构实践情况做一些总结和复盘。
IT大咖说
2021/02/24
3920
微服务架构-从理想到现实
雍正荐书 | 本月精选,带你深入理解分布式事务
雍正大人下旨:每个月数次,爱可生开源社区以抽奖或者其他活动方式送出精心挑选的图书,以此来回馈一直支持我们的小伙伴们;
爱可生开源社区
2022/05/23
5260
雍正荐书 | 本月精选,带你深入理解分布式事务
SDCC上海站之数据库&架构峰会议题抢先看
2016年3月18日-19日,由CSDN重磅打造的数据库核心技术与实战应用峰会、互联网应用架构实战峰会将在上海举行。作为SDCC 2016(中国软件开发者大会)系列技术峰会的一部分,活动继续秉承干货实料(案例)为主的内容原则,这两场峰会将邀请业内顶尖的架构师和技术专家,共同探讨高可用/高并发系统架构设计、新技术应用、移动应用架构、微服务、智能硬件架构、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战等领域的热点话题与技术。 2月29日24点前仍处于八折优惠票价阶段,单场峰会(含餐)门票只需
用户1737318
2018/06/06
1.6K0
架构设计基础:单服务.集群.分布式,基本区别和联系
现在的互联网,几乎常见的复杂系统都会使用分布式架构,如果在不清楚概念之前,刚接触分布式架构这个名词会感觉十分的高大上,其实在对比单服务,集群服务之后,你就会发现本质上都是一样的。
知了一笑
2020/04/26
1.2K0
书单 | 11月新书速递!Apache Pulsar首著来啦
👆点击“博文视点Broadview”,获取更多书讯 11月新书速递 虽然快到年底了,但是我们丝毫没有懈怠,依然快马加鞭地把好书源源不断地奉献给大家! 本月新书实在有些多,所以本期书单挑选了部分技术图书分享给大家,其中既有游戏界绝对的王者《腾讯游戏开发精粹II》,又有新锐技术Pulsar、SequoiaDB的相关著作,还有一应俱全的微服务一本通、有趣好玩的算法书和Python自动化办公图书,具体都有哪几本,快来看看吧~~ ----  01 ▊《腾讯游戏开发精粹Ⅱ》 腾讯游戏 著 腾讯官方出品,领域经
博文视点Broadview
2023/04/19
6190
书单 | 11月新书速递!Apache Pulsar首著来啦
进阶Java架构师必看的15本书
1、大型网站技术架构:核心原理与案例分析 本书通过梳理大型网站技术发展历程,剖析大型网站技术架构模式,深入讲述大型互联网架构设计的核心原理,并通过一组典型网站技术架构设计案例,为读者呈现一幅包括技术选型、架构设计、性能优化、Web安全、系统发布、运维监控等在内的大型网站开发全景视图。 本书作者李智慧,曾在阿里巴巴担任技术专家,参与阿里巴巴基础技术平台开发和架构设计。 2、分布式服务框架原理与实践 微服务是当前非常热的技术关键词之一,那么微服务如何落地呢?首先要实现服务化,微服务架构是一种服务化架构风
Java技术栈
2018/03/30
3.2K0
进阶Java架构师必看的15本书
世界杯阵型之争的背后,国产开源项目百花争艳 | 码云周刊第 77 期
畅爽火热的狂欢月已然来临,在城市中随处都能感受到世界杯带来的激情。为世界杯加油怎能少得了程序员?不过今天我们不谈明星,不说球队,我们一起聊聊阵型。毫无疑问,阵型对于一支足球队来说,基本决定了比赛策略和节奏以及球员的职责,常见的几种如442、433、451、352等及其变种几乎涵盖了90%以上的阵型。小编今天就为大家整理了码云开源项目中的 433 阵型,希望大家能够喜欢! 如果大家有意向做开源项目,记得托管到 码云 上哦,我们会及时给予推荐。最后,如果你很喜欢以下提到的项目,别忘了分享给其他人哦! 三个前端
码云Gitee
2018/07/05
7150
微服务架构的中国式落地
近年,Spring Cloud俨然已经成为微服务开发的主流技术栈,在国内开发者社区非常火爆。我近年一直在一线互联网公司(携程,拍拍贷等)开展微服务架构实践,根据我个人的一线实践经验和我平时对Spring Cloud的调研,我认为Spring Cloud技术栈中的有些组件离生产级开发尚有一定距离。,比方说Spring Cloud Config和Spring Cloud Sleuth都是Pivotal自研产品,尚未得到大规模企业级生产应用,很多企业级特性缺失(具体见我后文描述)。另外Spring Cloud体系还缺失一些关键的微服务基础组件,比如Metrics监控,健康检查和告警等。所以我在参考Spring Cloud微服务技术栈的基础上,结合自身的实战落地经验,也结合国内外一线互联网公司(例如Netflix,点评,携程,Zalando等)的开源实践,综合提出更贴近国内技术文化特色的轻量级的微服务参考技术栈。希望这个参考技术栈对一线的架构师(或者是初创公司)有一个好的指导,能够少走弯路,快速落地微服务架构。
技术zhai
2018/05/30
1.2K0
微服务架构的中国式落地
阿里 P8 高级架构师,都需要掌握哪些技术栈?
大家都知道,阿里P8高级技术专家,基本上是一线技术人能达到的最高职级,也是很多程序员追求的目标。达到平均年入百万的P8 Java高级架构师级别,不仅要具备优秀的编程能力和系统设计能力,在技术视野和业务洞察力方面,也要有很深的积淀。
Bug开发工程师
2019/05/22
1.2K0
微服务架构解析:跨越传统架构的技术革命
微服务架构(Microservices Architecture)是一种软件架构风格,它将一个大型的单体应用拆分为多个小而独立的服务,每个服务都可以独立开发、部署和扩展。每个微服务通常聚焦于某一个特定的业务功能或领域,能够通过轻量级的通信协议(如 HTTP/REST、消息队列等)与其他微服务进行交互。
用户7954602
2024/12/07
5870
微服务架构解析:跨越传统架构的技术革命
微服务架构10个最重要的设计模式
自从软件开发的早期(1960年代)以来,解决大型软件系统中的复杂性一直是一项艰巨的任务。多年来,软件工程师和架构师为解决软件系统的复杂性进行了许多尝试:David Parnas的模块化和信息隐藏(1972),Edsger W. Dijkstra的关注分离(1974),面向服务的体系结构(1998)。
肉眼品世界
2021/01/06
1.1K0
微服务架构10个最重要的设计模式
Sharding-JDBC往事
2015年夏天我们在北京静安中心12层当当架构部启动自研数据库中间件项目的时候,完全没想过3年多之后,这个项目会成为首个加入Apache基金会的分布式数据库中间件开源项目,并在超过60家公司的系统中投入应用。
IT民工闲话
2019/07/16
1.2K0
《ArchSummit:从珍爱微服务框架看架构演进》
今年的ArchSummit的主题是“数字化转型下的架构升级”,主要聚焦:云原生、研效提升、IoT 系统架构、微服务架构、低代码系统、出海业务架构、人工智能与机器学习、企业数字化转型、前端 Serverless 研发体系、金融领域数字化转型、大数据实践与应用等领域。
后台技术汇
2022/11/08
5850
《ArchSummit:从珍爱微服务框架看架构演进》
转型求通——微服务架构的最佳实践和发展趋势 | Techo大会精彩回顾第二期
全文共7399字,阅读需要14分钟 导读 刘冠军《万象伊始——集中式架构为何演进到微服务架构》 秦金卫《转型求通——微服务架构的最佳实践和发展趋势》 曹国梁《深度剖析—— 传统架构的云原生改造之路》 万俊峰《转型之后——面对流量洪峰,微服务架构如何进行弹性设计?》 陆绪之《落地实践——Service Mesh下的微服务落地实践》 注:发言仅代表讲师个人观点 讲师介绍 秦金卫 Apache Dubbo/ShardingSphere PMC 前某集团高级技术总监/某商业银行北京研发中心负责人
腾讯云中间件团队
2021/03/24
9550
解读服务网格的2021:告别架构“大跃进”,技术生态百家争鸣
服务网格的 2021,“稳” 字当先。不管是原生社区发展,还是行业实践落地,都以 “稳定” 为第一要义。少了前几年大跃进式的架构演进、功能更迭,多了更务实、更落地的行业探索与实践,2021 年的服务网格正从当年那个狂奔的“少年”、“流量明星”,成长为真正的“实力派”,逐步进入成熟期,被更多行业、企业和标准化组织所接纳。本文将从社区进展、实践落地、行业标准、技术生态等角度回顾服务网格的 2021,帮助读者了解过去一年服务网格的整体进展,为企业选型、落地服务网格提供一些参考。
深度学习与Python
2022/03/01
5800
解读服务网格的2021:告别架构“大跃进”,技术生态百家争鸣
云原生之微服务架构
傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波
山河已无恙
2023/01/30
9320
云原生之微服务架构
Java程序员如何学习架构
怎样从一位程序员进阶成为一名合格的架构师?这是很多刚刚成为程序员和已经工作三五年的程序员会经常问道的问题。 先来看看大型网站的架构演化路线 初始阶段 应用和数据服务器分离 这一步主要还是把数据
三哥
2018/06/15
6700
推荐阅读
相关推荐
嘉年华专访 | 我有故事,你有酒吗?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档