Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >如何利用数据架构带动企业增长?

如何利用数据架构带动企业增长?

作者头像
个推君
发布于 2019-03-12 02:45:28
发布于 2019-03-12 02:45:28
4240
举报
文章被收录于专栏:原创原创

对于架构师而言,技术的发展是无尽的,在搭建和实践智能数据架构的过程中,架构师们都会或多或少地遇到一些疑惑和挑战,如何解决在架构建设中遇到的某些问题?架构建设的领域又有什么新的行业动态和技术方法?

近日,在个推TechDay全国沙龙北京站的现场,几位资深架构师围绕“以智能数据架构,挖掘增长金矿”的主题,开启了对智能数据技术的深入探讨。

贝壳金服2B2C CTO 

史海峰 《架构之十年磨剑,大巧不工》

在传统的IT行业中,企业级业务系统是技术水平的高峰,比如电信、金融、税务系统。以电信行业为例,它有其独有的行业特征:业务系统本身就是生产系统,信息化程度高;24小时全天候跨地域不间断地提供服务;业务复杂,功能多样等。电信行业中以中国移动为代表的架构设计规划最为领先,该架构有一套完整的设计规范,整体建设周期也很长。

而在PC互联网时代,电子商务纷纷崛起,很多互联网电商平台都面临着从自营到平台化转变的挑战。自营与平台化最大的区别在于,自营只有一个商户,而真正的平台则需要像云计算一样,支持多商户的入驻与经营。对于架构师来说,要实现这样的平台转型,需要有清晰的业务系统架构总图、系统架构蓝图以及技术架构规划。

进入到移动互联网时代,手机的普及使得O2O快速发展。O2O平台对于系统稳定性的要求非常高,而且对业务发展的响应速度也提出了新的 ,其所需要的技术架构非常复杂、需要有严谨的基础架构和运维机制,还要维持创新能力。

到了产业互联网时代,架构师应该对行业有更深入的理解和实践,同时,也要有相应的架构思维,从“点、线、面、体”各维度提升认知,在进行架构建设时,架构师不仅要考虑到技术上实现的可能性,也要考虑到行业特点,以及企业各个方面对于互联网技术的态度与需求。

个推平台架构主管

王志豪 《微服务网关架构实践

微服务是指,将单一的应用程序拆分成多个微小的服务,各个小服务之间低耦合,高内聚,每个小的服务可以单独进行开发,不依赖于具体的编程语言,也可以使用不同的数据存储技术,各个服务可以独立部署,拥有各自的进程,相互之间通过轻量化的机制进行通信,所有的服务共同实现具体的业务功能。

个推整体的微服务架构,主要是基于Docker和Kubernetes进行实践的。个推将应用服务分为三层,最上层是API网关,为服务提供统一的入口;第二层是业务逻辑层,主要实现具体的业务逻辑;最底层是基础服务层,为同一产品线下的不同产品提供共同的基础服务。

在构建整个微服务体系时,个推选择了研发自己的网关。目前市面也有很多优秀的网关产品,但都并不是特别适合个推的微服务体系。

第一,个推的配置和服务注册与发现均基于Consul实现的;

第二,很多的开源的网关的配置相对于个推的需求略显复杂;

第三,由于不同的功能很难用统一的网关去实现,个推更希望在API网关的功能扩展上保持足够的灵活性;

第四,个推的微服务体系是基于Docker和Kubernetes进行实践的,其他的网关较难直接融入个推的微服务体系。

个推选取了OpenResty+Lua作为实现网关的技术选型。其中,OpenResty是一个基于 Nginx 与 Lua 的高性能 Web 平台,Lua则是一个较为轻量的、扩展性较强的语言。同时,个推也借鉴了Kong和Orange的插件机制,通过插件的方式实现网关功能的扩展。

个推的微服务网关的设计重点,体现在插件的设计和请求过程,每个插件都会在OpenResty的一个或多个阶段起作用。在进行请求处理的时候,个推会按照产品配置和插件规则筛选出具体执行的插件,然后实例化插件,对流量进行处理。个推微服务网关还有规则配置简单,不同插件实现灵活,配置基于Conusl实时热更新等特点。在自己的微服务网关中,个推还实现了诸如动态路由、流量控制、Auth鉴权、链路追踪、A/B Testing等功能。

在实践微服务网关的过程中,个推还有一些有待改进的地方,比如:网关的弹性设计不够、网关还需要进一步与DevOps进行结合等。

百度主任架构师

郑然搜索引擎的大数据计算架构

搜索引擎的建设主要分为三个方面,第一,是内容抓取部分,爬虫会将海量信息抓取下来;第二,是检索系统部分,系统需要加入对已抓取信息的内容的理解,放到索引中;第三,是索引构建部分。

支持搜索引擎计算的建库部分中,有一个非常核心的系统:Tera,它是一个大型分布式表格存储系统,可以进行高性能、可伸缩的半结构化存储,同时支持存储万亿量级的超链和网页信息。Tera系统有八个核心技术

1、数据模型的全局有序;

2、实时的读写和区间扫描(这一点与数据模型的全局有序也密不可分);

3、可以支持行式存储和列式存储;

4、友好的分布式文件系统

5、利用SSD cache热数据;

6、数据压缩,异步IO和分组提交等性能优化手段;

7、支持秒级分裂合并,并且能够实现自动负载均衡

8、在分布式数据库上实现了分布式事务。

Tera是百度搜索引擎从批量处理迈向实时流式计算的最基础的架构,它可以提供实时的读写能力,同时提供海量存储和增量计算,并且节约增量成本。在研发方面,Tare也能够使中间数据可见、Debug能力增强。

本质上来说,Tera是一个分布式存储系统,它需要遵循分布式存储系统的设计要素,包括:明确数据模型、存储引擎的设计、数据分片的方式、如何管理元数据、高可用的设计以及应用的是分层式还是竖井式的存储。同时,存储系统也需要进行性能优化工程的实践,包括指标数据的采集和可视化、先做profiling再手动优化、面向SSD进行编程、Batch&pipeline&asynchronous和学习存储引擎的先进研究成果。

京东数科高级DBA

潘娟Sharding-Sphere云架构演化

互联网应用业务的特点是用户和数据量大、产品迭代迅速、业务组合复杂、突发性流量暴增以及7*24小时不间断提供服务,这些特点导致互联网架构从一开始的单体式架构发展到分布式微服务,再到云原生架构。分布式微服务使得系统解耦可用性得到提升,而云原生架构更好地实现了资源按需伸缩、自动化的部署和管理。同时,互联网数据库也在不断地升级,由于早期的RDBMS无法满足数据扩展的需求,NoSQL应运而生。再到后来,囊括分布式数据库、分布式数据库中间件以及云数据库的NewSQL也都纷纷顺应数据扩展的需求而产生。

作为分布式数据库的中间件,Sharding-Sphere可以借助底层成熟的关系型数据库进行增量持续的开发,这满足了分布式的需求,并且能够大大降低运维和接入成本。

同时,Sharding-Sphere也应该拥有四种核心能力:

1、能够通过数据拆分或读写分离,实现数据分片的能力。具体来讲,数据分片需要先通过SQL解析,对查询语句进行优化、合并和改写,再找到可以执行的SQL,最终实现结果归并。

2、分布式事务能够保证数据的一致性。在数据还未打散之前,我们可以用传统的ACID(Atomicity、Consistency、Isolation、Durability)保障数据的一致性;但在数据被打散之后,我们则需要引进新的BASE原则(Basically Available、Soft state、Eventual consistency)来保障数据一致。有两种方式可以实现分布式事务BASE:一种为XA,虽然XA支持回滚,能够达到强一致性,但当并发量变大,它的性能会急剧下滑;而另一种方式是柔性事务,在这种方式下,当业务量急剧上升时,并发性能只会发生略微衰退,并且能够保证,在最终达到一致。

3、数据库治理。Sharding-Sphere可以通过注册中心的操作,实现统一管理、熔断或失效转移的功能,同时可以通过拓扑图和调用链来打造APM监控。

4、弹性伸缩Sharding-Sphere是由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar这3款相互独立的产品组成的,他们均提供标准化的数据分片、分布式事务和数据库治理功能。Sharding-JDBC更适用于单体应用和分布式微服务,它是一个轻量级的Java框架;Sharding-Proxy实现了MySQL的二进制协议,并且不存储任何数据;Sharding-Sidecar的核心是Service Mesh Sidecar,能够帮助本地的应用层与网络节点进行沟通。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018/12/12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
大模型手机密集下场:华为、荣耀、OPPO、vivo、小米杀疯了
不出意外,AI大模型浪潮卷到了智能手机领域,智能手机厂商争先恐后地自研AI大模型或者联手AI大模型厂商,挖掘智能手机与AI大模型的融合发展的巨大潜力。
刘旷
2023/11/06
4120
把大模型塞进终端,能让消费电子市场回暖吗?
高通、AMD、英特尔等上游的芯片厂商,争相喊出了混合AI、终端AI、AI计算等概念,努力向外界讲述终端AI化的想象空间;华为、小米、vivo等手机厂商,纷纷将“大模型”搬到智能手机上,示范了智能助手、AI生图等应用场景;联想代表的PC厂商,也顺势讲出了AI PC的新故事……
Alter聊科技
2023/12/03
1780
把大模型塞进终端,能让消费电子市场回暖吗?
将AI大模型装进你的手机,你愿意么?
AI大模型的发展,有两个方向,一个是模型越做越大,以规模来提升性能。还有一个重要的方向,就是通过将模型做小,来嵌入手机、电脑等计算终端,这同样是值得关注的发展方向。
数据猿
2024/05/28
1950
将AI大模型装进你的手机,你愿意么?
苹果放弃造车:AI布局已被中国手机甩开一年 | 深网
意料之外的是,花费数十亿美元、秘密开展了10年的Titan项目(造车计划)会成为苹果的“弃子”。但在电车突破寥寥、生成式AI已成为全球最重要风口的背景下,苹果放弃造车专注AI项目又在情理之中。
小腾资讯君
2024/03/13
1950
构建端侧生成式AI生态,联发科领先高通的一步好棋
继去年11月推出天玑9300,率先将生成式人工智能(AI)带入到智能手机端之后,芯片大厂联发科(MediaTek)为了引领移动生态抓住“生成式AI手机”市场机遇,近日召开了首届“天玑开发者大会”(MDDC 2024),并携手合作伙伴共建“生成式AI手机”标准与天玑移动AI生态,加速推动 “生成式AI手机”的普及。
芯智讯
2024/05/17
1920
构建端侧生成式AI生态,联发科领先高通的一步好棋
端侧大模型浪潮奔涌而至:态势、影响与建议
10月10日,Vivo推出蓝心端侧大模型 3B,其AI能力已覆盖60多个国家和地区,服务超5亿手机用户,大模型token输出量超过3万亿;随后,字节发布首款AI智能体耳机Ola Friend,与豆包深度集成;18日,荣耀同期发布了Magic OS 9.0 ,打造AI OS,其上的YOYO智慧助手已经打通了多款APP,可以实现一句话充值、一句话点外卖等服务。中国信通院与荣耀等企业还共同发布了《终端智能化分级研究报告》,推出了行业首个终端智能化分级体系。
小腾资讯君
2024/10/31
4730
卷生成式AI的旗舰手机,2024年会引发一场交互革命
先是在 10 月份的骁龙峰会上,小米放出消息,能在手机端侧运行的 60 亿参数大模型。
机器之心
2023/12/20
2470
卷生成式AI的旗舰手机,2024年会引发一场交互革命
今年,中国AI大模型产业发展看这些
仔细想来,自 2016 年 AlphaGo 在围棋上打败人类起已过去八年。如今人工智能技术的发展却丝毫没有减速,正在给我们创造更大的震撼。
机器之心
2024/04/12
1150
今年,中国AI大模型产业发展看这些
生成式 AI 时代,手机正在进行一次全栈革新?
最近一段时间,AI 与大模型技术突飞猛进。春节刚过,前沿方向上就迎来了新一轮突破。
机器之心
2024/03/07
1870
生成式 AI 时代,手机正在进行一次全栈革新?
新火种AI|三星打响“AI手机”第一枪,2024会是AI终端元年吗?
作为常年盘踞销量全球前三的品牌,三星突然宣布,将在北京时间1月18日凌晨2点推出下一代旗舰设备Galaxy S24系列,包括Galaxy S24、Galaxy S24+和Galaxy S24 Ultra。
新火种
2024/01/06
1460
国产手机:2022疑无路,2023又一村?
1月28日,Counterpoint Research公布的2022中国智能手机市场销量报告显示,中国智能手机销量2022年同比下降14%,达到十年来的最低水平。销量持续走下坡路,国内智能手机厂商们似乎已难改市场羸弱现状。
刘旷
2023/02/08
2130
大模型深入智慧之地,手机厂商会如何交卷?
在蓬勃发展的 AI 浪潮中,各行各业似乎都在积极投入大模型。由此我们更想探讨,企业之所以追逐大模型,是基于真实的业务需求,还只是跟风效仿?
深度学习与Python
2023/11/27
1730
大模型深入智慧之地,手机厂商会如何交卷?
从潮汐架构和安第斯大模型,看智能手机的未来演进
最近这段时间,手机厂商纷纷发布了自家最新的旗舰系列。其中,有一些技术,蛮值得关注的。
鲜枣课堂
2024/01/23
2890
从潮汐架构和安第斯大模型,看智能手机的未来演进
高端手机格局再生变数,华为赋魅、苹果祛魅
历经二十多年发展,智能手机产业链高度成熟,消费者换机需求疲软,智能手机厂商艰难创新,市场存量竞争早已进入白热化阶段。
刘旷
2024/05/13
1470
业界 | Kirin 970完爆A11,但华为手机的真正利器是HiAI移动计算平台
机器之心原创 作者:黄小天 9 月 2 日,德国柏林 IFA 2017 电子展上,华为消费者业务 CEO 余承东推出全球第一款手机端 AI 芯片麒麟 970(Kirin 970),以芯、端、云协同发展
机器之心
2018/05/08
9420
业界 | Kirin 970完爆A11,但华为手机的真正利器是HiAI移动计算平台
华为小米vivo向上,苹果荣耀OPPO向下
日前,Counterpoint发布的手机销量月度报告显示,中国智能手机销量在2024年第四季度同比下降3.2%,成为2024年唯一出现同比下滑的季度。而对于各大智能手机品牌来说,他们的市场份额和格局也在悄然发生变化。
刘旷
2025/01/22
1080
没有App,也没有 App Store,未来的手机会干掉全部应用开发人员吗?
在上个月的 WMC2024 上,德国电信联合高通、Brain.ai 推出了一款突破性创新的概念 AI 手机 T phone。与传统智能手机不同,这款手机主打一个“无 App”,它清除了屏幕上的密密麻麻的 App 图标,只留有一个按钮用来激活手机里的 AI 助手,让用户通过类似 ChatGPT 的操作界面来交互。
深度学习与Python
2024/03/26
1190
没有App,也没有 App Store,未来的手机会干掉全部应用开发人员吗?
跳脱低迷,华为、苹果、荣耀OV小米激战2024
尽管2023一整年,很多行业都在逐渐复苏,但是对于手机圈来说,这股“春风”似乎就跟没吹过一样。整整一年哪怕厂商穷尽力气去卷,但行业低迷、市场体量下滑的局面,仍然没有得到有效扭转。
刘旷
2024/01/22
2220
苹果开源可以在手机上跑的大模型!代码、权重、数据全公开,AI应用开发的下一个风口?
苹果开源了一个在设备端运行的 AI 模型 OpenELM,同时还公开了代码、权重、数据集、训练全过程。
深度学习与Python
2024/04/26
1.1K0
苹果开源可以在手机上跑的大模型!代码、权重、数据全公开,AI应用开发的下一个风口?
手机厂商的开年大考:卷AI,还是卷MR?
一个是OpenAI发布的一系列demo视频,仅需寥寥数字的提示词,文生视频模型Sora即可生成一段场景逼真、动作丝滑、细节丰富的视频。被“震惊”的不单单是影视从业者,包括周鸿祎在内的大佬坦言:通用人工智能的实现时间可能缩短至一两年。
Alter聊科技
2024/03/04
1450
手机厂商的开年大考:卷AI,还是卷MR?
推荐阅读
相关推荐
大模型手机密集下场:华为、荣耀、OPPO、vivo、小米杀疯了
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档