国庆节前最后一篇, 前几期从国外数据库历史, 国内数据库历史, 搞笑数据库捡屎, 国庆节前也不能闲着.最近在看一本书, 关于下一代数据库.
数据库领域同样如此。过去五十余年,数据库经历OLTP和OLAP两种需求漫长的融合-分离-再融合的过程。究其原因,数据库的发展始终与用户场景需求变迁紧密相关。如今,随着云计算和大数据的兴起,业务场景正在经历前所未有的变革,数据库领域也掀起了一股HTAP浪潮。
随着物流行业的不断发展,物流企业中涉及生产、运输、仓储及运送流环节中的各类数据增长迅速,呈现数据量大、数据类型多、价值变现难的特点。作为中国大宗物流的领导企业,山西快成物流科技有限公司(简称“快成物流”)利用 TiDB 一栈式数据服务平台实现全流程精细化运营,加速海量数据的价值变现,进一步驱动产业创新。
主持人: 云计算的基础核心是数据中心,新一代的数据中心也对技术和运营因素提出了诸多新的要求。今天的压轴演讲将来自神州信息技术方案事业部总经理姚旭,他将和我们分享:新一代的数据中心,掌声欢迎! 姚旭: 大家下午好!下面我来介绍一下我们对新一代数据中心的理解和认识。首先,我想谈一下当下最热的,全民都在热议的就是互联网带来的一场革命,我们切实的能感受到互联网在不断的颠覆我们这些传统行业,在深刻的改变我们的这个世界。同时影响着我们的工作和生活的方方面面,但是互联网做什么呢?其实在专注做一件事,就是在做创新,什么创新
近日,偶数科技对外宣布已完成近 2 亿元的 B+ 轮融资,这是继红点中国、红杉中国、金山云之后的第四轮融资。据悉,本轮融资由某科技巨头领投,老股东红杉中国和红点中国继续加码。Scale Partners 势能资本为本轮的财务顾问。 偶数科技是一家总部位于北京的云原生数据仓库和 AI 产品公司,其自主研发的 OushuDB 是一款高性能云原生数据仓库,可以用于构建企业核心数仓、数据集市、实时数仓和湖仓一体数据平台。现阶段,偶数科技已经服务大型金融、电信、政府、能源等众多领域的国内外客户,其中包括建设银行、中
2022年4月,Tapdata 启动 PDK 插件生态共建计划,致力于全面连接数据孤岛,加速构建更加开放的数据生态,旨在充分激发实时数据流动的价值,助力各行各业完成从传统数据架构平滑过渡到新一代数据库架构,为用户提供更好的数据服务体验。作为参与该计划的首批生态共建伙伴,Apache Doris 与 Tapdata 强强联手,共建下一代数据架构。
近年来,随着全社会数据总量爆发式增长,数据中心规模也在快速发展。据IDC预计,2022年-2026年,全球新建数据中心数量将以8.6%的年复合增长率(CAGR)增长,这对存储基础设施提出了包括提供海量空间、多样存储、弹性扩容、极致性能、智能运维、高密存储、绿色低碳等崭新的要求,而固态硬盘(SSD)存储以高可靠、低时延、低能耗等特性,成为新一代数据中心的主要存储介质。
PingCAP 宣布 TiDB Cloud 正式商用,助力全球企业在云上构建新一代云原生应用。
1、多租户数据安全性;SaaS向前推进的一道必过的难关就是安全,在数据层面的数据隔离是最关键的环节之一。传统的数据隔离方式包括拆分数据库、拆分sechma和通过不同租户的关键字来进行数据隔离。但是这三种方式都存在缺陷。其中,不同租户使用不同数据库的方式隔离的最彻底,但是付出的成本极高;通过Sechma的方式进行租户数据的隔离,相对更轻量级,但是仍然需要付出不小的维护成本,还需要增加中间件来隔离应用访问数据的复杂度;基于关键字段来进行数据区分是最简单最低成本的方式,但是风险最高,很容易因为程序员的疏忽导致重大的数据安全问题。因此,如果能够有一个数据库能够进行更细粒度的数据隔离能力,又不影响性能,还能不对应用的访问增加复杂度,才是真正能够适应于SaaS多租户数据保护的数据库。DawnSQL作为新一代国产数据库,通过在数据存储的过程中,真正在数据记录层面注入用户隐私信息,在SQL的执行计划中,增加一层基于访问权限的数据处理,彻底解决数据隐私保护的安全问题。
内容来源:2017 年 11 月 18 日,北京偶数科技创始人兼CEO常雷在“第七届数据技术嘉年华”进行《云数据库的本质》演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
大家好,我是王召,现在负责新一代数字化企业云平台 “The Platform” 的SPM、MKT领域系统。很荣幸这次有机会和大家分享“DevOps领域系统之SPM” 。 也许有好多朋友是新进来的,不
CynosDB源于单词Cynosure,是古希腊神话中北极星的名字,就是北天小熊座最亮的一颗星,现译为引人注目的人或物、天生的焦点。
数据平台是企业进行数据分析和数据应用,从而实现数字化转型的核心基础设施。通常,数据平台包含数据采集与接入、数据存储与计算、数据管理、数据分析与挖掘、数据服务等功能。
导语 | 分析型数据仓库经历了共享存储、无共享MPP、SQL-on-Hadoop几代架构的演进,随着云计算的普及,传统的数据仓库架构在资源弹性,成本等方面已经很难适应云原生的要求。本文由偶数科技 CEO,腾讯云TVP 常雷在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《新一代云原生数据仓库的应用》演讲分享整理而成,为大家详细剖析新一代云原生数据仓库的架构、原理和实现技术,以及如何充分应用云原生数据仓库的特点来实现云上大数据应用。 点击可观看精彩演讲视频
新型数据库/多维表格的鼻祖是 Airtable. 目前, Airtable 早期以表格为主,国内模仿者包括 Seatable、飞书多维表格等。
1 差点崩溃 多年前,我在一家第三方支付公司做研发副总,那个时候公司刚好要上线第四代收单平台,我的工作就是推动新平台上线。 第一代收单平台数据库用的是 Oracle,随着公司交易量的持续猛增,Oracle 已经很难支撑了。 到了新平台全面采用微服务架构,从架构上最大化的减轻数据库的压力,主力数据库也从 Oracle 切换到了 Mysql。 当时公司每天的交易额在上百亿,日订单量也在百万级,虽然使用了分库分表,但后期数据库压力仍然巨大。 为减轻数据库压力,频繁水平切数据、扩容,数据库工程师都快崩溃了。 那个
本文共2282字,建议阅读7分钟 本文为大家解读结构化数据的前沿动态。 [导读]数据库是当前数据分析中最重要的数据存在形式,但受其封闭性和关系代数四十年没有关键性发展等影响,现今很难满足多数据计算量的计算需求。演讲嘉宾蒋步星将针对结构化数据常见的集合和有序运算以及大数据计算等实际业务需求,分析探讨关系代数在描述和实施计算时面临的困难,研究结构化数据的计算特点后提出更有适应性的计算模型,并进一步形成更有开放性的计算能力提交方案,最后再简单分享对新一代数据仓库的展望。 本讲座选自润乾软件创始人蒋步星于2
2023年5月12日,受北京市数字办公安全创新联合体委托,由自主可控新鲜事和爱分析联合撰写的《2023新一代数字办公白皮书》(以下简称《白皮书》)在“2023通明湖论坛 信创基础底座创新发展分论坛”上正式发布。
大家好,我是PingCAP CEO刘奇。今天我将和大家分享一下如何构建一个NewSQL数据库。 首先,来介绍下我自己。和你们当中很多人一样,我是一名开源Hacker,一名架构工程师,并长期致力于创建新一代数据库。我曾投身于以下几个开源项目的工作,包括TiKV、TiDB 和Codis,这些项目都已在Github上发布。今天,我的演讲将涉及下列话题: 简要介绍NewSQL; 如何建立一个NewSQL数据库; 以及roadmap。 ▌为什么我们需要一个新的数据库? 在正式开始前,我先问一个
为帮助开发者更好地了解和学习前沿数据库技术,腾讯云数据库特推出"DB TALK"系列技术分享会,聚焦干货赋能创新,邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 第二期分享会“数据库内核技术探秘”专场已结束,本期带来各讲师分享精华及直播回顾视频。想要讲师ppt的小伙伴,可在腾讯云数据库公众号后台发送"5.7内核课件",即可获得讲师课件哦! Redis的多可用区实践 刘家文,腾讯云数据库高级工程师 在如今的业务场景下,高可用性要求越来越高,核心业务跨可
数据库内核技术是数据库的底层技术根基,腾讯云数据库在基础架构领域上一直坚持前沿技术探索与实际落地应用相结合,持续提升产品性能,助力企业国产化升级,推动国产数据库发展行稳致远。 近年来,腾讯云数据库积极拥抱云原生和国产化的趋势,致力于发展自研数据库技术,帮助全行业用户降低上云成本。其中腾讯云TDSQL已被3000多家来自金融、公共服务和电信垂直行业的客户采用,中国十大银行中的六家都应用了该产品。 5月7日19:00-21:40,腾讯云数据库"DB TALK"系列技术分享会第二期“数据库内核技术探秘”专场即
迪B哥教你利用碎片化时间学习数据库知识! 总结: 全量和增量小的实例适宜一天一备 数据量大的且恢复失效不敏感的实例适宜一周一备 恢复敏感的实例适宜定期备份+延迟节点 你一定还想看 《磊哥测评:自建数据库VS云数据库,到底怎么选?》 《腾讯云自研数据库CynosDB存储架构揭秘》 《腾讯云新一代数据库发布 企业“上云”成本大幅降低》 《迪B课堂:如何正确的选择云数据库》 《磊哥测评:腾讯云数据库 VS 阿里云数据库》 《听云轻松处理日均千亿级数据请求量背后的秘密》 《如何设计和实现高可用的MySQL》
近日, MongoDB CEO Dev Ittycheria做客CNBC最当红的节目Mad Money,与主持人Jim Cramer(著名华尔街资金管理人)一起向观众分享始终高速发展的MongoDB公司的客户及合作伙伴情况,从而为节目观众提供持股建议。
近日,AWS首席布道师Jeff Barr在AWS官网发文宣布:亚马逊消费者业务永久去掉Oracle数据库。
1.当前,企业在大数据和数据中台建设上取得成果,但数据开发管理仍具挑战性(成本、效率、复杂度)。
2022年4月7日,Tapdata 正式启动 PDK 插件生态共建计划,致力于全面连接数据孤岛,加速构建更加开放的数据生态,以期让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据。截至目前,已有超10家数据库领域活力代表,作为首批生态共建伙伴加入:
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 当IT行业改变整个世界的时候,DevOps理念从大量产业实践中诞生。 如今AI也进入产业化新时代,继承者MLOps或者叫AI工程化也越发火热。 Gartner咨询公司将AI工程化列为2022年十二大战略性技术趋势,IDC则预测到2024年60%的企业将MLOps用于机器学习工作流。 △图源:ml-ops.org 这一波浪潮之中,算法的工程化一如既往的跑在前面,模型的自动部署、持续训练甚至AutoML都有较大进展。 与之相对的是,数据的工程化稍显落后。
10月14日,湖南省公安厅组织开展了2021年国家网络安全宣传周法治主题日活动。其中,由腾讯安全、长沙市数据资源管理局、湖南省网络空间安全协会、北京微步在线科技有限公司共同承办的关键信息基础设施安全保护条例宣贯暨数据安全治理高峰论坛,汇聚了湖南省公安厅领导、公安领域专家、高校法学教授、行业专家等重要嘉宾出席。
Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求,新一轮数据库技术革命已经启动。 Twitter是所有大型互联网公司中产品实时性和技术进化速度最快的一个,本周Twitter在博客中公布了实时数据服务的核心引擎——曼哈顿(Manhattan)数据库的技术细节。曼哈顿是一个分布式、实时数据库,服务对象是Twitter公司内部的多个团队和应用。 曼哈顿数据库的数据处理能力和速度让当今流行的开源数据库相形见绌,这些数据库已经无法满足Twitter规模的生产环境
数据是一个企业的心脏命脉,数据的安全性直接影响着整个业务的发展,没有数据平台,就等于没有招牌,公司业务将无法运转, 所以大家明白数据的重要性,就要意识到数据的安全性。
1、数据库系统工具分类:数据库管理工具(加载工具、备份工具、文件重组工具和性能监控工具等)和数据库系统设计和开发工具(CASE工具、应用开发工具、通讯接口)。
数据库与操作系统、中间件组成了基础软件的三驾马车,也是企业 IT 系统必不可少的核心技术。从上世纪 60 年代诞生至今,不论是互联网行业还是银行、电信、制造等传统行业,都依赖着数据库技术的演进。 在步入云原生时代以后,传统数据库在服务可用性、数据可靠性、系统安全性、数据库备份、软硬件投入、系统托管、维护成本、部署扩容、资源利用率等关键方面都有所欠缺。在此背景下,分布式数据库系统获得了令人振奋的发展,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便
2018年11月5日,虹桥商务区,俯瞰宛如一枚“四叶草”的上海国家会展中心,全球第一个以进口为主题的国家级展会——首届中国国际进口博览会揭开面纱。
软件正在重新定义世界。一场令人心潮澎湃又迷茫担忧的变革,因为 ChatGPT 的出现而正在发生。软件架构和研发工作流会因为 ChatGPT 产生哪些变化,落地 ChatGPT,AI 和大数据基础设施要做哪些准备,哪些职业会加速消失……所有人都迫切地想知道答案,何不来到今年 5 月 26-27 日在广州举办的 QCon 全球软件开发大会一起讨论,本场大会按照架构演进、业务思维、效率革命、AI 与大数据、大前端、编程语言等多个角度策划了十多个精彩专题,我们希望通过这些主题,为你提供最新的技术趋势和最佳的实践经验
导语:数据湖的出现,为企业存储海量数据提供了一个高度可行的解决方案。关于数据湖,常见的定义是:数据湖是一个以原始格式存储数据的大型数据仓库或系统。 在大数据时代,数据湖技术已经获得了广泛认可与实践,它能够帮助企业更加轻松地收集、管理和使用数据,从规模庞大的数据中获取能够有效推动业务增长的信息洞察。 而随着行业的发展,数据湖技术本身,也在持续进行着自我演进,涌现出了许多新的技术手段与方法论。作为“后浪”的新一代数据湖技术,逐渐走上舞台。 9月8日19:00-21:00,腾讯大数据技术沙龙《新一代数据湖技术》
日月开新元,天地又一春。值此辞旧迎新之际,腾讯云数据库向一直以来给予我们巨大信任和支持合作伙伴送上最诚挚的新年祝福! 2018年是腾讯云数据库发展不平凡的一年,这一年的进化凝聚着所有合作伙伴的大力支持; 展望未来重任在肩,腾讯云数据库将努力创新,为所有合作伙伴提供更值得托付的云服务! 在此,腾讯云数据库团队恭祝您: 猪年大吉,诸事顺利,身体健康,万事如意! 点击视频一睹腾讯云数据库幕后“英雄”的风采 ▼ 你一定还想看 《磊哥测评:自建数据库VS云数据库,到底怎么选?》 《腾讯云自研数据库Cynos
新基建,正在成为产业互联网发展的核心关键词。 以信息基础设施为代表的“新基建”,不仅降低成本、提升效率、创新商业模式,还将拉动新材料、新器件、新工艺和新技术的研发应用,促进制造业技术改造和设备更新,为新技术的发展,新产业、新模式和新业态的形成与大规模商业化提供必要支撑。 腾讯联合工信部通信科学技术委员会、中国航空工业集团、中国移动、中国工业互联网研究院、招商证券、太和智库、上海人工智能研究院、易观和深圳创新科等多家单位,共同举办《“新基建”如何助力实体经济》系列沙龙。 AI与数据中心作为未来智慧城市的大脑
11月10日,腾讯WeMap发布会在京举行,以“探新境、知未解、创未来”为主题,重磅发布腾讯地图产业版(WeMap),打造腾讯面向智慧产业的时空数字底座。 腾讯副总裁钟翔平表示,产业互联网与未来城市的融合,正在持续加速,对时空数据的应用,提出了新需求,地理信息产业也迎来了新机遇、新挑战,“产业互联网地图时代”正在开启。 未来城市和产业数字化将由数据驱动,需要建立一个数字底座,来连接物理世界和数字空间,其中地图就成为了二者之间的桥梁。特别是在新基建的浪潮下,新一代数字地图将成为未来城市和产业的核心数字基础
并行数据库系统是新一代高性能数据库系统,致力于开发数据库操作的时间并行性和空间并行性,是当今研究热点之一。并行数据库技术起源于20世纪70年代的数据库机研究,希望通过硬件实现关系操作的某些功能。研究主要集中在关系代数操作的并行化和实现关系操作的专用硬件设计上。80年代后,逐步转向通用并行机的研究。90年代以后,存储技术、网络技术、微机技术的迅猛发展,以及通用并行计算机硬件的发展,为并行数据库技术的研究奠定了基础。
大数据平台是一个发展非常迅速的方向。本周Apache撤回了13个和Hadoop相关的项目,也给还在鼔吹Hadoop大数据生态的可以说是当头一棒。这几年社区里开始出现很多公司使用ClickHouse替换Hadoop生态的现象,让ClickHouse成为大数据的新宠。这一块我也对ClickHouse这个方向及大数据存储方向做一个反思,给大家一些参考。
<数据猿导读> 在当前的资本寒冬之下,国内领先的新一代分布式数据库厂商SequoiaDB巨杉数据库宣布获得世界顶级投资机构DCM领投的B轮融资1000万美元,A轮投资机构启明创投跟投,而此次融资也成为
美国Oracle、德国SAP是全球TOP2的ERP软件供应商,其能够成功的重要原因就是基于其管理和运营理念的发展以及科学管理人才的储备,并将最先进的管理和运营理念整合到ERP软件中,以此提升企业的信息化水平和价值链效率。
你听过去SOS吗?我想很多人都是第一次听说,但你一定听过去IOE,当年去IOE热潮轰动一时,去掉IBM的小型机、Oracle数据库、EMC存储设备,去SOS犹如当年去IOE的翻版,几年过去了去IOE的企业是否还好?一波未平风烟再起,去SOS到底会成为口号还是去IOE的延续?
笔者在 2021 年底,曾应科技媒体 InfoQ 的邀请,总结了 2021 年的数据平台架构(详见:解读数据架构的 2021:大数据 1.0 体系基本建成,但头上仍有几朵乌云),提出了的 2021 年的 5 个热点、4 个趋势和 3 个挑战。在过去的两年,数据架构领域发生了很多重大变化(很多是拐点级变化),例如大模型技术突破、向量检索成为热点、半 / 非结构化类 Dark Data 开始被关注等等。作为数据平台从业者,笔者经常被问到“下一代数据平台发展趋势?”或者“AI 平台和数据平台是否应该一体”等问题。
作为一个以低延迟数据移动为核心优势构建的现代数据平台,TapData 帮助企业实现核心数据系统之间的实时同步、实时交换及实时处理。其设计初衷,是希望能够以一种创新的方式解决老大难的数据集成问题,核心优势表现为:
大家好,我是来自中国光大银行信息科技部的王志刚,非常高兴有机会给大家分享一些分布式数据库在光大银行的应用探索。我目前在光大银行银行信息科技部负责数据库管理团队,在加入光大银行之前在三星、索尼爱立信,还有 Oracle 工作过,一直在负责数据库相关的工作。在近十年我和我的团队一直负责光大银行总行的数据库运维,这里面既包括我们的交易型数据库,也包括 MPP,还有 Hadoop 这样的大数据运维。在运维的过程中,我们一直也在思考现在的数据库有哪些问题、面临哪些风险、数据库技术的发展趋势是什么,这一点是很重要的,因为它决定了我们为什么要转向分布式,我们希望分布式能替我们解决哪些问题,它能够解决哪些问题和它不能够解决哪些问题。
要梳理过去十年的历史数据是个极大的挑战,对于一家拥有海量数据积累的国际科研机构而言更是如此。IBM的这位客户在过去十年的数据存满了数万盘磁带,总长度达到惊人的2200万米。
21世纪,是数字经济的时代。数据已成为企业和社会最宝贵的资产。在这片前景广阔的领域里,数据发展的历史长河埋藏了怎样的机遇?在未来,数据技术将往哪些方向演进?数据开发者又该如何在新时代中,找到自己的职业发展的最佳锚点? 2021年4月24日,由腾讯云 TVP 主办的首届 Techo TVP 开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」在深圳深铁皇冠假日酒店成功举办。峰会囊括数据库、大数据两大专题,汇聚十二位深耕数据技术领域的顶尖大咖,带来了全天候、全方位、沉浸式的技术分享与交流
领取专属 10元无门槛券
手把手带您无忧上云