作为数据库领域重量级的大会,DTCC每年都会引发人们的关注。通过大会,可以了解行业动态,洞悉趋势发展,学习最新技术。今年因个人原因,没有现场参会。所幸近期大会PPT材料已放出,抽空学习了一下。
近些年来,软件开源化趋势愈发明显,作为基础软件的数据库及相关产品首当其冲。很多国产数据库大厂,也纷纷迈向开源之路。本文从开源项目的指标入手,总结如何分析一款开源产品及当前国际、国内主流数据库及周边产品的开源表现如何。希望未来,有更多优秀开源产品/项目诞生。
Database Mesh,这一概念是由开源软件shardingsphere的作者张亮,最早于2018年提出的。其含义是Database Mesh 使用一个啮合层,将散落在系统各个角落中的数据库统一治理起来。通过啮合层集中在一起的应用与数据库之间的交互网络,就像蜘蛛网一样复杂而有序。这一技术关注重点在于如何将分布式的数据访问应用与数据库有机串联起来,它更加关注的是交互,是将杂乱无章的应用与数据库之间的交互有效的梳理。目前这一技术还处于相对早期阶段,只有个别企业有所实践。本文后面将谈谈我对这一技术问题的理解。
近些年来,数据库产业发展迅猛,各种数据库产品层出不穷。那么如何选择一款数据库产品成为很多企业面临的问题?特别是随着数据规模、计算能力等需求,分布式数据库产品成为很多企业的新宠。那么这类数据库较传统数据库又有何差异?在数据库选型中,需要注意哪些方面?本文尝试描述数据库(特别是分布式数据库)选型需考虑维度,希望帮助企业可以做出最适合的选择。
图表,可以使数据更为鲜活,进而更为直观地表达出信息含义。本文针对近20年的主要城市的GDP,做简单的分析。使用了数据可视化中常见的一种方式-图形堆叠。通过图形叠加,很容易表现出数据元素之间的关系,简洁明了。文中的数据取自国家统计局官方披露数据,可视化展现使用Tableau软件。
去O的话题,可谓由来已久。从十年前阿里提出了这一口号,并率先在公司内部实现了数据库的整体去O开始,到后面从互联网公司到传统企业也纷纷跟进,可以说去O的理念已逐步深入人心。但到直到现在,我们可以看到Oracle在国内的市场依然占有相当大的比例。即使在对外的很多去O宣传中,也大多是以非重度O记案例或非关键业务系统居多,大量核心、关键业务系统仍然采用O的方案。那造成这一现象的原因是什么呢?本文尝试对去O可能存在的难点及应对策略加以分析。下面文字代表个人观点,仅供参考。
1.人工智能算法需要:大数据、强大的电脑运算能力、优秀的人工智能算法工程师。
近些年来,数据库产业发展迅猛。本文尝试从收集的信息中分析当前全球及国内数据库市场现状及未来发展趋势。
北京时间3月21日上午消息,自去年10月马克·扎克伯格(Mark Zuckerberg)将公司名从Facebook改成Meta Platforms以来,“元宇宙”已成为科技、商业和其他领域的热门关键词。这也标志着,扎克伯格将新的重点放在建设虚拟世界上,在这样的世界中,人们可以以虚拟人的形式“生活”。
12月2日,Oracle在其官网正式推出“MySQL Database Service with Analytics Engine”。作为MySQL产品的一个重大增强,这一特性颇引人注目。周末抽空做了个简单了解,各位从中可窥其一二。(部分资料、插图来自Oracle官方网站)。
寒假到了,如何让孩子过得更加充实?正好自己前两天看一本算法书,挑前面几个简单的算法给孩子讲讲,也算是给孩子做个启蒙。为了帮助他更好地理解,做了段程序演示下。顺序普及下Python代码。
机器学习的常用数据:csv文件,mysql等数据库的读取速度是不够快的。同时格式也不符合。
本杂志开源(GitHub: ShixiangWang/weekly[1]),欢迎提交 issue,投稿或推荐生信相关内容。
2021年10月28日,全球互联网社交媒体巨头脸书(Facebook)宣布将现有公司改名为“meokta”,公司未来发展聚焦于建立“元宇宙(meoktaverse)”。元宇宙概念被瞬间引爆,各大科技公司纷纷跟进,推出技术发展规划;媒体推波助澜,铺天盖地的宣传;资本也摩拳擦掌,跃跃欲试。
计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引(记录出现的次数和位置),当用户查询时,检索程序根据索引进行查找, 并将查找结果反馈给用户。
近日,多篇新闻引起数据库圈子的广泛关注。随着11月国际权威机构Gartner报告的披露,多家国内厂商入围。以阿里、腾讯、华为等公司,取得了长足的进步。特别是阿里云,在Gartner公布2020年度全球数据库魔力象限评估结果,作为中国科技公司代表,首次挺进全球数据库第一阵营——领导者(LEADERS)象限,这也是中国数据库40年来首次进入全球顶级数据库行列。本文将从Gartner报告入手,谈谈中国数据库力量的崛起。
数据库按商业授权方式来讲,可分为商业与开源。在过去几十年里,商业数据库一直占据主导地位;但随着近些年来开源数据库的流行、普及,和商业数据库并驾齐驱。已经有越来越多的企业,选择使用开源数据库产品。根据最新的db-engines数据,这种趋势尤为明显。本文数据摘自db-engines、墨天轮的最新10月份数据,原始部分可参考:
作为近期火爆的话题之一,snowflake的上市无疑吸引了很多人的眼球。那在其高涨的市值背后,又有着什么样的原因?它会一直火爆下去吗?云计算、大数据,这些似乎已经有些落伍的概念,为何又重新吸引了人们的眼球?本文综合了多篇资料,尝试从更多角度加以解读。
2021年10月28日,全球互联网社交媒体巨头脸书(Facebook)宣布将现有公司改名为“Meta”,公司未来发展聚焦于建立“元宇宙(Metaverse)”。元宇宙概念被瞬间引爆,各大科技公司纷纷跟进,推出技术发展规划;媒体推波助澜,铺天盖地的宣传;资本也摩拳擦掌,跃跃欲试。 公众更多聚焦于游戏、社交、娱乐等2C(面向消费者市场)的元宇宙场景,而元宇宙技术的发展对于2B(面向企业市场)市场会产生革命性的影响。对于正在从制造大国向制造强国转变战略过程中的中国,或更加需要关注元宇宙技术应用于在工业信息化上所可
其实一直都能听到身边的同事或者是朋友说到“出来打拼也有好几年了,特别想在大城市有一个属于自己的家,但是看了看房价,感觉买房这件事儿吧,真的太难了。。。”
近些年来,数据库产业蓬勃发展,特别国产数据库,诞生出大批厂商及产品。据国内第三方组织墨天轮的统计(https://www.modb.pro/dbRank),有超过140多款数据库产品,覆盖从关系、文档、键值、宽列、图、时序以及云原生、分布式等类别。可以说呈现出一派百花齐放、百家争鸣的态势,那么国内数据库厂商整体现状如何?笔者近期收集了部分厂商信息,尝试从多角度分析国产数据库产业发展现状。下文分析数据,来自收集到的56家代表性厂商,未包含全部厂商。相关分析内容,仅供参考。
关于数据分片的话题,近期非常火热。一方面是由于用户在海量数据、高并发访问的诉求日益增长;另一方面分布式数据库发展迅速、技术路线各异,难以选择。近期的一篇关于数据分片的文章吸引到我,文中对数据分片从技术角度做了分析归类,提出一种很好的归纳方法。本文尝试延展这一观点,对数据分片进行归类阐述。
2020年已经过去,回顾过去一年,数据库领域发生了很多大事件。作为未来的主流趋势,云数据库变化表现尤为突出。下面尝试以国内最为主流的三大数据库云厂商-阿里、腾讯、华为为例,看看过去一年发生了哪些变化。从这些变化中,也可以看到各厂商不同的发展思路,进而解读下未来云数据库的发展方向。下述仅代表个人观点,仅供参考。
就在本周一,大数据初创公司Databricks在官网宣布他们完成了10亿美元的G轮融资,对公司的估值为280亿美元。作为同类公司,之前Snowflake的IPO就引发资本的热捧,此次Databricks的融资也印证了这点。为什么资本对数据平台公司如此关注?正如之前我的一篇《当红炸子鸡Snowflake》中谈到,“云计算+大数据”催收了无限遐想空间。下面就让我们来看看这个独角兽Databricks的情况。本文内容部分摘自Databricks官网。
数据库,作为企业重要IT基础设施之一,在数字化中扮演着重要的角色。其是否运行平稳、是否处于最佳状态、是否可方便的扩展等,进而是否能满足业务现状及未来发展,这些对于企业至关重要。要达到上述目标,取决于两个方面:数据库产品自身能力、数据库服务能力。可以说“产品+服务”,决定了最终的结果如何。但在很长一段时间里,对于前者(产品)有很多手段去了解、评估;但对于后者(服务)却少有有效的衡量方法。在过去的三、四十年里,传统数据库市场主要是以国外大型商业数据库为主,其服务能力经过多年积累已相对成熟、完善,并构建起一整套标准及相应的配套服务团队。但随着近些年来数据库市场有了明显的变化,一是以开源为主导数据库方案在很多公司得以使用;二是国产数据库也层出不穷,并愈发呈现蓬勃发展之势;三是分布式、云化技术特点为代表的新数据库形态逐步被人认知并投入使用。针对这种新的变化,过去按单一产品作为衡量标准就不太合适,急需一种通用的行业标准来度量数据库服务能力。
在《程序媛的人生观》这篇文章中,一些朋友提出了自己的疑问:“看起来静儿的发版上线很不规范,为什么一个大公司会允许这样的事情呢?”这是个很好的问题,值得我好好总结分享一下。
数据库迁移,是个老生常谈的问题,之前也曾写过一篇文章。近期,针对这一课题,自己有了些新的思考,下面将具体展开谈谈。在这之前,我先谈谈数据库迁移的现实需求。这也算是目前行业发展的一个小总结。
精彩内容编者按:2013年,CCF联合腾讯发起“犀牛鸟”基金,旨在为青年学者搭建“让伟大的梦想变成现实的影响”的平台,助力青年学者的创新和成长,并为提升人类生活品质做真正有价值的研究。每年CCF和腾讯从学界、业界邀请专家针对学术及产业发展前沿为基金拟定方向,并提供真实数据供青年学者们将研究在产业平台上测试提升,并推动应用转化。2013-2014两年间,共有350+优秀青年学者提交申请,35+获得犀牛鸟基金资助。在入选比例不到11%的基金项目中,获得基金资助的青年学者究竟是谁?他们有什么特别?他们的成长、
继“敦煌诗巾”后,腾讯文创联合游云南诚选又推出一款用户可DIY的表情茶~ 还记得你发的第一个表情符号吗? 从当年的QQ到QQ空间再到现在的微信, 回想每一个表情, 是否都代表了你当下的心境? 一个表情,一个故事,一段人生 在父母看来, 它没有“呵呵”的内涵,就是一种友好的微笑。 要下线时用 与好友告别,没想到今天演变成“友尽”。 它是笑哭,也是破涕为笑,还是又伤心又好笑。 …… 你永远不知道 下一刻的心情与人生境遇 来一颗“人生一罐·游云南诚选 津味小青柑”
这种外伤,原本简单做个手术再休养一段时间就无大碍,但在手术过程中,医生发现骨折端长出来一些奇怪的软骨组织。
2014年读过的一本好书,才发现这本书对自己的影响深远,自己的很多决策和管理都深受此书影响。
开工第一周,你是不是又铆足了劲儿想要大干一场了呢? 博文菌特意挑选了10本畅销新书,希望帮助蓄势待发的小伙伴们在新的一年里弯道超车,技能满点,开启财富人生! 悄悄告诉你,正值开学季,京东和当当都有不小的优惠,大家若有购书需求,千万不要错过哦! 文末福利:互动赠书 ---- 01 ▊《labuladong的算法小抄》 付东来(@labuladong) 著 用喜闻乐见的语言讲算法 GitHub 68.8K star的硬核算法教程 本书专攻算法刷题,训练算法思维,应对算法笔试。注重用套路和框架
近段时间,数据库市场非常活跃,各类新闻层出不穷。整体市场发展也呈现出较之前明显不同的的变化。本文尝试从近期国内数据库榜单变化情况,分析行业发展特点。以下为个人观点,仅供参考。相关数据从墨天轮网站中获得,详情可查阅https://www.modb.pro。
做为与产品经理打了十多年交道的技术人,在这十多年的过程中,我发现那些产品经理以及一些大佬们,在实际工作中的往往都是在利用自己的一套底层方法论、以及一系列的逻辑思维去解决他们所遇到的一些棘手的问题。通过与其深入了解、沟通之后,我发现这种一系列的逻辑思维,对于我们个人成长的破局起到了至关紧要的作用。这种思维上的认知能力,能够令我们更加从容、高效地解决在工作生活中的各项难题。如果你对产品思维感兴趣,想借助产品思维解决职场、家庭和个人问题的话,我将很乐意与你分享。
零样本信息抽取(Information Extraction,IE)旨在从无标注文本中建立IE系统,因为很少涉及人为干预,该问题非常具有挑战性。但零样本IE不再需要标注数据时耗费的时间和人力,因此十分重要。近来的大规模语言模型(例如GPT-3,Chat GPT)在零样本设置下取得了很好的表现,这启发我们探索基于提示的方法来解决零样本IE任务。我们提出一个问题:不经过训练来实现零样本信息抽取是否可行?我们将零样本IE任务转变为一个两阶段框架的多轮问答问题(Chat IE),并在三个IE任务中广泛评估了该框架:实体关系三元组抽取、命名实体识别和事件抽取。在两个语言的6个数据集上的实验结果表明,Chat IE取得了非常好的效果,甚至在几个数据集上(例如NYT11-HRL)上超过了全监督模型的表现。我们的工作能够为有限资源下IE系统的建立奠定基础。
在上一节中,我们对生日问题进行了严谨的阐述:假设屋子里面每个人的生日相互独立,而且等可能的出现在一年 365 天中的任何一天,试问我们需要多少人才能让某两个人的生日在同一天的概率超过 50%。
提起李飞飞,大家可能并不陌生。作为女性,其独立、聪慧、干练、富有创造性,为新时代女性做出了榜样。作为科学家,其抓住了AI领域的浪潮,揭开了中国人在AI领域崛起的序幕,是我们每一个中国人的榜样与骄傲。
导读:今天重阳节,你给父母和长辈送上祝福了吗?但其实这是一个并不属于你的节日,你一定像往常一样,仍在努力工作,甚至加班。你以为你的辛勤劳动,是为了今天的自己可以吃喝玩乐,以及40年后的自己可以安度晚年,但实际上……你并不是在为自己工作!
总有一些技术大神虽然远在千里外,但江湖处处都有他们的传说,他们牵动着技术时代的脉搏,改变着世界。他们的成长经历、升级方法、成功经验是一笔无尽的宝藏,从《新程序员 004:我们的技术时代,我们的程序人生》中可一次尽览,现在,扫描下方二维码即可立即订阅。 《新程序员》汇聚了 C++之父 Bjarne Stroustrup、MySQL 之父 Michael "Monty" Widenius、C#&TypeScript 之父 Anders Hejlsberg、PostgreSQL 全球开发组联合创始人 Bruce
总有一些技术大神虽然远在千里外,但江湖处处都有他们的传说,他们牵动着技术时代的脉搏,改变着世界。他们的成长经历、升级方法、成功经验是一笔无尽的宝藏,从《新程序员 004:我们的技术时代,我们的程序人生》中可一次尽览,现在,扫描下方二维码即可立即订阅。 《新程序员004》汇聚了 C++之父 Bjarne Stroustrup、MySQL 之父 Michael "Monty" Widenius、C#&TypeScript 之父 Anders Hejlsberg、PostgreSQL 全球开发组联合创始人 Br
周末躺在床上翻阅有道笔记,发现几年前记录《认知突围》笔记,读完感慨:“懂得了很多道理,可依然过不好这一生”,单纯想分享一下喝过这碗鸡汤,回头继续撸码。
来源:微软科技(ID:mstech2014) 作者:沈向洋 编辑:克雷格 【新智元导读】上周五,沈向洋博士在美国华盛顿大学计算机科学与工程学院的年度毕业典礼致辞,他回顾了早年求学时候的经历,分享了从量
对深度学习本质而言,它实际上就是应用复杂的数学模型对输入数据进行建模,最后使用训练好的模型来预测或生成新的数据,因此深度学习的技术本质其实就是数学。随着大语言模型的发展,人工智能的数学本质被进一步封装,从业者要不直接调用给定模型处理给定数据,有点“技术内涵”的就是在给定模型基础上进行“微调”,我看现在很多 国内的AIGC 创业团队,几乎没有多少人有能力对开源的大模型进行修改或创造的能力。主要原因在于大模型的训练需要天量的数据和算力外,还在于其在数学理论基础上有很高的要求。我们很多人因此只能局限于AIGC 的“术”,也就是拿一个开源模型去适配特定的商业需求或场景,对于AIGC 的”道“而言,就只能讳莫如深,因为其要求的数学门槛太高。
允中 编译 wired 量子位 出品 | 公众号 QbitAI 美国科技媒体Wired说:Google的自动联想功能,至今Bug多多。 比如当你搜索“伊斯兰主义者”时,Google给出的自动联想是“
「知识就是财富」在互联网世界如何落地?这里有一个个鲜活的示范。 《绝非偶然:撬动星球的头部效应》深度呈现 21 位 KOL 成长轨迹和创富心法。 读者这样评价:这是一本没钱没资源、想要做点事情的普通人走向阶段性成功的最接地气、最适应当下数字化时代的系统方法论。 了解他们变强的过程,比看到结果更重要。 ▊ 《绝非偶然》的方法论金句摘录 1. 经过多年观察,我发现自己每读完 100 本书,收入至少能翻一倍。 以此推算,如果坚持每年读完 50 本书,那么 10 年后的收入会翻 32 倍,这个事件在现实生活中发
分布式数据库是相对于集中式数据而言的,具备分布式数据管理能力的一种新型数据库软件产品。是面对高性能、大数据量业务系统,特别是无法进行大规模重构的业务系统,实现分布式能力引入的一种有效解决方案。分布式数据库具备数据分片管理、分布式事务、读写分离等关键分布式能力,能够为应用提供类似与集中数据库的使用方式,可以降低应用实施分布式改造的复杂度。近年来,各国产厂商都在积极推进分布式数据库产品的研发,技术已经逐步成熟,金融行业也已经有成功案例投入生产系统使用。本文尝试从多个角度,阐述金融行业分布式数据库转型所面临的问题及解决思考。
随着近些年来,数据规模的爆炸式增长(参见下图),如何存储、处理海量数据成为企业不得不面临的问题。作为数据的主要载体,数据库首当其冲面临这个挑战。于是近些年来,以分布式数据库为代表的产品不断涌现,正是为应对这种状况。本文尝试从分布式数据库最为基础的能力—数据分片,谈谈当前现状及各家实现情况如何。下述内容,仅代表个人观点,仅供参考。
在刚刚过去的2023年,人工智能无疑是最耀眼的“科技明星”,特别是AI大模型持续迭代升级,加速落地产业场景,成为发展新质生产力的主要阵地。
领取专属 10元无门槛券
手把手带您无忧上云