随着互联网和移动互联网的发展,各个机构都需要支撑远超过以往的数据。而在这个需求的刺激下,IT领域出现了大量数据处理技术,其中之一就是NoSQL。灵活的数据类型,高效的处理能力,让NoSQL已占据数据管理系统的一席之地,比如人气NoSQL数据库MongoDB。然而在Wix工程实践中,他们发现,大量场景中其实并不需要NoSQL,反而成熟的RDBMS更具效益,比如MySQL。下面一起看Wix工程主管 Aviran Mordo的分享,由OneAPM工程师翻译。 以下为译文 开发人员选择NoSQL数据库一般都是根据主
在当今数字化时代,计算机编程已经成为了解决问题和创造创新的重要工具。而Python作为一门功能强大且易学的编程语言,正在成为越来越多人的首选。无论是初学者还是有经验的开发者,掌握Python编程技能都能带来许多优势。
我们常用的存储系统种类非常多,有单机的也有分布式的,有的是数据库,有的是文件系统,还有介于二者之间的。无论是哪种存储系统(比如,MySQL、Redis、Elasticsearch,等等),它们都具有如下三个特点。
最近一段项目实践中大量使用了基于RabbitMQ的消息中间件,也积累的一些经验和思考,特此成文,望大家不吝赐教。 本文包括RabbitMQ基本概念、进阶概念、实践与思考等三部分,着重强调相关概念和基于RabbitMQ进行扩展开发的思路,并简要展示RabbitMQ客户端的编码,接下来通过一个思维导图来展示整体思路,红星表示重点部分。
纪成,携程数据开发总监,负责金融数据基础组件及平台开发、数仓建设与治理相关的工作。对大数据领域开源技术框架有浓厚兴趣。
作为互联网公司的研发工程师,微服务的架构思想对于各位读者朋友来说,已经不是陌生东西。我们当中的大多数人,或多或少经历过从单体应用到微服务化的系统拆分和演进过程。我们按照庞大系统的业务功能和特征,将其从一个单体的大应用,逐渐地拆分成很多的子系统的协同配合完成业务功能,甚至拆分后的某些子系统服务,还可能再拆分出来更多的更细颗粒度的子系统服务。拆分后的服务之间,采用PRC调用方式的通信,也就越来越多。随之而来的,跨系统服务之间的数据一致性的问题就会越来越突出了。比如电商系统中营销活动系统的积分和优惠券的发放和扣减,比如电商系统的核心下单核心链路上,首页瀑布流,商详页,下单页等等商品价格全链路一致性等等,支撑这些业务功能的实现,往往可能需要依赖来自N个不同的业务系统服务提供的数据读写服务能力来完成。
在Spring框架中,依赖注入(Dependency Injection, DI)是其核心功能之一,它通过配置来管理对象的创建和它们之间的依赖关系。然而,在复杂的应用程序中,开发人员有时会遇到循环依赖的问题,即Bean A依赖于Bean B,而Bean B又依赖于Bean A。如果不加以处理,这种情况会导致应用程序无法启动。在本文中,我们将深入探讨Spring循环依赖的原理、处理机制、最佳实践以及可能遇到的问题。
作者简介:吴夏,腾讯云 TDSQL 高级工程师,多年分布式数据库系统研发经验,目前主要负责 TDSQL 异构数据同步与迁移能力的建设,曾支持大量金融行业数据库迁移同步。 ---- 随着国家有关部门近年来陆续出台相关政策指导文件,推动探索安全可控的金融科技产品,加强银行业信息安全建设,国内众多金融政企机构开始探索借助数字化技术,来实现原有IT系统的转型升级,从而实现降本增效,已经成为行业发展的共识。 腾讯自研的金融级分布式数据库TDSQL的金融政企用户数已突破600家。作为一款安全可控的金融级数据库,TD
作者:cloudyzhao,腾讯 PCG 后台开发工程师 随着 DevOps 研发模式思想的普及,“测试左移”、“开发负责质量”等理念也开始深入各业务团队。本文以一个实际项目( LogReplay )的 DevOps 实践为例,介绍如何通过可测性提升、自动化测试、持续集成和持续部署流程,最终实现后台微服务的高质量、持续、自动化部署。 测试左移是 DevOps 研发模式中开发全面负责质量的核心环节之一,而测试左移的一个重要手段,就是在开发过程中的各环节快速执行大量有效的自动化测试用例,从而尽早地发现得到质量
来源 | https://juejin.im/post/6863283398727860238
随着国家有关部门近年来陆续出台相关政策指导文件,推动探索安全可控的金融科技产品,加强银行业信息安全建设,国内众多金融政企机构纷纷开始探索改造原有IT系统,对国产化数据库的需求日益强烈。 腾讯自研的金融级分布式数据库TDSQL的金融政企用户数日前已突破600家。作为一款金融级国产化数据库,TDSQL不仅完全满足国家对金融安全可控的要求,也能解决过去传统金融数据库靠采购高端设备或进行资源堆砌才能解决的问题。
来源:https://juejin.im/post/6863283398727860238
设计模式是在大量的实践中总结和理论化之后优选的代码结构、编程风格、以及解决问题的思考方式。设计模式就像是经典的棋谱,不同的棋局,我们用不同的棋谱,免去我们自己再思考和探索。
当前,云原生数据库Serverless化已成为云数据库的重要演进方向。9月7日,在2023腾讯全球数字生态大会云原生数据库技术演进与实践专场上,腾讯云分享了在该领域的多项前沿探索和核心技术解析,并重磅发布云原生数据库TDSQL- C Serverless 2.0版本,为广大企业运用云原生数据库提升业务能力提供了有效参考。
前言 推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。 随着互联网的深入发展,越来越多的信息在互联网上传播,产生了严重的信息过载。如果不采用一定的手段,用户很难从如此多的信息流中找到对自己有价值的信息。 解决信息过载有几种手段:一种是搜索,当用户有了明确的信息需求意图后,将意图转换为几个简短的词或者短语的组合(即query),然后将这些词或短语组合提交到相应的搜索引擎,再由搜索引擎在海量的信息库中检索出与query相关
前言 推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。 随着互联网的深入发展,越来越多的信息在互联网上传播,产生了严重的信息过载。如果不采用一定的手段,用户很难从如此多的信息流中找到对自己有价值的信息。 解决信息过载有几种手段:一种是搜索,当用户有了明确的信息需求意图后,将意图转换为几个简短的词或者短语的组合(即query),然后将这些词或短语组合提交到相应的搜索引擎,再由搜索引擎在海量的信息库中检索出与query
作者 | 贾驰千、余智平 酷家乐中间件团队研发工程师 随着云数据库数量以及成本的迅速增加,数据库成本管理和优化成为了企业所关注的方向。酷家乐针对云数据库做了一系列的深度成本优化动作,收益颇丰。本文为详细介绍~ 供你参考。 一、背景摘要 近年来,随着上云的普遍化,降本成为了备受关注的热门话题。越来越多的企业开始重视云资源的成本优化,FinOps更是横空出世,得到了众多企业的拥抱。 作为全球领先的云设计软件平台和 SaaS 服务提供商,(群核科技)酷家乐的产品都构建在公有云之上,截止目前,我们使用了上
在腾讯云上购买了服务器然后搭建mysql数据库,为什么需要undo log呢,下面我们来详细的解答。以下讨论以MySQL的InnoDB引擎为例
面试时,交流有关mysql索引问题时,发现有些人能够涛涛不绝的说出B+树和B树,平衡二叉树的区别,却说不出B+树和hash索引的区别。这种一看就知道是死记硬背,没有理解索引的本质。本文旨在剖析这背后的原理,欢迎留言探讨
在软件开发过程中,设计模式的运用是一个既重要又挑战性的话题。即便我这样久经项目的开发人员,快速交付任务的压力也会让我在深入理解和应用设计模式时变得困难,主要是时间紧张,没有太多时间纠结,当然也有我不够熟练的原因。本文旨在探讨这一问题,并提供一些实用的建议。
点击上方蓝色“程序猿DD”,选择“设为星标” 回复“资源”获取独家整理的学习资料! 这里有个【1024】红包等你来领取 ClickHouse 是 Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库,其处理数据的速度比传统方法快 100-1000 倍。 ClickHouse 的性能超过了目前市场上可比的面向列的 DBMS,每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。 # ClickHouse 是什么? ClickHouse 是一个用于联机分析(OLAP)的列
春节假期响应号召原地过年,抽空看了看一些优秀的工具,选择了一两个进行了更深入的使用,其中一个很重要的就是draw.io画图工具,之前用的是网页版的,现在用的Mac desktop版本。顺便说一句,现在这个工具的网页版有了新名字,叫diagrams.net,但是桌面版用的还是老名字,目前好像没有中文名,团队起名字就是域名,也挺有意思。
早前的文章中讨论过服务端性能优化之异步查询转同步,在本文中,将讨论双重检查锁定设计模式。通过简单地事先检查锁定条件,该模式减少了锁定获取的次数,通常可以提高性能。
之前发了一些文章: 《频繁插入,用什么存储引擎更合适?》 《MySQL性能调优,必须掌握这一个工具》 《数据库允许空值(null),往往是悲剧的开始》 《插入时,究竟发生了什么?》 数据库是应用开发中不可或缺的一环,很多朋友会问我,如何系统性学习数据库知识,今天和大家简单分享一下。 首先,要搞透数据库,要学哪几方面的知识? 以我对MySQL的学习为例,至少三个方面的内容需要了解与掌握的: 其一,应用层面:各行各业,是如何使用MySQL来解决各类业务问题的。 画外音:研发工程师必须掌握。 其二,内核层面:M
前言 推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。 随着互联网的深入发展,越来越多的信息在互联网上传播,产生了严重的信息过载。如果不采用一定的手段,用户很难从如此多的信息流中找到对自己有价值的信息。 解决信息过载有几种手段:一种是搜索,当用户有了明确的信息需求意图后,将意图转换为几个简短的词或者短语的组合(即query),然后将这些词或短语组合提交到相应的搜索引擎,再由搜索引擎在海量的信息库
良好的实践需要遵循一定的原则,通过原则指导的实践才能行稳致远。在云原生应用交付中,可通过 The Twelve-Factor App(应用 12 因素)原则作为云原生应用交付实践的指南。
一般来说,同一个虚拟机 > 同一台服务器 > 同一个集群 > 同一个机房 > 同一个城市 > 同国其他城市 > 跨国。
作者:ciuwaalu,腾讯安全平台部后台开发 研发效能提升是一个系统化的庞大工程,它涵盖了软件交付的整个生命周期,涉及到产品、架构、开发、测试、运维等各个环节。而单元测试作为软件中最小可测试单元的检查验证环节,可以说是这个庞大工程中最细致但又不可忽视的一个细节因素。本文内容梳理自安全平台部测试效能提升的经验实践,从零开始介绍探讨单测的方法论和优化思路,期望为大家带来参考,欢迎共同交流。 什么是单元测试? 在最开始,我们先看看大家认为的单元测试是什么: 在计算机编程中,单元测试是一种软件测试方法,通
推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。
作者:梁定安,腾讯织云负责人,目前就职于腾讯社交网络运营部,任运维技术总监,开放运维联盟委员,腾讯云布道师,腾讯课堂运维讲师,EXIN DevOps Master讲师,凤凰项目沙盘教练,复旦大学客座讲师。 导语:8月23日,腾讯 云+未来峰会在北京盛大开幕。在开发者专场,腾讯织云负责人梁定安为大家解读了腾讯DevOps流水线的系统组成,以及如何在平台的实践中实现持续部署能力,帮助企业创造更大的价值。 前言 国家的“互联网+”战略开启了一个企业业务与互联网相结合的新业务形态,有越来越多的企业将自己的业务以
马上消费金融于 2015 年 6 月营业,截止到 2020 年 1 月,历经 4 年多风雨,总注册用户数 8000 万,活跃用户数 2500 万,累计放贷 2900 多亿元人民币。公司于 2018 年 6 月增资到 40 亿,成为内资第一大的消费金融公司。
正常销售、正常退货、第三方销售、跨公司销售、独立采购、寄售、免费赠送,这些就是项目实践中SD模块里最常见的流程了,当然还有一些不太常用的流程没有列举进来,不再本文关注之范围内。
想必各位对事件总线应该有一定的了解了,它在我们运维工作中还是非常重要的。它可以实现不同组件之间的通信,实现解藕。关于事件总线实际上还有很多隐藏的功能,今天为各位介绍怎么在弹框里调事件总线,如果有兴趣可以阅读下文。
互联网业务兴起之后,海量用户加上海量数据的特点,单个数据库服务器已经难以满足业务需要,必须考虑数据库集群的方式来提升性能。高性能数据库集群的第一种方式是“读写分离”,第二种方式是“数据库分片”。
单例模式(Singleton Pattern)是一种常用的设计模式,用于确保一个类只有一个实例,并提供全局访问点。虽然在表面上看起来很简单,但深入理解单例模式可以帮助我们更好地应用它,避免潜在的问题。
在使用依赖注入的过程当中,除了应用设计模式注意代码的变化隔离之外,另外一个重要的内容就是生命周期控制。
在 Kubernetes 成为容器编排事实标准的云原生时代,无数开源或者闭源项目,如众星捧月般围绕着它,建立各种生态,涵盖着集群管理,资源管理、平台管理、可观测性领域的运维管理等诸多领域,其中很多优秀项目都如雨后春笋似地出现。然而,作为这个编排系统的终端使用者的应用领域,却似乎是受到了冷落。本文将以应用的第一视角,对腾讯自研的云原生应用定义Tencent Application Definition(简称TAD)进行介绍,简要说明腾讯研发团队基于 K8s 之上的应用层面做的一些探索。
作者 | 朵晓东(Kusion Creator) 本文基于 KusionStack 技术栈在蚂蚁平台工程及自动化中的实践,尝试从平台工程、专用语言、分治、建模、自动化和协同文化等几个角度,阐述规模化平台工程实践中的收益和挑战。希望通过把我们平台工程的理念和实践分享给更多企业和团队的方式,大家一起让一些有意思的变化发生。 平台工程要解决什么 DevOps 理念在 10 多年前被提出,从 KVM 到容器再到云原生时代,大量企业投入 DevOps 运动以期望解决内部规模化运维效率和平台建设效率的困境。其中大
SAP WM模块与SAP其它模块是有集成的。当销售人员完成了销售单据的创建以后,仓库部门业务人员需要为交货单做拣配。如果发货库存地点启用了WM管理,则仓库人员需要根据该交货单创建TO单,以完成拣配。
搜狗商业平台Java技术实践 Java自1995年问世以来,已历经20多年岁月。20年来,IT技术风起云涌,Java始终以其可移植性、跨平台性、生态系统完备性等特点成为最主流的开发语言之一。事实上,Java无处不在,已经渗入到大家的日常生活中,从你的每一次购物到每一笔支付,都有Java技术的身影,国内外的主流网站大部分都是由Java技术支撑。 搜狗商业平台负责搜狗广告业务,涵盖搜索、网盟、无线、品牌等业务线,面向几十万广告主和广告代理商,提供十亿级以上在线广告管理及相关支持,提供近百亿的在线报告。其中,基于
Zabbix 作为一个老牌的开源监控方案,长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储,无法应对更大规模的监控。TiDB 兼容 MySQL 协议,可以替换 MySQL 从而增强 Zabbix 的大规模监控能力,实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑,弥补因 TiDB 和 MySQL 差异造成的诸多问题,成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
一、在线特征系统 主流互联网产品中,不论是经典的计算广告、搜索、推荐,还是垂直领域的路径规划、司机派单、物料智能设计,建立在人工智能技术之上的策略系统已经深入到了产品功能的方方面面。相应的,每一个策略系统都离不开大量的在线特征,来支撑模型算法或人工规则对请求的精准响应,因此特征系统成为了支持线上策略系统的重要支柱。美团点评技术博客之前推出了多篇关于特征系统的文章,如《机器学习中的数据清洗与特征处理综述》侧重于介绍特征生产过程中的离线数据清洗、挖掘方法,《业务赋能利器之外卖特征档案》侧重于用不同的存储引擎解决
这是基础方法论专题的第 003 篇文章,也是因子动物园的第 035 篇独立原创文章。
本文的内容可能和之前的金融企业将 TiDB 应用在业务上的实践不同,下面主要介绍我们如何把 TiDB 应用在金融行业的后台运维监控上。Zabbix 作为一个老牌的开源监控方案,长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储,无法应对更大规模的监控。TiDB 兼容 MySQL 协议,可以替换 MySQL 从而增强 Zabbix 的大规模监控能力,实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑,弥补因 TiDB 和 MySQL 差异造成的诸多问题,成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
关于作者 褚佳义,腾讯新闻产品技术部\客户端开发中心iOS开发组员工 导语I新闻团队一直在实践如何规范研发流程,提升研发效率。在半年多的探索中,我们也总结出了一些方法与工具,本文会进行简要的介绍。 从最开始的每月一个版本,到后来的双周迭代,再到现在的单周迭代,新闻客户端的迭代速度越来越快,研发效率也越来越高。 在这种快速迭代下,我们是如何保证研发工作有条不紊的进行呢? 如果把我们的快速迭代比作高速公路的话,为了保证高速公路畅通无阻,需要以下几个条件: 详尽的交通规则 行车不规范,亲人两行泪。交通规则规定了
本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和机器学习等技术。两个优化亮点是将候选集进行融合与引入重排序模型。 在用户意图明确时,我们通常用搜索引擎来解决互联网时代的信息过载问题,但当用户的意图不明确或者很难用清晰的语义表达,搜索引擎就无能为力。此时,借助推荐系统通过用户行为的分析理解其意图,为其推送个性化的结果,便成为一种更好的选择。美团作为国内发展较快的O2O网站,有着大量的用户和丰富的用户行为
回顾网站架构演化历程,当网站遇到性能瓶颈时,第一个想到的解决方案就是使用缓存。在整个网站应用中,缓存几乎无处不在,既存在于浏览器,也存在于应用服务器和数据库服务器;即可以对数据缓存,也可以对文件缓存,还可以对页面片段缓存,对网站性能优化意义重大。
我们说测试的时候一般是指自动化测试,也就是写一些小的程序用来检测被测试代码(产品代码)的行为和预期的一样,这些通常都是精心设计的执行某些特定的功能或者是通过随机性的输入待验证边界的处理。
本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和机器学习等技术。两个优化亮点是将候选集进行融合与引入重排序模型。 在用户意图明确时,我们通常用搜索引擎来解决互联网时代的信息过载问题,但当用户的意图不明确或者很难用清晰的语义表达,搜索引擎就无能为力。此时,借助推荐系统通过用户行为的分析理解其意图,为其推送个性化的结果,便成为一种更好的选择。美团作为国内发展较快的O2O网站,有着大量的用户和丰富
领取专属 10元无门槛券
手把手带您无忧上云