第一章：周介绍 1-1 介绍 需求指导设计，设计指导开发。无设计不开发。 服务端技术方案设计的方法 B端和编辑器基本功能API 技术方案设计文档 第二章：技术方案设计 2-1 技术方案设计-章介绍 领导技术方案设计、评审技术方案设计。 主要产出：server端技术方案设计 主要内容： 接口设计 选择Restful,而不是GraphQL 数据库设计 sever端整体设计 注意：正视技术方案设计，设计会节约时间。 2-2 接口设计-整理所有接口 接口设计应该是在需求后的第一设计，接口设
在我看来这整个步骤很完整了，很多相关的技术我仍未接触过，只有部分了解过，说明还有很多需要学习的内容需要自己掌握
我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。
今晚，我在知识星球：测试人员生存指南的线上会议里，与星球伙伴们进行了大数据测试主题的分享，此篇为《大数据测试实践之全量改增量》上半部分的文字版～
最近在看《从零开始学架构》，深入浅出通俗易懂，值得一看。作者将架构设计分为4个步骤，第一步：有的放矢-识别复杂度，解决复杂度带来的问题，是架构设计的本质。第二步：按图索骥-设计备选方案，利用备份冗余思维，多设计几套方案，不只是一种选择。第三步：深思熟虑-评估和选择备选方案，多维多角度的去比较方案的优劣，根据实际情况选择最合适的方案。第四步：精雕细琢-详细方案设计，落实方案的细节。
9种隔离术 在硬件方案设计的时候，我们常提到过一个概念“故障域”。故障域指的是当一个区域出现故障以后，它的受影响范围。例如在设计双活数据中心的时候，我们要设置故障域，那个故障域是A站点，哪个是B站点。A站点出现断电，受影响的最大范围只限于本站点，那么A站点就是一个故障域。当然，硬件层面的故障域还可以分得更细：比如一个数据中心内部，不同楼层是不同的故障域；同一个楼层，不同的机架也是不同的故障域。在故障域这个问题上，关键是看故障的类型如何定义。 而隔离技术就是限制故障域的。当然，应用级别的隔离术比硬件的隔离更为
在一个数据为王时代，数据安全视为一家企业命根子，因此如何保障企业数据安全尤为重要。本文主要从数据库容灾方案视角，基于当前客户业务并结合技术&产品，制定最佳容灾方案。主要从以下三个方面来介绍：
为了向铁路各部门用户提供高可用、整合的信息，受铁道部科技司委托，我单位承担了“信息应用集成的研究”这一项目的研究和开发工作。本人作为该项目的负责人之一，担任了方案设计师的职务。该项目的目标是实现现有系统中的数据共享，有机的结合相关联的数据，搭建统一的使用平台，为今后铁路信息化更大规模应用集成建立可行、可靠的依据。本文主要从以下三个方面描述作者在该项目中的工作：确立企业应用集成的解决方案；选择应用集成规范和平台；在现有的铁路信息系统中选择二至三个，对应用集成的方案进行实践，分析并改进方案。
【背景介绍】【知识剖析】【常见问题】【解决方案】【编码实战】【扩展思考】【更多讨论】【参考文献】
独立数据库 这是第一种方案，即一个租户一个数据库，这种方案的用户数据隔离级别最高，安全性最好，但成本也高。 优点： 为不同的租户提供独立的数据库，有助于简化数据模型的扩展设计，满足不同租户的独特需求； 如果出现故障，恢复数据比较简单。 缺点： 增大了数据库的安装数量，随之带来维护成本和购置成本的增加。 这种方案与传统的一个客户、一套数据、一套部署类似，差别只在于软件统一部署在运营商那里。如果面对的是银行、医院等需要非常高数据隔离级别的租户，可以选择这种模式，提高租用的定价。如果定价较低，产品走低价路线，这种方案一般对运营商来说是无法承受的。 共享数据库，隔离数据架构 这是第二种方案，即多个或所有租户共享 Database，但是每个租户一个 Schema。 优点： 为安全性要求较高的租户提供了一定程度的逻辑数据隔离，并不是完全隔离；每个数据库可以支持更多的租户数量。 缺点： 如果出现故障，数据恢复比较困难，因为恢复数据库将牵扯到其他租户的数据； 如果需要跨租户统计数据，存在一定困难。 共享数据库，共享数据架构 这是第三种方案，即租户共享同一个 Database、同一个 Schema，但在表中通过 TenantID 区分租户的数 据。这是共享程度最高、隔离级别最低的模式。 优点： 三种方案比较，第三种方案的维护和购置成本最低，允许每个数据库支持的租户数量最多。 缺点： 隔离级别最低，安全性最低，需要在设计开发时加大对安全的开发量； 数据备份和恢复最困难，需要逐表逐条备份和还原。 如果希望以最少的服务器为最多的租户提供服务，并且租户接受以牺牲隔离级别换取降低成本，这种方案最适合。
引言：设计数据存储方案时，Feed流、IM消息、订单等一些典型业务场景的，都有比较多的技术文章和教学课程；在线Excel场景下的文章却很匮乏，所以把自己近期对在线Excel存储选型的一些思考写下来，和大家一起交流。
摘 要：随着工业4.0时代的发展，物流装备领域的技术也在不断地迭代更新，各种新奇复杂庞大的物流方案设计频繁出现，而仅仅依靠二维视图已经很难对这些方案进行详细直观的理解。为便于深入讨论、充分交流、直观了解物流各个环节，山西迎才引入了高级影视三维制作软件Maya。本文介绍了Maya在物流装备领域中的应用，同时介绍了Maya和FlexSim仿真软件的搭配使用。
说到系统稳定性，不知道大家会想起什么？我想大多数人会觉得这个词挺虚的，不知道系统稳定性指的是什么。一年前的我看到这个词，也是类似于这样的感受，大概只知道要消除单点、做好监控报警，但却并没有一个体系化的方法论。经过一段时间的摸索，我对系统稳定性有了较为体系化的认识，于是迫不及待地希望和大家一起分享。所以今天，就让我跟大家简单聊聊系统稳定性建设这个话题吧！
在日常开发中，老大经常要求我们给出一个完善并合理的技术方案之后才能进行开发。并且要求技术方案一定要细，要重点覆盖监控、异常处理、灰度、降级方案。同时要注重边界处理。最初，我的技术方案写的很粗，也没有理解老大说的边界处理到底是怎么一回事。于是乎，辛辛苦苦写了一周的方案，就会在技术方案评审的时候直接打回重做，甚至多次打回。 不过还好，在经历过几次大项目的方案设计后，我的方案设计越来越完善，直到最后老大非常认可并在组内进行参考。随着我的方案设计逐渐完善，也逐渐发现，不但编码效率越来越高，编码时思维更加清晰，而且方案中的每一个模块都贯穿了整个软件生命周期。
开发环境： jdk：Jdk1.8 Scala：2.11.8 CDH6.2.1： zookeeper-3.4.5-cdh6.2.1、hadoop-3.0.0-cdh6.2.1，hive-2.1.1-cdh6.2.1、hue-4.3.0-cdh6.2.1 Sqoop：sqoop-1.4.7-cdh6.2.1 Mysql：5.7 Zeppelin：0.8.0
当下，海量数据结合前沿技术架构正在为保险业带来根本性的变革。本文以某知名保险机构为例，结合偶数行业实践经验，介绍保险企业如何利用湖仓一体技术推动数据战略转型升级。背景介绍在对该客户需求进行深度挖掘并横向比较行业现状后，我们发现：(1) 包括该客户在内的多数保险企业的数据分析场景较为单一，直接产生业务价值的数据挖掘不够丰富；(2) 该客户现有数据分析场景的效率、性能、用户体验都亟待提升。下文我们详细展开分析。业务场景分析客户现有的数据分析应用集中在经营分析、监管报送和风险管控等几个传统场景，其实不止该客户，目前大多数保险企业的大数据业务应用价值挖掘都还不够丰富。1.风险管控仅以目前多数保险企业都非常关注的风控环节为例，该客户仍以风险部门固定报表分析为主，而通过风险数据建模，应用在投保前风险排查、承保中风险管控及理赔时风险识别和反欺诈等全业务链条还非常有限。在投保环节，可以利用数据搭建风险评估模型，筛查高风险客户，对大概率产生负价值的客户采用拒保或者提高保费的方式以减少损失。以互联网场景下的意外险和健康险为例，由于投保手续较为简单，很多产品免体检，只需要填写投保人基本信息即可，这些业务中，很容易出现投保人隐瞒病情、造假家庭收入的情况，逆向选择甚至欺诈的可能性非常大。因此在投保场景下可以利用数据进行多维分析，及时发现高风险投保客户，避免欺诈行为的发生。在承保运营环节，相比较传统风控，大数据风控让保险机构对保险用户的动态跟踪反馈，定期对承保中用户信息进行维护，更新用户风险指数。此外，在加强用户信息安全管理和隐私方面，保险公司借助大数据和人工智能（如设备指纹、IP 画像、机器行为识别等工具）加以防范，在回访环节，根据用户情况及其手机在网状态选择拨打方式及话术，更有利于提高回访效率，提升客户体验。在理赔环节，大数据风控先通过构建模型的方式筛查出疑似欺诈的高风险案件，然后再人工重点审核和调查，减少现场查勘误差，提高查勘效率。除了风险管控，通过数据赋能业务还可以落地在其他几个重点保险场景中，包括产品创新、风险定价、精准获客。接下来我们展开说明下数据赋能这些场景的形式和实现逻辑。
为什么采取分区，而不是分表，以及MySQL分区不仅能够提升数据库性能和管理效率，还能有效支持处理大规模数据的需求。
承接上一篇《理解分布式系统中的缓存架构(上)》，介绍了大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景，本文主要介绍缓存架构设计常见问题以及解决方案，业界案例。
大数据实战项目的知识点 1、大数据集群环境的搭建 CentOS 6.8、 hadoop-2.7.3、 hive-0.13.1 zookeeper-3.4.10 kafka_2.10-0.10.2.0、 flume-ng-1.7.0 日志采集流程、 Spark 1.6.3 2、企业级大数据项目的架构搭建 Java、配置管理组件、JDBC辅助组件（内置数据库连接池）、Domain与DAO模型 scala：只适合用于编写一些比较纯粹的一些数据处理程序（比如说一些复杂的数据etl） 真正的讲师本人做
从新手码农到高级架构师，要经过几步？要多努力，才能成为为人倚重的技术专家？本文将为你带来一张程序员发展路径图，但你需要知道的是，天下没有普适的道理，具体问题还需具体分析，实践才能出真知。
大家好，我是林宗霖，是一位测试工程师，也是全栈测开训练营中的一名学员。学习完全栈测开训练营的课程，让自己更加意识到：基础不牢，地动山摇的道理。近两年，行业的很多小伙伴都热衷于自动化、测试开发等方面的技术，而忽略了测试基本功的修炼！
目前CMDB使用RedisGraph存储各种关系映射数据，数据的重要性不言而喻，所以数据的防灾、高性能及高可用非常重要。目前现状RedisGraph是单节点运行，存在数据防灾、高可用、性能不易扩展的缺陷在CMDB系统中RedisGraph应用流程图现状改进为了解决数据防灾、高可用、高性能的需求，RedisGraph设计为主从（1主2从）、读写分离架构改进后RedisGraph架构设计高可用主要通过主从模式实现，当主redis数据变动时，实时同步到从redis当主redis出现问题不能继续提供服务时，哨兵
1. 分层缓存架构设计2. 缓存带来的复杂度问题数据一致性缓存穿透缓存雪崩缓存高可用缓存热点3. 业界案例技术挑战Feed缓存架构图架构特点参考
据说谷歌AI中国研究中心，最近内部有个项目是针对建筑方案设计、施工图设计，到施工现场管理的AI解决方案。 方法原型来源于建筑师习惯使用的grasshopper（即参数化设计）。只是所有的过程将有AI掌控。 当然，谷歌的产品离发布，还早着。 说起参数化设计，早些年我的毕业论文研究的就是参数化设计。 国内比较快速上线的人工智能建筑师是XKool，小库。 这类产品有个特点，延续了参数化设计的快速生成多方案的能力。 也可以说是人工智能应用在设计上的一个最核心的优势：多方案生成能力。 比如阿里的鲁班，也以多取胜；
【什么是分库分表】 顾名思义，分库分表就是对数据库进行拆分以一种方式或策略。但是在实际场景中，分库和分表并不是要一起出现的。有可能只是需要分表，有可能只是需要分库，如果在大流量高并发的情况下，会出现分库分表同时出现的情况。那么什么时候需要分库分表呢？ 我们可以考虑一个问题，比如我们所负责的业务线是全新的而且非常有潜质的，那么我们设计系统的时候，通常并不会上来就做分库分表的设计，因为对于系统上线之后的发展，没有人可以预测出来。所以，都会中规中矩的按照单库单表的方式去设计。忙碌了好几个月，系统上线了，最初每天
为加强产学研深度融合，促进教育链、人才链与产业链、创新链有机衔接，推动高校毕业生更高质量创业就业。腾讯公司参与第七届中国国际“互联网+”大学生创新创业大赛产业命题赛道，并正式发布了10 个命题方向。命题方向聚焦国家“十四五”规划战略新兴产业方向，倡导新技术、新模式的创新。 欢迎感兴趣的高校团队关注并申报。关于命题要求、命题内容解读、以及各命题咨询联系方式，可以下载附件文档。 命题发布及报名请扫码登录大赛官网： （在企业名称中搜索“腾讯”）。预祝大家在本届大赛中取得优异的成绩，赛出风格，赛出水平。 命
在传统数据大集中的环境下，银行核心系统很容易发生故障，而且一旦发生故障，影响面将特别广，带来很大的舆论压力和监管压力，历史上大型商业银行核心系统故障的例子不在少数。而且传统的集中式架构不易扩展，各模块间高度耦合，最终造成核心系统体量太过庞大、业务太过繁重。
针对当前远程容灾备份系统普遍造价高昂的缺点，技术人员提出了一种通过基于Linux系统下的Rsync（Remote Synchronize）远程同步框架进行改进，采用节点间数据复制技术实现数据库远程备份方案。 根据容灾备份系统对备份类别的要求程度，数据库备份系统可以分为数据级备份和应用级备份。数据备份是指建立一个异地的数据备份系统，该系统是对原本地系统关键应用数据实时复制。当出现故障时，可由异地数据系统迅速恢复本地数据从而保证业务的连续性。应用级备份比数据备份层次更高，即在异地建立一套完整的、与本地数据库系统
为加强产学研深度融合，促进教育链、人才链与产业链、创新链有机衔接，推动高校毕业生更高质量创业就业，腾讯公司参与第七届中国国际“互联网+”大学生创新创业大赛产业命题赛道，并正式发布了10 个命题方向。命题方向聚焦国家“十四五”规划战略新兴产业方向，倡导新技术、新模式的创新。 命题解读视频 欢迎感兴趣的高校团队关注并揭榜。观看命题解读视频进一步了解命题要求，也可点击“阅读原文”下载命题解读文档，并获取各命题专家咨询方式。 命题出题团队微信支付交易欺诈识别微信支付数据中心「虚拟IP」的“智”造创新腾讯广告
关注技术博客的读者肯定有这样感受，Spring Boot 相关的文章铺天盖地。 仿佛一切都在证明，Spring Boot 已成为Java 程序员必备技能。 未来 Spring Boot 的发展还会更好，说 Spring Boot 是当今最重要的 Java 框架也不为过。今天我们就来推荐一些李刚老师的高能课程，一站式学到并掌握Spring Boot所整合的各种技术！内容涉及： MongoDB RabbitMQ Neo4j Kafka 全文检索 即便你是入门水平，完整学习后，也将能够在企业级Spring Boo
2023年6月14日消息，Zilliz 希望通过战略增强和现在包括免费套餐的具有成本效益的新定价模型，成为 LLM（大语言模型） 支持的应用程序的首选向量数据库选择。该公司刚刚发布了最新版本的 Zilliz Cloud，这是其完全托管的向量数据库服务，具有面向 AI 开发的新功能和增强功能。
五年前，香河大厂村，开张大吉。我和弟兄们雄心壮志，坐公交车去面试，谁知道求职不到半个月，每天平均1.3个人挂在八股文造火箭，一年内6个兄弟去了外包。
1.业务调研 明确需求并经过需求评审后，调研相关系统的功能模块及系统运行流程，生成业务调研报告。
Pivotal正着手对自家定价计划作出重新调整，旨在为客户提供更加简单易懂的技术产品采购流程——这一思路与甲骨文的当前方案如出一辙。 调整后的定价方案于本周三正式公布，我们看到Pivotal为每一家选择了两到三年订购计划的客户提供了同样的计费模式——以CPU数量为基本单位进行软件授权。 适用于以上计费模式的软件为“大数据套件”，其中包括Pivotal Greenplum数据库、GemFire、SQLFire、GemFire XD、HAWQ以及Pivotal HD。该套件同时也提供全部软件包所必需
大家好，我是老猫。今天和大家分享一下程序员日常的绘图思路，以及一些老猫日常使用的绘图工具。
昨天发布的《缓存架构，到底设计些什么？》一文，评论里问“究竟啥时候用memcache，啥时候用redis”的比较多。
UbiSQL 这个词对大家来说可能比较陌生，UbiSQL 是平安集团内部打造的分布式数据库产品，代码基于 TiDB，完全兼容 TiBD 4.0 版本。在 TiDB 的特性之上，UbiSQL 在稳定性、安全性和应用性上面都做了提升，打造出一个金融级且内核源码自主可控的分布式数据库，提供一栈式 HTAP 解决方案。
随公司业务不断发展，营销活动、广告、页面改版等需求日益倍增，靠纯人工撸代码已经无法跟上需求增长速度。加班？招人？显得不够明智，也不够前端，提效也就成为了关键。如何提效？从何入手？那不得不提的就是前端提效神器 —— 搭建系统，下文将从多个方面，向大家简单介绍政采云前端团队 ZooTeam 的可视化搭建系统 —— 鲁班。
2004年10月，我参加了某车站综合信息平台项目的开发，承担项目的方案设计任务。该项目力图通过対车站现有信息子系统的集成，以达到共事各子系统的数据，优化企业运输作业流程，提高企业经营管理水平之目的。 本文结合笔者的实践，以该综合信息平台建设项目为例，讨论了企业应用集成技术。在本着集成、开放标准、管理配套的原则下，提出了基于Java技术的J2EE应用服务器作为统一的应用集成平台，以集成适配器作为系统集成架构模式的总体设计思路，并着力介绍了该项目关键部件一一集成适配器的构建过程。还就项目的具体实施作了详细叙述。最后，提出了企业应用集成的持续性，并确定了下一歩集成的目标。
前段时间接手了一个还处于方案设计阶段的工作，我重新做了设计。觉得新方案比旧方案业务清晰明朗、解决了旧方案的缺陷。我就很高兴，跟同事聊这个事情。同事就问我是怎么想到这些的呢。
多租户技术（Multi-TenancyTechnology）又称多重租赁技术，用于实现如何在多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。 具体的多租户隔离技术有多种，数据库通常有如下三种。 1. 独立数据库 这是第一种方案，即一个租户一个数据库。这种方案的用户数据隔离级别最高，安全性最好，但成本也高。 优点：为不同的租户提供独立的数据库，有助于简化数据模型的扩展设计，满足不同租户的独特需求；如果出现故障，则恢复数据比较简单。 缺点：增大了数据库的安装数量，随之带来维护成本和购置
如今非常多企业都在搭建自己的私有PAAS平台，当然也有非常多大型互联网公司搭建共同拥有PAAS平台（比如SAE/BAE/JAE(jae.jd.com)）。那么使用PAAS平台来部署SAAS应用有哪些优点呢？除了大家都知道方便部署管理，节约资源和成本，今天我主要给大家介绍还有一个优点就是让部署在PAAS平台上的应用非常easy做到7×24小时不server执行（哪怕须要又一次部署和更新应用），这个对于一般的企业和普通开发人员来说是非常难办到的。当然假设要在PAAS平台做到事实上也不是那么简单的。须要非常强的技术力量。以下就主要介绍一下在PAAS平台如何实现让部署在PAAS平台上的应用达到7×24小时执行的方案。
软件架构的出现是为了解决系统规模增加后出现了系统耦合严重，开发效率低，逻辑复杂，扩展困难等问题。所以架构设计是为了解决软件复杂度而存在的，所以架构设计的目地是识别出需求的复杂点然后针对性的解决。系统设计时需要考虑：性能，系统的可扩展性，安全性，高可用，成本。 架构师的工作并不神秘，成熟的架构师需要对已经存在的技术非常熟悉，对已经经过验证的架构模式烂熟于心，然后根据自己对业务的理解，挑选合适的架构模式进行组合，再对组合后的方案进行修改和调整。
服务器中的数据库密码定期修改是一个好习惯，这里记录下MySQL和Redis数据库的密码修改步骤。
刚刚过去的21世纪的第二个十年，是消费互联网蓬勃发展的十年，也是云计算、大数据、人工智能等新一代信息技术，即“数字化技术”快速崛起的十年。
无代码和低代码开发平台让全世界的人们在不写代码的情况下建立他们的业务和应用，为他们服务。根据 Forrester到2021年，无代码/低代码类别将增长到212亿美元。 在这些平台之前，为企业建立一个应用程序需要雇用有经验的软件开发人员。但现在情况并非如此。今天，许多无代码/低代码平台使独立创作者、艺术家和企业家都有可能自己建立应用程序。 尽管似乎有一个从写代码到使用可视化开发工具的范式转变，但拥有一个后端和前端的基本概念仍然是相同的。要为你的业务建立一个应用程序，你将需要一种方法来连接你的后端和前端。一个叫
最近在和研发同学聊天的时候发现他们有一套数据库开发环境，严格的说这是一套混合环境，算是开发和测试环境的合体。其中负责管理这套环境的研发同学已经受不了了，不禁发出了感叹：什么事情都找我，我又不是DBA.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
