业务不断地在增长，集群分片中的数据也会随着时间的推移而增加，其中有相当一部分的数据是很少被使用的，例如几年前的订单记录、交易记录、商品评论等数据。这部分数据就称之为冷数据，与之相反经常被使用的数据则称之为热数据。
CDH支持Hadoop分布式文件系统HDFS中的各种存储类型。早期的CDH只支持一种存储类型。现在，您可以为DataNode数据目录指定不同的存储类型，这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁使用的数据，可以存储在SSD中，而归档的数据可以存放在相对便宜的存储介质中。
随着企业业务数据量的增大，现有服务器环境可能无法提供足够的磁盘空间存放数据处理的日志和文件，磁盘空间不足是影响EDI环境正常运行的一大原因，会导致数据无法正常处理，日志信息无法写入，影响业务正常进行。本文将为大家介绍出现磁盘空间不足，导致EDI系统运行异常的紧急处理方法。
上篇文章介绍了go语言开发环境的搭建，本文介绍一下go语言的工作区。在go语言的环境搭建过程中，需要了解3个环境变量：
今天抽空整理，发现近期问我数据恢复，灾备的问题还比较多，我简单整理了一下。 问题1： 能请教一个问题么？我们用was链接的oracle数据库，是不是不建议在was上设置statementcachesize的参数？我们目前设置的是200，发现数据库中那个session都会持有200个游标，有工程师建议把这个参数设置为0 这个问题着实还问到我了，不过我问了下专业的中间件工程师，答复如下： Statement Cache Size是指有多少个prepared statement或者callable state
云数据库 MySQL（TencentDB for MySQL）是腾讯云基于开源数据库 MySQL 专业打造的高性能分布式数据存储服务，让用户能够在云中更轻松地设置、操作和扩展关系数据库。同时云数据库MySQL集成了数据库的备份功能，可以针对数据库实现数据库的自动数据备份、手动数据备份以及日志备份。
企业只有通过建立知识库，才能够进行知识的有效整合，使知识转化，达到共创、共享和应用创新的目的。
依然是原来的配方，原来的文章URL访问格式不变，文章仍然采用[https://dotnet9.com]/[发布年份]/[发布月份]/[别名]的格式：
一般意义上，备份指的是数据备份或系统备份，容灾指的是不在同一机房的数据备份或应用系统备份。备份采用备份软件技术实现，而容灾通过复制或镜像软件实现，两者的根本区别在于：
全球分布式云大会是分布式云技术和商业交流的旗舰级平台，2023全球分布式云大会·北京站将于6月28日-29日正式召开，本次大会以“云智筑基”为主题，探究人工智能（AI）在大模型全新的发展风口，构建新型泛在算力网络的趋势，如何利用分布式云、分布式数据库、分布式存储、边缘云等构建新型算力网络，打造更强大的数字经济价值引擎。
“可恶，手机存储容量又不够了。” 隔壁小杨看着手机弹出的告警向我吐槽到。 随着智能手机的飞速发展，手机拍摄的质量也逐步提高，后置三四个镜头也是常事。 伴随着时代的进步，手机拍摄的相片也动辄达到了4MB、5MB甚至10MB。想要记录身边的美好，但手机的存储容量却渐渐拖了后腿。除此之外，手机更新换代的频率也在迅速提高，随之而来的数据迁移和备份问题却让大家直呼麻烦。 在这样的形势下，云相册的解决方案应运而生。 各大手机厂商均拥有自己的云相册产品，提供云端备份及处理的服务。酷派手机自然也不例外。 但与传统手机厂商将
看到这报错，很简单对吧，找不到归档日志，便报错了，基本上没什么可说的，但对于初学者而言，还是记录以下，以便后来者参考。先说说这个错误怎么来的吧，事情的经过是这样的（回忆片段走起），上周四晚上回家途中，马上要下地铁了，手机微信里出现了一大片关于数据库的告警，数一数有 7 套数据库同时告警，感觉出大事了，后来说是存储那边出问题了，经过一天的修复，只剩下一台机器有问题了，操作系统无法启动，也修复不了，幸好修复不了的机器只是我们数据库的一个节点，可这就造成了我们其中的一台数据库由RAC 变成单点了。
伴随着时代的进步，手机拍摄的相片也动辄达到了4MB、5MB甚至10MB。想要记录身边的美好，但手机的存储容量却渐渐拖了后腿。除此之外，手机更新换代的频率也在迅速提高，随之而来的数据迁移和备份问题却让大家直呼麻烦。
记得之前在《一半技术一半生活》中分享过一个设计，因为业务的需求，为了提高业务的处理效率，采用了根据业务的拆库拆表的方式，类似下面的图示。 开发团队也很给力，帮我们协调了好的机器，加了内存，也在新业
Zilliz 公司以 “重新定义数据科学” （Reinvent Data Science）为愿景，专注于研发利用新一代异构计算的开源数据科学软件。随着各项目的蓬勃发展，我们对于持续集成、持续交付、持续部署（CI/CD）都提出了更高的要求。本文是 CI/CD 系列的开篇，重点介绍持续集成的编译优化实践。
灾备机房选址、数据中心网络分区规划（含专线铺设等）、设备采购上架、服务器系统安装和初始化，这一切完毕之后，就可以做运维基础服务搭建了，再之后才是应用和业务的发布运行。本文主要详细介绍运维基础服务搭建。
有赞搜索中台作为有赞企业级搜索能力复用平台，在解决各个业务域搜索问题时是如何探索与实践的，这个过程中有哪些心得，本文与大家一起分享探讨下。
oracle的ADG那是自不必多说，用存储圈的话说，现在存储正在从被动被动变为主动，但是总体上是被软件抢，RAID被ASM抢，快照被Flashback抢，DR被ADG抢。 如果这几种方案结合在一起那会是什么结果。这就涉及到一个备库的设计方法。 我也是抛砖引玉。环境都是基于11g的dg来说。 首先基本的，一个主库一个备库是很多系统都在采用的备库设计方式，如果数据库比较关键，这种方案有什么缺点呢。 11g的备库现在也被赋予了更多的责任。 容灾，首先就是容灾如果主库挂掉，备库能够进行failover，这个没有问题
随着上云企业越来越多，企业对用云成本问题也越发重视。业务的发展会产生海量存储需求，在云端存储数据时，如何进行成本优化，减轻业务负担呢？
其实帮助很多的朋友解决过Oracle数据库数据不同步的问题，看似简单的问题分析出来的原因也是五花八门。比如： Oracle数据库问题的一点总结 在查看一些没有专业DBA维护的数据库的时候，会发现很多的潜在问题，有些可能无伤大雅，看起来是不规范不标准的问题，倒不会直接造成问题，而有些问题会让人后背发凉，正如同歌词里唱的，一旦错过就不再，这里说的就是数据，所以也希望大家能够在一些案例中得到启发和参考，避免在自己的系统中重演。 先啰嗦一句，尽管在Oracle命令行下敲过命令了，但是完整的命令和思路还算清晰，所以大
从这期开始讲Oracle Data Guard方面的内容，先将基本的概念，然后介绍如何搭建Data Guard
制品是软件开发过程中产生的多种有形副产品之一，个人理解，比如前端build后产生的dist静态资源文件，安卓打包生成的apk文件，这些产物都可以认为是制品。 制品的使用可以非常简单。 比如下面的流水线Job。 第一步拉代码，仓库中存在一个名为Dockerfile的文件。 第二步把文件存为制品。
最近处理了一起看似比较奇怪的dataguard归档路径问题。 问题的背景是这样的。 有一套一主两备的环境，备库1和主库在同一个机房，可以尝试在failover的时候切换备库IP为主库IP。另外还有一台
吕亚霖，2019年加入作业帮，作业帮架构研发负责人，在作业帮期间主导了云原生架构演进、推动实施容器化改造、服务治理、GO微服务框架、DevOps的落地实践。 莫仁鹏，2020年加入作业帮，作业帮高级架构师，在作业帮期间，推动了作业帮云原生架构演进，负责作业帮服务治理体系的设计和落地、服务感知体系建设以及自研mesh、MQproxy研发工作。 摘要 日志是服务观察的主要方式，我们依赖日志去感知服务的运行状态、历史状况；当发生错误时，我们又依赖日志去了解现场，定位问题。日志对研发工程师来说异常关键，同时随着微
虽说实践了不少的数据迁移项目，但是从我的感触来说，一些很细小的差别就会造成整个数据迁移方案的大不同。数据是系统的核心命脉，所以对于DBA来说，保证数据的一致性和准确性是一个最基本的要求。对此我的一个基本观点就是高可用的需求除非特殊需要，一般都还是需要一个维护窗口的，这种方式更为保守，但是更为保证。 而在Datapump迁移中还是遇到了不少的小问题，也算是一些心得或者建议吧。 1）如果是跨平台的数据迁移，在升级前需要得到一个清单，包含哪些失效的对象，是否需要重新编译，如果不确认，在迁移之后就会
近日，深圳国家基因库（CNGB）加入The TRUST Principles列表。The TRUST Principles由RDA（Research Data Alliance）提出，旨在为维护数字存储库（尤其是科研数据存储库）可信度提供指导。目前，已有World Data System、Springer Nature、Science Data Bank等44家研究机构、出版商和数据存储库加入其中。
Oracle Data Guard是Oracle MAA(Maximum Availability Architecture)中的成员之一，也是MAA中技术要求最简单的方案之一。随着Oracle新功能的引入如Active Standby Database后，加速了Oracle Data Guard的普及。响应去I的趋势和X86架构的流行，对Oracle Data Guard的普及更起到了锦上添花的影响。
针对应用的字体大小、是否保存用户名等偏好设置，IOS的每个应用都有个NSUserDefaults实例，通过它来存取偏好设置。NSUserDefaults设置数据的时候，不是立即写入，而是根据时间戳定时地把缓存中的数据写入本地磁盘。所以调用了set方法之后数据有可能还没有写入磁盘应用程序就终止了。
◆ 冷热分离二期实现思路：冷数据存放到HBase ◆ 冷热分离一期解决方案的不足 不得不说，冷热分离一期的解决方案确实能解决写操作慢和热数据慢的问题，但仍然存在诸多不足。 1）用户查询冷数据的速度依旧很慢，虽然查询冷数据的用户比例很低。 2）冷数据库偶尔会告警。 这两点不足体现在用户侧是什么样呢？那就是一旦客服在工单查询表中勾选“查询归档”checkBox，页面就会一直转圈，而后台冷数据库的IO就会飙升。 如果客服发现页面没反应，可能会多点几次“查询”按钮，那么有可能把后台服务器的请求线程占满，导致整个系统
改造总是要付出很多代价的，肯定会跌很多坑，这是必然的... 性能问题也总会呈现先下降后再上升的一个历程（调试、磨合、找到针对性、适应性解决方案）。
备节点查看select pg_last_xlog_receive_location();值没有变化，已经不从主节点同步。
对于企业而言,文档属于非常重要的一种资料和信息,其中包含了企业的建设发展历程,核心机密,知识技术,客户资料等.但因为各种原因,大多数企业未能对文档进行正确的管理和保存,因此降低了利用效率。
分享的项目包含2个，一套是SpringCloud的电商系统，一个是基于SpringBoot博客系统。
分享的项目包含2个，一套是SpringCloud的电商系统，一个是基于SpringBoot博客系统。 SpringCloud的电商系统 Spring Cloud ES Redis FastDFS Kafka 等主流框架构建的电商系统，一个可实际落地的电商项目，以下是学习课程目录和核心功能，有视频和源码 1.框架搭建 - 电商项目介绍 - 微服务环境搭建 - 数据库搭建 2.分布式存储系统 - FastDFS原理讲解 - 文件上传 - 文件下载 3.商品发布 - 表结构梳理 - 代码生成器的使用 - 商品增
我把自己之前写的 130 篇文章都搬过去了，还剩下 10 来篇非技术文没有搬运，实在是搬不动了，估计得等到国庆的时候再去搬运了。
之前已经整理出： 1.【DG】DataGuard搭建-11gR2单主单备 2.【DG】DataGuard架构和部分概念整理 下面继续整理DataGuard相关动态性能视图，用于查看物理DG状态，以及日志传输/应用服务简单说明，要结合架构和概念篇看
近些年，在政策和市场不断完善的综合影响下，我国医药电商B2B市场增长迅速，根据数据显示，2021年我国医药电商B2B模式交易规模便已达到2072亿元。这其中，B2B电商技术的不断提升也在加速着药品零售小B企业业务的发展，例如电子签约功能的应用，展现了方便快捷、安全可靠的特点，帮助医药电商企业大大降低了交易成本、提升签约效率。
本篇梳理DG的架构和一些概念知识，重新梳理的目的是加强理解，也方便复习，基于11gR2版本写的，不包含12c新特性。如果能帮助到新接触DG的朋友，那就再好不过。
如果在搭建博客中遇到什么问题 ，请在 评论区 留言 ，我会在第一时间内帮助您解决问题 。
日志系统主要有redo log(重做日志)和binlog(归档日志)。redo log是InnoDB存储引擎层的日志，binlog是MySQL Server层记录的日志， 两者都是记录了某些操作的日志(不是所有)自然有些重复（但两者记录的格式不同）。
LCS 是一个基于 Python Django 框架的项目，业务核心是物流订单的履约过程，包括连接上游和第三方物流服务的创建订单、轨迹与运费更新。在部署上，LCS 依据业务所在的市场不同，应用层分市场部署，并使用各自市场对应的数据库。在项目起步初期，这些不同市场的数据库共用同一套物理集群，共享内存和磁盘空间，在资源上看，是足以应付初期流量的。
Oracle ADG全称为Oracle Active Data Guard，它是Oracle Data Guard功能集中的一个高级选项。Active Data Guard是Oracle数据库提供的一种高级高可用性和灾难恢复解决方案，它在Oracle Data Guard的基础上进一步增强了备用数据库（Standby Database）的功能和利用率。
鱼羊 明敏 发自 凹非寺 量子位 | 公众号 QbitAI 大家好，我们又来蹭冬奥会热度了（手动狗头）。 毕竟啊，这届冬奥不仅赛事精彩，背后频频曝出的黑科技也让人应接不暇填满了选题小黑板。 从开幕式上的“步步生雪花”，到赛程中全网感谢的“猎豹”、“飞猫”， 再到各个直播间里手语解说、带货冰墩墩的数字人们……整得这都不单单是体育迷们的盛宴，也给科技爱好者们喂了个饱。 甚至，上述这些还只是你“看得到”的。深挖起来，在这届冬奥会背后，科技带来的变化真是已经深入到冰雪赛事的每一根毛细血管里，无处不在。 怎么说？
云计算似乎是归档存储数据的理想场所。它提供了按需付费的增长模式，并使组织能够缩减其内部存储空间。但问题是，三大供应商(亚马逊AWS，微软Azure和谷歌计算)并没有提供交钥匙归档的服务体验。用户很难获得数据。在某种程度上，这是应该的。这些服务的重点是提供基础架构即服务，而不是解决方案即服务。问题是用户IT部门需要一个解决方案。 内部部署的归档问题 归档存储市场中的每个供应商都可以创建一个投资回报方案，显示其实施后数月的归档支付情况。问题是所有这些供应商都有些犯了模糊数学的错误。典型的投资回报率情况是
ELK是elastic公司提供的一套完整的日志收集以及前端展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash和Kibana。
日志数据是典型的时序数据，因此，日志场景是时序数据库CTSDB的典型应用场景。下文主要描述如何用CTSDB搭建日志系统。
这是一个单实例数据库，oracle11.2.0.4 ，跑在Wondows上，当时主库压力太大，用户有容灾和读写分离的需求，这样在主库跑了一段时间后搭建了一个备库，这个备库一直跑到很好，最多主库由于存储压力，删除过几个归档日志，这个删除也是确认了备库应用之后操作的，对主备都已经没有影响。所以，当这家南方公司的负责人（我就称为王工）找到我时，我还是觉得意外。
在数字化转型浪潮中，如何存储和利用好数据，是企业面临的首要问题。相比于传统互联网全面拥抱云，产业互联网在数字化转型过程中，通常第一步是利用云存储来归档数据。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
