在关系数据库中，术语 upsert 被称为合并(merge)。意思是，当执行 INSERT 操作时，如果数据表中不存在对应的记录，PostgreSQL 执行插入操作；如果数据表中存在对应的记录，则执行更新操作。这就是为什么将其称为 upsert（update or insert）的原因。
要将数据插入分布式表，您可以使用标准 PostgreSQL INSERT 命令。例如，我们从 Github 存档数据集中随机选择两行。
先声明一点：ON DUPLICATE KEY UPDATE 这个子句是MySQL特有的，语句的作用是，当insert已经存在的记录时，就执行update。
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
幂等性的一个要求是多次操作的结果一致。对于update操作，多次直接的结果都是最后update的值，是满足需求的。但对于insert，如果已经插入，第二次会报错，duplicate error， 主键重复或者unique key duplicate。所以需要做一下处理。
insert on conflict语法实现了upsert的功能，即在插入发生主键冲突、或唯一约束冲突时，执行on conflict后面的语句，将insert变成update或do nothing避免报错。
NewLife.XCode是一个有15年历史的开源数据中间件，支持netcore/net45/net40，由新生命团队(2002~2020)开发完成并维护至今，以下简称XCode。
反应式编程在客户端编程当中的应用相当广泛，而当前在服务端中的应用相对被提及较少。本篇将介绍如何在服务端编程中应用响应时编程来改进数据库操作的性能。
SQLite “只是”一个库，它不是传统意义上的服务器。因此，在某些场合下，它确实不合适。但是，在相当多的其他场合，它却是最合适的选择。SQLite 号称是部署和使用最广泛的数据库引擎。我认为这很有可能，因为 SQLite 没有版权的限制。无论何时，只要开发者想使用 SQL 在文件中存储结构化的数据，SQLite 应是首选方案。
实际上针对ORACLE ,SQL SERVER ，MYSQL 很少听说对于DML 语句进行特殊的优化，当然这里批量进行数据更新和小事务更新，数据包大小，一次更新，插入多少行，删除时使用逻辑的方式，等等，这和POSTGRESQL DML 优化是无关的，和所有的数据库的优化是有关的，所以今天说的是，只对，只对，只对，POSTGRESQL DML 操作优化有关的方法。
这是「进击的Coder」的第 694 篇技术分享 作者：Markus Winand 原文：https://modern-sql.com/blog/2019-01/sqlite-in-2018 “ 阅读本文大概需要 9 分钟。 ” SQLite 是一个被大家低估的数据库，但有些人认为它是一个不适合生产环境使用的玩具数据库。事实上，SQLite 是一个非常可靠的数据库，它可以处理 TB 级的数据，但它没有网络层。接下来，本文将与大家共同探讨 SQLite 在过去一年中最新的 SQL 功能。 SQLite “只
SQLite 是一个被大家低估的数据库，但有些人认为它是一个不适合生产环境使用的玩具数据库。事实上，SQLite 是一个非常可靠的数据库，它可以处理 TB 级的数据，但它没有网络层。接下来，本文将与大家共同探讨 SQLite 在过去一年中最新的 SQL 功能。 SQLite “只是”一个库，它不是传统意义上的服务器。因此，在某些场合下，它确实不合适。但是，在相当多的其他场合，它却是最合适的选择。SQLite 号称是部署和使用最广泛的数据库引擎。我认为这很有可能，因为 SQLite 没有版权的限制。无论何时，
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
DML：全称Data manipulation Language，是数据库操作语句，例如select、insert、update等等。 按照国际化标准组织1992年发布的数据库SQL语言标准 （ ISO/IEC 9075:1992, Database Language SQL- July 30, 1992），是不包括upsert，所以仅有部分数据库支持upsert操作。
本节利用了首次在 SQLAlchemy 统一教程中展示的 ORM 映射，如声明映射类一节所示，以及映射类继承层次结构一节中展示的继承映射。
最近想着把工作中常用到的技术点与工具做一些整理总结，一方面梳理一下这些知识点，加深使用记忆，也可以作为之后使用的查阅。
PG流复制场景下，默认配置下， 如果在PG从库执行长时间的查询，会出现查询的报错。提示
pglogical 是 PostgreSQL 的拓展模块, 为 PostgreSQL 数据库提供了逻辑流复制发布和订阅的功能。 pglogical 重用了 BDR 项目中的一部分相关技术。pglogical 是一个完全作为PostgreSQL 扩展实现的逻辑复制系统。完全集成，它不需要触发器或外部程序。这种物理复制的替代方法是使用发布/订阅模型复制数据以进行选择性复制的一种高效方法。支持 PG10、9.6、9.5、9.4 ，提供比 Slony、Bucardo 或 Londiste 更快的复制速度，以及跨版本升级。 我们使用的下列术语来描述节点和数据流之间的关系，重用了一些早期的 Slony 技术中的术语:
在本次实验中，您将使用 Cloudera SQL Stream Builder来捕获和处理来自外部数据库中活动的更改。
AskTUG.com 技术问答网站相信大家都不陌生，但除了日常熟知的前端页面外，背后支撑其运行的数据库还有一个不为人知的故事。本文由 AskTUG.com 的作者之一王兴宗老师分享，揭秘诞生于 Discourse 的 AskTUG.com ，从 PostgreSQL 迁移到 MySQL 最后稳定运行在 TiDB 的奇妙故事。
最近有个需求，需要将200W 左右的 excel 格式数据录入 postgreSQL 数据库。 我想了几种办法：
首先，创建一个表（people），并且主键由字段 name、age 和 gender 组成，以及其它字段（例如 address、comment）等。
ORM（Object Relational Mapping），中文名为对象关系映射。
常规锁相容性复习：https://www.postgresql.org/docs/14/explicit-locking.html
安装 pandas 的最简单方法是作为Anaconda发行版的一部分安装，这是一个用于数据分析和科学计算的跨平台发行版。Conda包管理器是大多数用户推荐的安装方法。
最近整理了 MySQL 的 8.0.0 到 8.0.37 的版本中主要的更新内容要点和官方的链接的位置，PG 在版本上功能上，更新的速度相对 MySQL 有过之而无不及，本期我们也过一过 PG 从 PG 12 到 PG 16 中小版本的更新的功能和 Bug Fixed。这里我们从 PG12 开始的每个小版本一直到 PG16 的每个小版本中的更新的 release note 的记录中挑拣重要的进行列表。PG12中各个小版本的内容更新较多，可能由于时间的原因和个人的能力原因，忽略掉您认为重要的更新，您可以告诉我将其进行完善，通过梳理这里发现 PG12中的PG12.13版本有一些与系统崩溃相关的内容，根据这个信息，建议如果使用PG12的同志可以选择PG12.13后的版本。
https://www.zhihu.com/question/51513268/answer/127777478
为了全面测试SQLite支持的SQL语句，需要设计一个包含多种类型的表结构，并编写各种SQL语句来测试这些功能。目前按照以下分类进行测试：
ERROR: there is no unique or exclusion constraint matching the ON CONFLICT specification Call getNextException to see other errors in the batch.
本系列教程为量化开发者，提供本地量化金融数据仓库的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源，将金融基础数据落到本地数据库。教程提供全套源代码，包括历史数据下载与增量数据更新，数据更新任务部署与日常监控等操作。
本篇只简单介绍逻辑复制解析过程，这里面的比较有意思的历史快照还没有看，后面在补一篇。
数据库与硬件之间的关系，是一个决定数据库性能，必要条件，即使你参数调整的漂亮，你的SQL 撰写的没有问题，但是硬件不行，那么上面说的这一切对于数据库的性能，只能是杯水车薪。
作者介绍：黄辉，目前在腾讯云数据库团队从事后台开发工作，喜欢研究分布式数据库相关技术。 导语 PostgreSQL是通过MVCC(Multi-Version Concurrency Control)
转自《對於 MySQL Repeatable Read Isolation 常見的三個誤解》
从PG1开始，ALTER TABLE DETACH 支持 CONCURRENTLY，避免因ALTER TABLE DETACH忘记设置statement_timeout参数而长时间锁表。
在使用SQLite建表的时候，通常会使用_id作为唯一标示，使用PRIMARY KEY与AUTOCREMENT进行修饰，而主键是不可以重复的。但是在这张表中还有其他的Column也不允许重复，则可以使用Unique约束。
这是个令大多数后端同学头疼的问题。部分是因为不同的文章、文档充斥着不相容的概念。高层抽象和底层实现混到一起令人傻傻的分不清楚。此外还有一部分是SQL标准和实现压根就不一致。本文期望在众多文献中找到一条容易理解知识线，帮助大家在实际工作中更加容易明白到底怎么使用数据库的事务、隔离级别和锁。 ACID的真实含义 一般都会用ACID来表达事务的特性。A、C、I、D分别代表“原子性”，“一致性”，“隔离性”和“持久性“。这是1983年（恰好是我出生的年份）ACM的一篇期刊文章Principles of Transa
官方手册：https://docs.citusdata.com 脑图大纲 入门 什么是Citus？ Citus 可以扩展多远？ 何时使用 Citus 多租户数据库 实时分析 使用注意事项 何时 Citus 不合适 快速教程 多租户应用程序 数据模型和示例数据 创建表 分发表和加载数据 运行查询 实时分析 数据模型和样本数据 创建表 分发表和加载数据 运行查询 安装 单节点 Citus Docker (Mac 或 Linux) Ubuntu 或 Debian Fedora, CentOS, 或 Re
简单说，忽略列存储概念，将之认为压缩的行存储。列存储是这个概念的扩展，在下节解释。最基本的磁盘数据结构是B-tree，以TID为索引列。注意，这不是现有的Btree索引，而是独立于表数据存储的另外新Btree。
数据是金融量化分析的重要基础，包括股票历史交易数据、上市公司基本面数据、宏观和行业数据等。随着信息流量的日益膨胀，学会获取、查询和加工数据信息变得越来越重要。对于鼓捣量化交易的人来说，怎么能说不会玩数据库呢？目前常用的开源（免费）数据库有MySQL、Postgresql 、Mongodb 和 SQLite （Python自带），在2018-2019年DB-Engines 排行榜上位居前十（见下图），可见其使用量和受欢迎程度较高。这几个数据库各有自己的特点和适用环境，关于该学习哪一个或如何学习网上有很多相关资料。本文主要为大家简单介绍如何使用 Python 操作 Postgresql 数据库（其他数据库类似），利用 psycopg2 和 sqlalchemy 实现 postgresql 与 pandas 的 dataframe 进行交互，一步步搭建自己的量化分析数据库。
用Vapor连接数据库是一件令人兴奋的事，本篇就来介绍如何使用Vapor来连接PostgreSQL数据库，将数据持久化。
python3.6 使用 pymysql 连接 Mysql 数据库及 简单的增删改查操作
墨墨导读：PostgreSQL使用session_exec插件实现用户密码验证失败几次后自动锁定，本文介绍一种处理方案。
http://amitkapila16.blogspot.com/2021/07/logical-replication-of-in-progress.html
昨天写了些 MYSQL MVCC ，今天就的搞搞 PostgresQL 的MVCC ，最近从某些网站上获得的信息，PostgresQL的 相关人员的需求量在国内开始增加，但和需求相比，会的人少，所以你懂得。
FreeSql 开源发布快一年了，立志成为 .Net 平台方便好用的 ORM，仓库地址：https://github.com/2881099/FreeSql
前段时间在项目的crm存储部分，为了满足大量自定义的搜索功能，选择了使用了ES作为后端存储介质。
最近写了一篇揭露人性的文章，被下架了，看来是写对了，的确是不适宜公开传阅了，我一点都不惊讶，很多事情只可意会，不能宣之于口.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
