在SQL Server 2008版本之前，对表数据库的变更监控，我们通常使用DML触发器进行监控，把DML操作中的INSERT/UPDATE/DELETE数据记录下来，但是触发器的维护比较困难；
数据库环境： 1、SQLServer 2008R2 2、SQLServer 代理打开
Flink CDC [1] 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。
今天和大家分享的是19年12月发表在OncoTargets and Therapy (IF：3.34)杂志上的一篇文章，“Potential Prognostic and Diagnostic Values of CDC6,CDC45, ORC6 and SNHG7 in Colorectal Cancer”，作者在R中使用了Affy和Limma包对四个GEO数据集和TCGA进行DEGs和DELs差异分析，然后采用了GO和KEGG富集分析，KM生存曲线和COX回归分析寻找与结直肠癌(CRC)患者生存结果相关的异常表达基因，并结合了实时PCR对CRC样品中异常表达的基因进行检测。
下面通过一个简单的“Oracle CDC增量抽取”实例，带大家感受一下TIETL的
肿瘤是复杂的生态系统，其中异质恶性细胞与免疫细胞和非免疫细胞相互作用，形成肿瘤微环境 (TME) 的复杂细胞网络。由于骨髓细胞构成免疫细胞的关键细胞成分，这些免疫细胞渗透到肿瘤中并在调节肿瘤炎症和血管生成中发挥重要作用。针对骨髓细胞的几种治疗方法正在研究中，但对骨髓细胞的异质性的研究仍然较少。
在上篇文章 从 SQL Server 到 MySQL （一）：异构数据库迁移 中，我们给大家介绍了从 SQL Server 到 MySQL 异构数据库迁移的基本问题和全量解决方案。全量方案可以满足一部分场景的需求，但是这个方案仍然是有缺陷的：迁移过程中需要停机，停机的时长和数据量相关。对于核心业务来说，停机就意味着损失。比如用户中心的服务，以它的数据量来使用全量方案，会导致迁移过程中停机若干个小时。而一旦用户中心停止服务，几乎所有依赖于这个中央服务的系统都会停摆。
很多大型企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到Doris中进行分析和统计，Doris作为分析型数据库特别适合于对海量数据的存储和分析，我们只需要把MySQL的表单数据实时同步到Doris即可以实现实时数据分析能力。
为了满足数据迁移和数据抽取的业务需要，使得有机会在数据库层面上直接实现增量抽取功能，ORACLE综合性能和场景需要，在数据库引擎层面直接集成了CDC功能，由于提供了类似API的功能接口，变更数据捕获和更改跟踪均不要求在源中进行任何架构更改或使用触发器，所以比第三方工具具有一定的优势。利用CDC捕获变更有以下特点：
Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。
CD39可能作为膀胱癌（BC）潜在治疗靶点。抑制CD39能够抑制肿瘤生长和延长生存时间。通过单细胞测序发现CD39抑制介导了肿瘤微环境的改变。
本来想睡觉，最近很累，但看完某篇文章后，实在是经不起诱惑，起来继续，Change Data Capture, 其实这东西很多数据库都有这个功能,SQL SERVER 本身就有 CDC 的功能。PostgreSQL 的 CDC ，不能光看，还的去实践。
摘要：本文整理自大健云仓基础架构负责人、Flink CDC Maintainer 龚中强在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括：
对于大部分企业应用来用，有一个基本的功能必不可少，那就是Audit Trail或者Audit Log，中文翻译为追踪检查、审核检查或者审核记录。我们采用Audit Trail记录每一笔业务操作的基本信息，比如操作的基本描述、操作时间、操作者等。对于一些安全级别比较高的应用，或者操作一些比较敏感的数据，我们甚至需要记录该笔业务操作引起的数据的改变。具体来说，这里的“数据改变”指的是每一条影响的记录在操作执行前后的变化。对于添加的记录，需要记录下新插入的记录；对于删除的记录，需要记录下原来的记录；对于更新的记录
在云计算时代，各个企业的信息基础设施都在进行云化转型，一时间，似乎万物皆可上云。但是在上云过程中，有不少客户遇到过这样的问题：有部分数据出于合规需求，需要在本地存储与处理，怎么办？一些数据需要本地高速访问，跟公有云之间的延迟太高了，怎么办？使用私有化方式部署，需要专门的团队来采购、管理、运维，无法享受上云的便利性，怎么办？
摘要：本文介绍了如何使用 Dinky 实时计算平台构建 Flink CDC 整库入仓入湖。内容包括：
CDC(Change Data Capture)是一种通过监测数据变更（变更包括新增、修改、删除等）而对变更的数据进行进一步处理的一种设计模式，通常应用在数据仓库以及和数据库密切相关的一些应用上，比如数据同步、备份、审计、ETL等。实际上，早在二十多年前，CDC就已经用来将应用系统的数据变更实时发送到数据仓库，进一步转换后传递到数据分析系统，这样能够在极小地影响生产的情况下，有效而及时地将数据传递到消费方。而在微服务架构逐渐流行的今天，这种古老的技术是否能够焕发新的生机？
最近在学习Tool的调试工具，以便后面调案子的时候更加熟悉。有个问题一直让我很困惑，当我切换到CDC Tool的时候，那一面数据代表的是什么含义？CDC是什么？BG是什么？BG-CDC又是什么？为什么BG-CDC会是正值而不是负值？这些在Software的Datasheet中都没有找到确切的定义说明。
摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括：
圣犹太儿童研究医院（St. Jude Children's Research Hospital）的科学家们发现，免疫细胞和肿瘤细胞在它们的局部环境中争会夺谷氨酰胺。谷氨酰胺是一种营养物质，对抗癌活性具有重要意义。如果癌细胞垄断谷氨酰胺，则可以阻止免疫细胞破坏癌细胞。研究结果表明，将谷氨酰胺直接供给肿瘤细胞有助于启动免疫系统的抗癌活性。研究人员还鉴定了一个可能作为潜在药物靶点的分子通路。研究成果于2023年7月5日发表在《自然》杂志上。
随着系统变得越来越复杂，我们需要更多的解决方案来集中维护大量数据，以便对其进行监控和查询，而又不会干扰运营数据库。在Yotpo，我们有许多微服务和数据库，因此将数据传输到集中式数据湖中的需求至关重要。我们一直在寻找易于使用的基础架构（仅需配置），以节省工程师的时间。
Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。
Heterogeneity of tumor-infiltrating myeloid cells in era of single-cell genomics 文章地址：https://pubmed.ncbi.nlm.nih.gov/36714348/ 详细信息：Chu X, Zhang Y, Cheng S. Heterogeneity of tumor-infiltrating myeloid cells in era of single-cell genomics. Chin J Cancer Res. 2022 Dec 30;34(6):543-553. doi: 10.21147/j.issn.1000-9604.2022.06.01. PMID: 36714348; PMCID: PMC9829493. 不是学徒作业了，但是看到有翻译的需求，正好自己也很感兴趣，就试着翻译一下，如果有不准确的地方，欢迎批评指正。
摘要：本文由社区志愿者陈政羽整理，内容来源自阿里巴巴高级开发工程师徐榜江 (雪尽) 7 月 10 日在北京站 Flink Meetup 分享的《详解 Flink-CDC》。深入讲解了最新发布的 Flink CDC 2.0.0 版本带来的核心特性，包括：全量数据的并发读取、checkpoint、无锁读取等重大改进。
CDC实时数据同步指的是Change Data Capture（数据变更捕获）技术在数据同步过程中的应用。CDC技术允许在数据源发生变化时，实时地捕获这些变化，并将其应用到目标系统中，从而保持数据的同步性。CDC实时数据同步具有以下优点：
摘要：本文整理自 OceanBase 技术专家王赫（川粉）在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括：
CDC 变更数据捕获技术可以将源数据库的增量变动记录，同步到一个或多个数据目的。本文基于腾讯云 Oceanus 提供的 Flink CDC 引擎，着重介绍 Flink 在变更数据捕获技术中的应用。 一、CDC 是什么？ CDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。 例如对于电商平台，用户的订单
大部分数据库都提供CDC 的功能, change data capture, DB的同学可能要问,为什么要这个功能, ORACLE 有DG 数据复制, SQL SERVER 有replication , MYSQL 有 binlog 复制, PG 逻辑,物理复制都有,CDC是不是多余的.
CDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。
利用 CDC，您可以从现有的应用程序和服务中获取最新信息，创建新的事件流或者丰富其他事件流。CDC赋予您实时访问后端数据库的能力。
本地专用集群CDC是可部署在客户本地的公有云，可在客户需要的位置（本地IDC、工厂、学校等）部署最小仅需5台服务器设备的云节点，可扩展提供30+IaaS/PaaS云服务。客户可以通过公有云控制台来管理和使用CDC，CDC上所有云服务（比如云服务器、云硬盘、VPC虚拟网络、数据库、中间件等）与公有云均有相同的功能和管理方式。
本文将演示如何使用 Flink DataStream API 开发一个 Flink CDC 应用。
本文阐述了某商业银行如何利用 TiCDC Syncpoint 功能，在 TiDB 平台上构建一个既能处理实时交易又能进行准实时计算的一体化架构，用以优化其零售资格业务系统的实践。通过迁移到 TiDB 并巧妙应用 Syncpoint，该银行成功解决了原有多个 MySQL 集群所面临的数据分布复杂性和跨库关联查询的挑战，实现了数据处理效率和应用性能的显著提升，确保了实时交易的快速响应和数据分析处理的计算资源需求。
子公司统一门户系统已完成开发，安全运行一年。接到通知，总部也开发了一套统一门户，要求各子公司使用总部开发的平台，子公司领导讨论决定使用总公司开发的平台，但是也不放弃自己开发的平台，而使用一个折中的方案——使用子公司统一平台发布信息后需要将数据同步到总公司开发的平台数据库中（时间间隔需要越短越好）
按照高通SDX12平台产品规格，其支持RMNET、ECM、RNDIS、PPP、MBIM等拨号；但经测试，发现Windos下MBIM功能正常，而Linux发送MBIM命令均返回“error: couldn’t open the MbimDevice: Transaction timed out”错误，功能异常无法使用
如今典型的SOC 芯片都功能复杂、接口丰富，在众多复杂功能中不可能所有功能都同时工作，为了能耗，大多数SOC 芯片都会切分成多个电压域，而丰富的接口就意味着庞杂的clock 和reset. 信号跨越不同domain 时都需要特别处理，比如跨power domain 时需要插入isolation 或level shifter 或 ELS, 对power domain 的处理，需要理清power domain 的关系，定义清楚power intent, 在设计、验证、实现端都需要做额外处理；相对于Power domain, 信号跨越Clock domains 给设计、验证、实现带来的挑战会更大， 今天捋一捋实现端对跨Clock domains 的处理，主要是CDC check.
作者：黄龙，腾讯 CSIG 高级工程师 数据时代，企业对技术创新和服务水准的要求不断提高，数据已成为企业极其重要的资产。无论是在在企业数据中台的建设，亦或者是打造一站式数据开发和数据治理的PASS平台。首先需要做的就是进行跨应用的数据融合计算，需要将数据从孤立的数据源中采集出来，汇集到可被计算平台高效访问的目的地。此过程称之为ETL。通常所说的同步大致分为离线全量ETL、离线增量+离线全量的ETL、实时增量+离线全量ETL、实时增量ETL4种方式。数据同步成为企业数据开发和使用一个绕不过去的技术需求。业内也
最近Apche Paimon发布了最新版本0.7.0，在这个版本中，Paimon对一些新特性进行了增强。
STM32-CubeMX USB学习 1. 虚拟com学习 1.1 开发环境 1.2 使用STM32CubeMX配置代码 1.3 串口自发自收 1.4 串口定向printf
TiCDC 是一款 TiDB 增量数据同步工具，通过拉取上游 TiKV 的数据变更日志，TiCDC 可以将数据解析为有序的行级变更数据输出到下游。
主要讲解了技术原理，入门与生产实践，主要功能：全增量一体化数据集成、实时数据入库入仓、最详细的教程。Flink CDC 是Apache Flink的一个重要组件，主要使用了CDC技术从各种数据库中获取变更流并接入到Flink中，Apache Flink作为一款非常优秀的流处理引擎，其SQL API又提供了强大的流式计算能力，因此结合Flink CDC能带来非常广阔的应用场景。例如，Flink CDC可以代替传统的Data X和Canal工具作为实时数据同步，将数据库的全量和增量数据同步到消息队列和数据仓库中。也可以做实时数据集成，将数据库数据实时入湖入仓。还可以做实时物化视图，通过SQL对数据做实时的关联、打宽、聚合，并将物化结果写入到数据湖仓中。
核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。
数据时代，企业对技术创新和服务水准的要求不断提高，数据已成为企业极其重要的资产。无论是在在企业数据中台的建设，亦或者是打造一站式数据开发和数据治理的PASS平台。 首先需要做的就是进行跨应用的数据融合计算，需要将数据从孤立的数据源中采集出来，汇集到可被计算平台高效访问的目的地。此过程称之为ETL。通常所说的同步大致分为离线全量ETL、离线增量+离线全量的ETL、实时增量+离线全量ETL、实时增量ETL4种方式。 数据同步成为企业数据开发和使用一个绕不过去的技术需求。业内也存在大量的开源的解决方案。 在数据集成技术选型中，我们需要考虑的因素有哪些？主流开源方案中各自的优缺点有哪些？目前备受瞩目和推崇 Flink CDC ETL 是否能作为线上主力同步工具之一，它的优势有哪些？原理是什么？本文主要围绕以上几个疑问，进行论述。
近日，消费链CDC发布公告称，经技术研发团队历时7个月的全力攻关，CDC主链、PC钱包、智能合约、区块链浏览器、CDC-DApp等都已处于收尾或最后封装的状态，测试链Testnet1.0版本即将隆重登场。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
