postgresql-9.4.1212.jre7-sources.jar!/org/postgresql/core/v3/QueryExecutorImpl.java
对于查询数据量大的场景下，非常有必要设置fetchSize，否则全量拉取很容易OOM，但是使用fetchSize的时候，要求数据能够在遍历resultSet的时候及时处理，而不是收集完所有数据返回回去再去处理。
今天看到两个很好玩的用法： 1、不请求文件，只请求文件大小的方法 2、计算文件大小，不用if去判断，巧妙的用Math.log来解决 FirstTrickshot This Trickshot Ball.png
前面介绍了MyBaits中两种使用游标的方式来避免搜查内容过大导致OOM，这两种方式被称为是客户端side的游标，因为mysql client每次从自己的接受buffer获取一条记录，这虽然解决了OOM，但是会造成sqlserver服务器推送记录到client的时候阻塞，那么有没有一种方式可以让mysql server减少阻塞那，答案是肯定的。
jdbc提供fetchSize参数来设置每次查询按fetchSize分批获取。不同的数据库的jdbc driver实现不一样。
kafka作为消息队列，go消费数据常用的库，有sarama包和其扩展sarama-cluster。 https://github.com/Shopify/sarama https://github.com/bsm/sarama-cluster
上篇我们讨论了静态数据源（Static Source, snapshot）。这种方式只能在预知数据规模有限的情况下使用，对于超大型的数据库表也可以说是不安全的资源使用方式。Slick3.x已经
前面一篇文章讨论了ConsumerFetcherManager的MaxLag与ConsumerOffsetChecker的lag值的区别。但是关于MaxLag的值还没有讲的太透彻，这里再深入一下，如何让ConsumerFetcherManager的MaxLag有值。
作为一种通用的数据库编程引擎，用Streaming来应对海量数据的处理是必备功能。同样，我们还是通过一种Context传递产生流的要求。因为StreamingContext比较简单，而且还涉及到数据抽取函数extractor的传递，所以我们分开来定义： case class JDBCQueryContext[M]( dbName: Symbol, statement: String,
本文主要研究一下flink jdbc的ParameterValuesProvider
本文主要介绍一下pg jdbc statement的queryTimeout及resultSet的next方法
在一个akka-cluster环境里，从数据调用的角度上，JDBC数据库与集群中其它节点是脱离的。这是因为JDBC数据库不是分布式的，不具备节点位置透明化特性。所以，JDBC数据库服务器必须通过服务方式来向外提供数据操。在这种场景里服务端是JDBC服务，其它节点，包括其它的JDBC数据库节点都是这个JDBC服务的调用客户端。因为我们已经明确选择了在akka-cluster集群环境里实施gRPC服务模式，通过akka-stream的流控制方式实现数据库操作的程序控制，所以在本次讨论里我们将示范说明gRPC-JDBC-Streaming的具体实现和使用方式。
com/baomidou/mybatisplus/core/MybatisConfiguration.java
首先声明：标题上的所谓编程模式是我个人考虑在集群环境下跨节点（jvm）的流程控制编程模式，纯粹按实际需要构想，没什么理论支持。在5月份的深圳scala meetup上我分享了有关集群环境下的编程模式思路。我提供了下面这个示意图：
/*** Copyright 2009-2016 the original author or authors.
在实际工作中当指定查询数据过大时，我们一般使用分页查询的方式一页一页的将数据放到内存处理。但有些情况不需要分页的方式查询数据或分很大一页查询数据时，如果一下子将数据全部加载出来到内存中，很可能会发生OOM(内存溢出)；而且查询会很慢，因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想要的对象（实体类）。
举例：在业务系统需要从 MySQL 数据库里读取 100w 数据行进行处理，应该怎么做？
Java 是当前非常流行的开发语言，很多 TiDB 用户的业务层都是使用 Java 开发的，本文将从 Java 数据库交互组件开发的角度出发，介绍各组件的推荐配置和推荐使用方式，希望能帮助 Java 开发者在使用 TiDB 时能更好的发挥数据库性能。
在上一篇博文里我们把JDBC-Engine的读取操作部分分离出来进行了讨论，在这篇准备把更新Update部分功能介绍一下。当然，JDBC-Engine的功能是基于ScalikeJDBC的，所有的操作和属性都包嵌在SQL这个类型中： /** * SQL abstraction. * * @param statement SQL template * @param rawParameters parameters * @param f extractor function * @tpara
DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
其中fetchSize="-2147483648"，Integer.MIN_VALUE=-2147483648
最近公司提了个需求 ，说公司的旧系统的报表导出的时候，数据量超过一万就导不出来了。经过分析，是旧系统做了限制。在更新的时候，查看了导出时虚拟机GC情况，发现原先程序执行时，内存激增，经过Google决定采用流式读取对sql进行优化。
akka在alpakka工具包里提供了对cassandra数据库的streaming功能。简单来讲就是用一个CQL-statement读取cassandra数据并产生akka-stream的Source。这是一个支持reactive-stream协议的流： object CassandraSource { /** * Scala API: creates a [[CassandraSourceStage]] from a given statement. */ def apply(
看下日志，是因为一次查询数据量过大导致JVM内存溢出了，虽然可以配置JVM大小，但是指标不治本，还是需要优化代码。网上查看大家都是流式查询，这里记录下解决的过程。
org/apache/ibatis/mapping/MappedStatement.java
对源码分析前，我希望先介绍一下Spring中数据访问的相关内容，然后层层递进到事物的源码分析，主要分为两个部分
本文主要研究一下SimpleCanalConnector的getWithoutAck
由于现在 ORM 框架的成熟运用，很多小伙伴对于 JDBC 的概念有些薄弱，ORM 框架底层其实是通过 JDBC 操作的 DB
前面两篇文章，对于SpringBatch这个批处理框架做了一个大概的学习和了解，通过前两篇文章，你可以了解到SpringBatch是什么？应用场景有哪些？怎么去写一个SpringBatch的demo？以及SpringBatch的架构设计和核心组件的简单介绍。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
FORWORD_ONLY 结果集的游标只能向下滚动。 SCROLL_INSENSITIVE 结果集的游标可以上下移动，当数据库变化时，当前结果集不变。 SCROLL_SENSITIVE 返回可滚动的结果集，当数据库变化时，当前结果集同步改变。
Spring提供了JdbcTemplate模板类来操作数据库，JdbcTemplate是对原生JDBC进行了全面的封装，统一处理了数据库连接的获取与释放等操作，使用起来比较方便。本节分析JdbcTemplate的源码。
在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。之前开发数据湖新版本时使用Spark SQL来完成ETL的工作，但是遇到了 Spark SQL 不支持某些数据类型（比如ORACLE中的Timestamp with local Timezone）的问题。
平时我们使用的一般是集成了Spring或是Spring Boot的Mybatis，封装了一层，看源码不直接；如下，看看原生的Mybatis使用示例
大家应该都知道Mybatis源码也是对Jbdc的再一次封装,不管怎么进行包装,还是会有获取链接、preparedStatement、封装参数、执行这些步骤的。
ScalikeJDBC在覆盖JDBC基本功能上是比较完整的，而且实现这些功能的方式比较简洁，运算效率方面自然会稍高一筹了。理论上用ScalikeJDBC作为一种JDBC-Engine还是比较理想的：让它处于各种JDBC工具库和数据库实例之间接收JDBC运算指令然后连接目标数据库进行相关运算后返回结果。一般来说，各种JDBC工具库如ORM,FRM软件通过各自的DSL在复杂的数据库表关系环境内进行数据管理编程，最终产生相关的SQL语句即(prepared)statement+parameters传递给指定类
在mybatis中StatementType的值决定了由什么对象来执行我们的SQL语句。本文来分析下在mybatis中具体是怎么处理的。
《MySQL客户端预读数据的区别》文章中提到了DBeaver设置"集数获取大小"，我猜测是通过在执行的SQL上添加limit得到的，
本文主要介绍一下mysql jdbc statement的queryTimeout及resultSet的next方法
映射器是由Java接口和XML文件（或注解）共同组成的，Java接口主要定义调用者接口，XML文件是配置映射器的核心文件，包括以下元素：
在akka-alpakka工具包里也提供了对MongoDB的stream-connector，能针对MongoDB数据库进行streaming操作。这个MongoDB-connector里包含了MongoSource，MongoFlow，MongoSink。我们只使用MongoSource，其它两个我们直接用mapAsyc来创造。下面是MongoSource的定义： object MongoSource { def apply(query: Observable[Document]): Sour
在之前的一篇文章《TiDB 源码阅读系列文章（三）SQL 的一生》中，我们介绍了 TiDB 在收到客户端请求包时，最常见的 Command --- COM_QUERY 的请求处理流程。本文我们将介绍另外一种大家经常使用的 Command --- Prepare/Execute 请求在 TiDB 中的处理过程。
⼆级缓存构建在⼀级缓存之上，在收到查询请求时，MyBatis ⾸先会查询⼆级缓存，若⼆级缓存未命中，再去查询⼀级缓存，⼀级缓存没有，再查询数据库。 ⼆级缓存------》 ⼀级缓存------》数据库 与⼀级缓存不同，⼆级缓存和具体的命名空间绑定，⼀个Mapper中有⼀个Cache，相同Mapper中的MappedStatement共⽤⼀个Cache，⼀级缓存则是和 SqlSession 绑定。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
