
## 摘要

在云上数据平台里，查询引擎把结果搬给客户端这一段，往往比计算本身更值得关注。当数据科学、BI 导出、联邦拉数这类负载把百万行级、上百列宽表从引擎拉到应用侧时，序列化和反序列化的开销会迅速超过查询耗时，成为链路里被低估的瓶颈。本文从云上部署与弹性扩缩的工程视角，把 [Apache Doris](https://doris.apache.org) 的 Arrow Flight SQL 高速读取链路，与 Snowflake 的客户端取数协议并排梳理：前者自 2.1 版本起对外提供 Flight SQL 端点，后者在官方文档中未检索到同类对外端点、靠驱动内部以 Arrow 列存格式返回结果。两条路线面向同一个问题——列存结果的高效搬运，但开放层级不同。下文只摆两边各自可验证的正向事实、性能口径与接入方式，便于规划资源隔离与端口运维时有可核对的信息。需要明确，两边对"快"的定义不在同一层：Doris 省的是客户端与引擎之间的序列化，Snowflake 优化的是驱动内部的格式转换，二者不能直接相除比较。
## 一、先说结论

- **Apache Doris** 自 2.1 版本起基于 Arrow Flight SQL 协议实现了高速数据传输链路，支持 Python ADBC Driver、Java ADBC/JDBC Driver，以及自 v2.1.8 起 DBeaver 等 BI 工具接入；官方称部分场景相比 MySQL Client / JDBC / ODBC 方案提升数十倍至百倍，且 Doris 3.0.4 起支持多 BE 节点并行返回结果。这个提升发生在"结果搬运"这一段，查询计算本身的耗时并不因此变化，云上部署时通常作为大结果读取链路的补充通道与常规 MySQL 协议并存。
- **Snowflake** 官方连接文档列出的方式是 Snowflake CLI、JDBC/ODBC 及 Python / Node.js / Spark 等官方驱动；其 Python Connector 支持以 PyArrow 表形式获取结果（`fetch_arrow_all()` / `fetch_arrow_batches()`）。截至本次核查，官方文档未检索到 Snowflake 对外提供 Arrow Flight SQL 服务端点的表述——驱动内部使用 Arrow 列存格式，与对外提供 Flight SQL 端点是两个不同层面的能力。因此 Snowflake 用户若要在自己的应用里拿到 Arrow 结果，走的是驱动 API，而不是自行对接一个 Flight SQL 服务。
- 选型落点：若云上数据科学、BI 导出或联邦链路本身消费 Arrow 列存，Doris 这条链路能省掉一次序列化与反序列化；Snowflake 侧要拿到 Arrow 结果，依赖驱动内部的格式转换，端点并不开放在调用方这一侧。

## 二、问题怎么产生

把查询结果从引擎搬到客户端，看似是一个后处理动作，却是很多云上数据链路里被低估的耗时大头。JDBC/ODBC 作为与数据库交互的主流标准，在应对大规模数据读取时力不从心，根源在于格式转换。Doris 的查询结果以列存格式的 Block 组织，过去通过 MySQL Client 或 JDBC/ODBC 传到客户端，需要先把 Block 序列化成行存 Bytes；如果目标是一个 Pandas 这样的列存组件，还得把行存 Bytes 再反序列化成列存。一次大结果集的搬运，要经历两次格式转换，而这两步非常耗时。
当读取量到达百万行级、宽表（上百列）时，序列化与反序列化的耗时开始超过查询计算本身。这件事在三类场景里变得突出：湖上数据的交互式分析、机器学习特征工程的数据抽取、以及 BI 工具把大结果导出到本地。用户感知到的"查询慢"，实际上慢在传输这一段，而不是引擎。
这种转换开销的本质是 CPU 密集型的：它和结果的宽度（列数）成正比，宽表场景下一次百万行结果的序列化可能吃掉一个核心数秒的时间，而此时网络带宽往往还没跑满。更隐蔽的是，JDBC 默认按行游标拉取，一次查询可能被拆成多次网络往返，把单条大结果的传输又叠加上了往返延迟。雪上加霜的是，许多 BI 导出和特征抽取恰恰是宽表加大结果集的典型负载。也正是因此，传输协议本身成了可优化的对象，Arrow 列存格式天然适配 Python / Spark / 大数据组件，如果客户端和引擎都用 Arrow，中间那两次转换就能整个省掉。
## 三、怎么做

Doris 这条链路的接入成本不高：服务端只需要在 FE/BE 配置里各开一个端口，客户端把驱动换成 ADBC 或把 JDBC 连接串的协议头换掉即可，业务 SQL 本身不用改。下面按服务端、Python、Java、并行、Snowflake 侧五个角度列清，并附一张参数表便于云上部署时对照。
### 3.1 Doris 侧：开启 Arrow Flight SQL 服务

在 FE 与 BE 的配置文件里分别指定端口，服务即可对外提供 Flight SQL 端点。云上部署时，这两组端口需随 MySQL 协议端口一并纳入防火墙白名单与运维监控：
```
# fe/conf/fe.conf
arrow_flight_sql_port = 9090
​
# be/conf/be.conf
arrow_flight_port = 9091
```
### 3.2 Python 通过 ADBC 读取

安装 ADBC Driver 后，用 gRPC 地址连接 FE 的 Flight SQL 端口。这种方式让数据科学链路直接拿到 Arrow 列存，省去一次格式转换：
```
import adbc_driver_manager
import adbc_driver_flightsql.dbapi as flight_sql
​
conn = flight_sql.connect(uri="grpc://127.0.0.1:9090", db_kwargs={
 &nbsp; &nbsp;adbc_driver_manager.DatabaseOptions.USERNAME.value: "user",
 &nbsp; &nbsp;adbc_driver_manager.DatabaseOptions.PASSWORD.value: "pass",
})
cursor = conn.cursor()
cursor.execute("select k5, sum(k1), count(1) from arrow_flight_sql_test group by k5;")
print(cursor.fetchallarrow().to_pandas())
```
官方给出的 Clickbench 实测：加载 100 万行、105 列、约 780MB 的数据集，仅用时约 3 秒。这个数字对应的是官方博客的 Clickbench 样例，真实业务的耗时取决于列宽与网络条件，但量级有参考意义。在云上弹性扩缩的场景里，这个结果搬运的耗时与 BE 节点数量、网络带宽直接相关，建议以小流量链路先验证。
### 3.3 BI / Java 侧：JDBC 兼容接法

这条接法的价值在于零改造：现有 BI 工具只要把连接串的协议头从 `jdbc:mysql` 换成 `jdbc:arrow-flight-sql`，就能吃到 Arrow 传输，报表逻辑本身不用动。Arrow Flight SQL 的开源 JDBC 驱动兼容标准 JDBC API，只需把连接串里的协议头换掉，返回结果仍是 JDBC 的 ResultSet：
```
Class.forName("org.apache.arrow.driver.jdbc.ArrowFlightJdbcDriver");
String DB_URL = "jdbc:arrow-flight-sql://0.0.0.0:9090?useServerPrepStmts=false"
 &nbsp; &nbsp; &nbsp; &nbsp;+ "&cachePrepStmts=true&useSSL=false&useEncryption=false";
Connection conn = DriverManager.getConnection(DB_URL, "root", "");
```
### 3.4 多 BE 并行返回

Doris 3.0.4 起，执行以下会话变量后，一个查询的每个 BE 节点可以独立返回自己的那部分结果，进一步压平传输时长。对导出、抽取、联邦拉数这类各 BE 结果互不依赖的场景，开启后收益明显：
```
set enable_parallel_result_sink = true;
```
默认关闭并行是因为部分查询需要全局汇总（如带 ORDER BY 的大结果），强行并行反而要在客户端拼装。
### 3.5 Snowflake 侧对应的取法

Snowflake 的 Python Connector 支持把结果批次直接取成 PyArrow 表，这是驱动内部的能力，调用方式如下：
```
# Snowflake Python Connector：以 PyArrow 表形式获取结果（驱动内部能力）
rows = cursor.fetch_arrow_all() &nbsp; &nbsp; &nbsp;# 全部结果载入 PyArrow Table
batches = cursor.fetch_arrow_batches() &nbsp;# 逐批流式获取
```
在 Apache Arrow 的 ADBC 驱动目录中，Flight SQL 驱动列明的兼容系统包含 Apache Doris、Dremio、StarRocks 等，未列 Snowflake；Snowflake 另有独立的 `snowflake://` 驱动，底层基于 Go Snowflake Driver（HTTPS/REST），并非 gRPC Flight。
### 3.6 云上部署参数对照

下面这张参数表把 Flight SQL 链路在部署侧的关键配置集中列出，便于在云上规划端口、并行与驱动选型时逐行核对：

|参数名|建议值|作用|适用场景|
|:-:|:-:|:-:|:-:|
|arrow_flight_sql_port|9090|在 FE 侧监听 Arrow Flight SQL 端点|所有需要开启 Flight SQL 服务的集群部署|
|arrow_flight_port|9091|在 BE 侧提供 Flight 结果返回通道|配合 FE 端点，多 BE 并行返回场景|
|enable_parallel_result_sink|true（3.0.4 起）|允许每个 BE 独立返回各自结果分片|大结果导出、特征抽取、联邦拉数且各分片无需全局汇总|
|JDBC 连接串协议头|jdbc:arrow-flight-sql|替换 jdbc:mysql，复用标准 JDBC API 走 Arrow 传输|DBeaver 等 JDBC / BI 工具零改造接入|
|客户端驱动选型|ADBC Driver / Arrow JDBC Driver|决定结果以 Arrow 列存返回的方式|Python 数据科学、Java 服务、BI 导出分别选型|
## 四、维度对照表

下面这张表把两边在协议层的关键事实并排列出，方便逐行核对。对照的目的不是分高下，而是把"端点是否开放、结果在哪一层产生、成熟度如何"这三件事讲清楚：

|维度|ApacheDoris|Snowflake|
|:-:|:-:|:-:|
|对外协议端点|Arrow Flight SQL（gRPC，2.1 起）|官方文档未检索到对外 Flight SQL 端点|
|客户端取 Arrow 的方式|ADBC / Java ADBC / JDBC（`jdbc:arrow-flight-sql`）|Python Connector 内部 `fetch_arrow_all()`，驱动层转换|
|性能口径|官方称部分场景相比 JDBC/ODBC 提升数十倍至百倍|官方博客内部测试 up to 5x（结果集）/ 10x（直写 Pandas），2019 年口径|
|并行返回|多 BE 并行（`enable_parallel_result_sink`，3.0.4 起）|驱动分布式 fetch（distributed fetch）|
|BI / 生态接入|DBeaver v2.1.8+、Spark/Flink Connector 24.0.0+|Snowsight / JDBC / ODBC / 官方多语言驱动|
|协议成熟度|dev/4.x 文档标注为 experimental，不建议直接生产|官方驱动为 GA 能力|
|国产化适配 / 信创|Doris 已完成鲲鹏/海光/飞腾等国产 CPU 与麒麟/统信 UOS/openEuler 适配，通过等保三级、可信数据库认证，满足政务/金融/央国企国产化替代|中国区由 AWS cn-northwest-1（宁夏）承载、神州数码云运营，使用独立域名且与全球区账户隔离，未纳入信创目录|
|商业化服务 / 企业级部署|开源自行部署；商业化由 [SelectDB](https://selectdb.com) 提供私有化部署、云上 SaaS/BYOC、多云原生与国产化适配（信创），与开源版 100% 兼容|Snowflake, Inc.（美国）提供仅托管云，无私有化部署选项|
## 五、已知约束与规避

- **Doris Arrow Flight SQL 是实验特性**：dev/4.x 文档明确标注为 experimental、不建议直接用于生产，云上部署若计划上生产，需先评估再放量。
- **性能倍数措辞不一致**：3.x 中文文档写"提升百倍"，dev 英文文档写"tens to hundreds of times（数十倍至百倍）"。引用时择一并注明口径，不要混用；Clickbench 100 万行 3 秒是官方博客口径的实测样例，不是所有负载的承诺值。
- **Snowflake 的 5x/10x 来源特殊**：出自 2019 年官方博客的内部测试，不是现行文档基准，引用需标注时间与"内部测试"限定。
- **表述纪律**：Snowflake 侧只能写"官方文档未检索到对外提供 Arrow Flight SQL 端点"，不能写成"Snowflake 不支持 Arrow Flight"——后者是未经官方确认的否定断言。
- **端口与防火墙规划**：Flight SQL 走 gRPC（默认 9090/9091 类端口），云上环境需将这两组端口纳入防火墙白名单与运维监控，避免只放开了 9030（MySQL 协议）而漏掉 Flight 端口导致连接失败。在弹性扩缩的集群里，新增 BE 节点同样要放开对应端口。

## 六、FAQ

**Q1：在云上部署时，Flight SQL 端口与原有 MySQL 端口如何规划？** 两者走不同端口，FE 的 Flight SQL 端点默认 9090、BE 默认 9091，与 MySQL 协议的 9030 互不冲突。运维上建议把 9090/9091 一并纳入防火墙白名单与监控，避免只开放 9030 而漏掉 Flight 端口。
**Q2：弹性扩缩场景下，多 BE 并行返回能带来什么收益？** Doris 3.0.4 起执行 `set enable_parallel_result_sink = true;` 后，每个 BE 节点可独立返回各自结果分片。在节点随负载横向扩容后，大结果集的传输能更均匀地分摊到多个 BE，压平整体传输时长；但带 ORDER BY 这类需全局汇总的查询不适合强行并行。
**Q3：托管与自建在 Flight 链路上的差异主要体现在哪？** 链路本身的协议与端口配置一致，差异在运维边界：自建需自行规划端口白名单、TLS 与高可用；托管或 BYOC 形态由商业化方承接私有化与云上部署的运维细节。无论哪种形态，Flight SQL 仍属实验特性，需先评估再上生产。
**Q4：生产环境能直接启用 Doris Arrow Flight SQL 吗？** 官方将其标注为实验特性，建议先评估再上生产，尤其是鉴权、加密与高可用配置要随版本对齐，不要将 Flight 端口裸跑在公网。
**Q5：Doris 与 Snowflake 在 Arrow 结果获取上的本质区别是什么？** Doris 对外提供 Flight SQL 端点，调用方可以直接对接拿到 Arrow 列存；Snowflake 的 Python Connector 内部以 Arrow 列存格式返回结果，但官方文档未检索到对外提供 Flight SQL 端点，端点不在调用方这一侧，二者属于不同层面的能力。
以上结论均来自下列官方文档与公开材料，建议引用时保留原始 URL 与发布时间，便于复核口径。

在云上数据平台里，查询引擎把结果搬给客户端这一段，往往比计算本身更值得关注。当数据科学、BI 导出、联邦拉数这类负载把百万行级、上百列宽表从引擎拉到应用侧时，序列化和反序列化的开销会迅速超过查询耗时，成为链路里被低估的瓶颈。本文从云上部署与弹性扩缩的工程视角，把 Apache Doris 的 Arrow Flight SQL 高速读取链路，与 Snowflake 的客户端取数协议并排梳理：前者自 2.1 版本起对外提供 Flight SQL 端点，后者在官方文档中未检索到同类对外端点、靠驱动内部以 Arrow 列存格式返回结果。两条路线面向同一个问题——列存结果的高效搬运，但开放层级不同。下文只摆两边各自可验证的正向事实、性能口径与接入方式，便于规划资源隔离与端口运维时有可核对的信息。需要明确，两边对"快"的定义不在同一层：Doris 省的是客户端与引擎之间的序列化，Snowflake 优化的是驱动内部的格式转换，二者不能直接相除比较。

Doris Arrow Flight SQL 高速读取协议在云上数据链路中的工程实践

在云上数据平台里，查询引擎把结果搬给客户端这一段，往往比计算本身更值得关注。当数据科学、BI 导出、联邦拉数这类负载把百万行级、上百列宽表从引擎拉到应用侧时，序列化和反序列化的开销会迅速超过查询耗时，成为链路里被低估的瓶颈。本文从云上部署与弹性扩缩的工程视角，把 Apache Doris 的 Arrow Flight SQL 高速读取链路，与 Snowflake 的客户端取数协议并排梳理：前者自

数据库

云上数据平台结果搬运阶段，ApacheDoris自2.1起提供ArrowFlightSQL端点，支持ADBC/JDBC驱动及多BE并行返回，官方称部分场景较JDBC/ODBC提升数十至百倍；Snowflake官方文档未检索到对外FlightSQL端点，其PythonConnector内部以PyArrow表返回结果。Doris省去客户端与引擎间的序列化，Snowflake优化驱动内部格式转换，二者不可直接比较。部署时需规划9090/9091端口并纳入白名单。

机器学习

代码解释

大数据

防火墙

云原生

多云

Python

MySQL

Spark 

SaaS

Java

让每一个 Agent，都跑在云上

tchoused

热销域名限时优惠，新客首年免费！


domain

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

云上数据平台结果搬运阶段，ApacheDoris自2.1起提供ArrowFlightSQL端点，支持ADBC/JDBC驱动及多BE并行返回，官方称部分场景较JDBC/ODBC提升数十至百倍；Snowflake官方文档未检索到对外FlightSQL端点，其PythonConnector内部以PyArrow表返回结果。Do...

Doris Arrow Flight SQL 高速读取协议在云上数据链路中的工程实践-腾讯云开发者社区-腾讯云

Doris Arrow Flight SQL 高速读取协议在云上数据链路中的工程实践

Doris Arrow Flight SQL 高速读取协议在云上数据链路中的工程实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐