用UNION ALL合并Google BigQuery中的表

基础概念

UNION ALL 是 SQL 中的一个操作符，用于将两个或多个 SELECT 语句的结果集合并成一个结果集。与 UNION 不同，UNION ALL 不会去除重复的行，而是直接将所有行合并在一起。

优势

性能：由于 UNION ALL 不会进行去重操作，因此在处理大量数据时，其性能通常优于 UNION。
数据完整性：如果你确定合并的数据中没有重复行，或者你希望保留所有数据（包括重复行），UNION ALL 是一个更好的选择。

类型

UNION ALL 可以用于合并来自不同表或同一表的数据。它要求所有 SELECT 语句返回的列数和数据类型必须相同。

应用场景

假设你有两个表 table1 和 table2，它们包含相似的数据结构，但你希望将它们的数据合并到一个结果集中，可以使用 UNION ALL：

SELECT column1, column2
FROM table1
UNION ALL
SELECT column1, column2
FROM table2;

遇到的问题及解决方法

问题：合并后的数据量过大

原因：当合并的数据量非常大时，可能会导致查询性能下降或内存不足。

解决方法：

分页查询：使用 LIMIT 和 OFFSET 进行分页查询，避免一次性加载大量数据。
优化查询：确保查询条件尽可能精确，减少不必要的数据加载。
使用分区表：如果数据量非常大，可以考虑使用分区表来优化查询性能。

问题：数据类型不匹配

原因：合并的表中某些列的数据类型不匹配。

解决方法：

检查数据类型：确保所有 SELECT 语句返回的列数据类型一致。
类型转换：如果数据类型不一致，可以使用类型转换函数（如 CAST 或 CONVERT）进行转换。

SELECT CAST(column1 AS INT), column2
FROM table1
UNION ALL
SELECT CAST(column1 AS INT), column2
FROM table2;

示例代码

假设我们有两个表 sales_2022 和 sales_2023，它们包含销售数据，结构如下：

CREATE TABLE sales_2022 (
    id INT,
    product_name STRING,
    sales_amount INT,
    sale_date DATE
);

CREATE TABLE sales_2023 (
    id INT,
    product_name STRING,
    sales_amount INT,
    sale_date DATE
);

我们可以使用 UNION ALL 将这两个表的数据合并：

SELECT product_name, SUM(sales_amount) AS total_sales
FROM (
    SELECT product_name, sales_amount
    FROM sales_2022
    UNION ALL
    SELECT product_name, sales_amount
    FROM sales_2023
)
GROUP BY product_name;