谷歌BigQuery在小数据集上速度很慢
谷歌BigQuery是一种托管的数据仓库和分析服务，它专注于处理大规模数据集。尽管在小数据集上，BigQuery的处理速度可能会相对较慢，但其设计目标是处理海量数据并提供高性能和可扩展性。
BigQuery的特点和优势：
- 弹性扩展：BigQuery能够根据需求自动扩展计算资源，以适应不同规模的数据集和查询负载。
- 分布式处理：BigQuery利用分布式计算技术，可以并行处理庞大的数据集，提供高效的查询速度。
- SQL兼容性：BigQuery支持标准SQL查询语法，使得开发人员能够轻松上手。
- 无服务器架构：用户只需要关注数据和查询，而不需要管理基础设施。BigQuery负责自动管理数据的存储和计算资源。
- 实时数据分析：除了对静态数据集的查询，BigQuery还支持实时数据分析，可以接收流式数据并提供实时查询能力。
尽管BigQuery在小数据集上可能表现相对较慢，但在处理大规模数据时，它的优势才能充分体现。对于小数据集的处理需求，可以考虑其他更适合的工具或技术，例如使用轻量级数据库或直接在应用程序中进行数据处理。
腾讯云提供了一系列与BigQuery类似的云原生数据仓库和分析服务，例如云数据仓库 ClickHouse，以及云原生分析引擎 TDSQL。你可以通过腾讯云的官方网站了解更多关于这些产品的信息和使用方法。
腾讯云 ClickHouse 产品介绍链接地址：https://cloud.tencent.com/product/ch 腾讯云 TDSQL 产品介绍链接地址：https://cloud.tencent.com/product/tdsql
相关·内容
我测试了谷歌BigQuery，以取代我们过去使用的传统数据库(PostgreSQL / MySQL)，但发现其性能非常(而且奇怪)缓慢。 已上载~6mb数据集(~44,000行)进行测试。COUNT(*) AS COUNT FROM rnd-projects-247203.test.data GROUP BY Sub_Category AS COUNT 有人能帮我解释一下为什么这么简单的查询在一个小数据集上需要超过我是否<e
浏览 11提问于2020-04-16得票数 0
我们对BigQuery <-> Tableau服务器与live 的结合感到非常满意。但是，我们现在希望在Tableau上使用数据提取程序(500 to )(因为这个数据源不太大，而且使用非常频繁)。我们注意到，只有0.1%的查询时间，其余的是数据导出。由于Tableau Server位于相同的平台和位置上，所以延迟不应成为问题。这类似于将BigQuery表缓慢导出到单个文件，这可以通过使用“雏菊链”选项()来解决。不幸的是，我们不能使用类似
浏览 5提问于2016-01-04得票数 4
我将PowerBI连接到Bigquery视图，它很慢，如何解决问题并了解它是PowerBI还是Bigquery，我在datastudio中使用相同的视图，它的速度更快。查询完成(已用1.5秒，已处理8.4 MB )
我知道从BQ下载数据到PowerBI是有开销的，但是对于这么小的数据，它似乎非常慢
浏览 19提问于2020-02-17得票数 0
回答已采纳
在我的网页上，谷歌广告的平均活跃浏览率约为45%，但从14/10突然下降到10%左右。为什么这么小？我认为广告加载速度很慢。你有什么想法吗？
浏览 0提问于2015-10-26得票数 2
我们试图使用支持向量机对我们的数据集进行预测，但只有70,000行和7个特征-我们已经在谷歌DataLabs上尝试了支持向量机，但我们的数据集太大了，无法在DataLabs VM上的任何合理的有限时间内计算我们想要利用一种跨CPU核心扩展统计方法的方法，比如Azure Machine Learning Studio上的R的革命分析版本，但我们的数据是在谷歌
浏览 2提问于2016-04-22得票数 5
我已经为BigQuery设置了DoubleClick (DFP/谷歌广告管理器)数据和谷歌分析360的每日导出。这些链接在我的Google Analytics账户上，因此可以从分析GUI中查看广告经理数据。
但是，当我查看会话数据时，似乎没有任何唯一的键来连接这两个数据集。有没有办法在bigquery中连接这两个数据集？
浏览 21提问于2019-07-22得票数 0
2回答
选择大数据仓库
、、、、
现在，我面临的挑战是创建数据仓库来存储和处理大量的数据。估计每天发生的事件超过70亿次。数据应保存7天。平均事件大小为0.5~1KB.我们需要处理这些数据，以便：
浏览 2提问于2016-05-24得票数 5
我正在测试谷歌应用程序接口中的BigQuery，想在维基百科上运行一些查询全文转储。谷歌样本数据不包括全文转储(只包括修订历史)。维基百科转储的来源很少，比如亚马逊上的这个：
我的问题是:有没有一种方法可以查询这些数据集而不将它们传输到谷歌BigQuery项目？等同地，BigQuery有一种方法可以直接与这些数据集之一通信吗？如果BigQuery
浏览 4提问于2013-01-15得票数 1
回答已采纳
我在bigquery google云项目中有数据集，我想从powerbi加载这些数据，这样我就可以使用这个bigquery数据集创建可视化。目前我可以在powerbi桌面的getdata选项中看到google bigquery，我试图连接到bigquery，但我无法在列表中看到我的bigquery数据集，我使用的是powerbi
浏览 1提问于2019-02-06得票数 0
3回答
我正在尝试使用谷歌BigQuery为GitHub数据挑战赛下载一个大型数据集。我已经设计了我的查询，并能够在谷歌BigQuery的控制台中运行它，但我不允许将数据导出为CSV，因为它太大了。这需要我在我的账户上启用帐单，并尽可能地进行付款。为了澄清，我不需要谷歌云<em
浏览 1提问于2014-07-28得票数 1
我想使用bigquery来存储日志。它是需要像Mysql和其他RDBMS那样的固定模式，还是像没有模式的nosql？
浏览 0提问于2011-06-21得票数 5
我们发现BigQuery在大于100M行的数据集上工作得很好，其中“初始化时间”并没有真正生效(或者与查询的其余部分相比可以忽略不计)。然而，在任何情况下，它的性能都相当慢和差，这使得它(1)不适合在交互式BI工具中工作；(2)不如其他产品，例如Redshift甚至是数据大小在100M行以下的ElasticSearch。实际上，我们的组织中有一位工程师正在评估一项技术，该技术可以在大约1000个用户的分析产品中对1M到1亿行之间的数据
浏览 43提问于2017-02-24得票数 23
回答已采纳
我在BigQuery中创建了一个大约450 to的测试数据集，在从WebUI运行时，我的执行速度大约为9秒，可以查询最大的表(100亿行)。我知道表分区/等等，但我只想了解一下什么是“正常”的预期速度，而不是首先进入优化，因为上面似乎是‘小’的大小，因为什么烧烤是意味着什么。上面的结果是在下面这样的简单查询上实现的：
select ColumnA from DataSet.Table order by ColumnB desc limit 1
浏览 3提问于2017-01-17得票数 0
我是谷歌云和BigQuery的新手xxxx@gmail.com在项目yyyy中没有bigquery.jobs.create权限
我在BigQuery中创建了数据集，并将公共数据复制到每个<em
浏览 0提问于2018-07-17得票数 7
3回答
我对聚光灯上的BigQuery连接器感到很困惑。太厉害了！非常！在内存中导入数据集的时间很长。是的，我应该在这样大的数据集上使用数据库中的内容，并将查询推送到BigQuery，并将Spotfire仅用于
浏览 5提问于2021-04-13得票数 0
回答已采纳
我有一些复杂的BigQuery视图，它们相互嵌套。我想把它们映射到ER图中，这样它们就更容易可视化了。我可以手动完成，但更喜欢自动创建映射的系统。
有什么工具可以做到这一点吗？
浏览 9提问于2022-02-15得票数 1
回答已采纳
我想将产品图像存储在google bigquery数据库中，这样我就可以在我的报告中显示这些图像。
有没有办法做到这一点？
浏览 0提问于2014-01-30得票数 1
简短摘要:我试图让用户有权编辑从BigQuery连接的工作表中创建并遇到问题的数据透视表。当用户尝试访问数据透视表时，所有数据透视表控件都将变为灰色。下面是我的BigQuery设置：数据集: all_sales这是为了整个公司的销售
<
浏览 5提问于2021-03-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
