使用pandas-gbq删除bigquery表内容
pandas-gbq是一个Python库，用于在Google BigQuery中执行数据查询和操作。它提供了一种方便的方式来连接和交互BigQuery数据库，并且可以通过简单的API调用来执行各种操作，包括删除表内容。
要使用pandas-gbq删除BigQuery表内容，可以按照以下步骤进行操作：
- 安装pandas-gbq库：在Python环境中使用pip命令安装pandas-gbq库。可以使用以下命令进行安装：
- 安装pandas-gbq库：在Python环境中使用pip命令安装pandas-gbq库。可以使用以下命令进行安装：
- 导入必要的库：在Python脚本中导入pandas和pandas_gbq库，以便使用相关功能。可以使用以下代码进行导入：
- 导入必要的库：在Python脚本中导入pandas和pandas_gbq库，以便使用相关功能。可以使用以下代码进行导入：
- 设置Google Cloud项目凭据：在使用pandas-gbq之前，需要设置Google Cloud项目的凭据，以便连接到BigQuery数据库。可以通过以下方式设置凭据：
- 在Google Cloud Console中创建一个服务账号，并下载JSON格式的凭据文件。
- 将凭据文件保存在本地，并设置环境变量
GOOGLE_APPLICATION_CREDENTIALS指向凭据文件的路径。
- 删除表内容：使用pandas-gbq的
delete_gbq()函数来删除BigQuery表的内容。该函数接受三个参数：project_id（Google Cloud项目ID）、table（要删除内容的表名，格式为dataset.table）、where（删除数据的条件）。可以使用以下代码删除表内容： - 删除表内容：使用pandas-gbq的
delete_gbq()函数来删除BigQuery表的内容。该函数接受三个参数：project_id（Google Cloud项目ID）、table（要删除内容的表名，格式为dataset.table）、where（删除数据的条件）。可以使用以下代码删除表内容： - 其中，
project_id为你的Google Cloud项目ID，table为要删除内容的表名，where为删除数据的条件。可以根据实际情况修改这些参数。
以上是使用pandas-gbq删除BigQuery表内容的步骤。pandas-gbq库提供了一种简单且方便的方式来与BigQuery进行交互，并且可以通过灵活的API调用来执行各种操作。它适用于需要在Python中进行BigQuery数据处理和管理的场景。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云产品：https://cloud.tencent.com/product
- 腾讯云数据库：https://cloud.tencent.com/product/cdb
- 腾讯云云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/tbaas
请注意，以上链接仅供参考，具体的产品选择应根据实际需求和情况进行评估和决策。
相关·内容
我想使用pandas从datalab中的bigquery中拉出。然而，有些东西不起作用。我使用的是Python 2.7
query = "select * from myTable"
df_train = pd.read_gbq(project_id='my_project', query=query, dialect='standard'
我得到了这个错误：
ImportError: pandas requires google-cloud-python for Google BigQuery support: cannot import n
浏览 9提问于2018-12-14得票数 0
我一直试图在页面上运行代码，该页面描述了如何在使用pandas_gbq.read_gbq函数之前进行身份验证：
import pandas_gbq
import pydata_google_auth
SCOPES = [
'https://www.googleapis.com/auth/cloud-platform',
'https://www.googleapis.com/auth/drive',
]
credentials = pydata_google_auth.get_user_credentials(
SCOPES,
浏览 0提问于2019-07-16得票数 1
这个错误刚刚开始在我们的管道中弹出。我正在使用pandas.to_gbq方法移动大约150万行的数据帧。
任何帮助都将不胜感激！
代码：
output.to_gbq('table_name',
'project-id',
chunksize=50000,
private_key='ga_auth.json',
if_exists='replace'
)
错误：
Traceback (most recent call last):
File ".\rfm_bigquery.py", line 175,
浏览 1提问于2018-12-05得票数 0
1回答
我有一个正在运行的比特币节点，它下载所有块.dat文件。
现在，我希望将这些文件解析为Python脚本，并且只接收事务数据。
之后，我计划将这些数据推入Google BigQuery进行分析。
对于这样的python脚本，有人有一个很好的源代码吗？
事先非常感谢！
浏览 2提问于2022-05-27得票数 -2
我使用以下代码将具有多个NaN值的Pandas数据帧插入到BigQuery表中。数据帧是在云数据实验室中准备的。
import google.datalab.bigquery as bq
bqtable = ('project_name', 'dataset_name', 'table_name')
table = bq.Table(bqtable)
table_schema = bq.Schema.from_data(df)
table.create(schema = table_schema, overwrite = True)
tab
浏览 23提问于2018-10-24得票数 9
我有一个BigQuery表，我希望使用熊猫-gbq填充。该表具有一个预定义的架构，其中包括可空int和string字段。目前，我正在为每个数据字段生成一个列表的dict，并在缺少值时放置pandas.NA或None (我尝试过两者)。我目前丢失了我的一个可空int字段的值，例如：
df_dict = {'ints': [1,2,None, 3], 'strings': ['a','b','c','d']}
df = pandas.DataFrame(df_dict)
df.astype({"
浏览 2提问于2022-01-04得票数 0
回答已采纳
无法通过以下错误写入Biq查询。
Python 3.5.6
pandas-gbq 0.13.1
google-cloud-bigquery 1.24.0
ImportError:熊猫-gbq需要谷歌-云-bigquery:不能导入名称'TimeoutGuard‘
代码：
sample_dataframe = pd.DataFrame(data_rows,columns['shop_name','category','nearest_station','telephone_number','address
浏览 0提问于2020-04-15得票数 0
版本: Mac OS Mojave 10.14.5 Python 3.6.5 Pandas 0.24.2 pandas-gbq 0.10.0 我正在尝试从shipstation api中提取数据并将其加载到bigquery中，以便在我们的BI平台中使用(tableau)。我已经成功地进行了api调用，它返回了一个json对象。我已经在一个pandas df对象中成功地实现了这一点。当我尝试将该df写入BigQuery中的dataset时，即使我正在编写的表并不存在并且是由pandas-gbq创建的，我也得到了错误：“模式中已经存在字段单元”。 我尝试创建我要写入的表，并只追加字段，但我得到了
浏览 12提问于2019-06-18得票数 0
我正在尝试从Google App Engine运行一个webapp，它使用pandas-gbq访问bigquery。这是我构建和运行应用程序时的错误：
ImportError:
Importing the multiarray numpy extension module failed. Most
likely you are trying to import a failed build of numpy.
If you're working with a numpy git repo, try `git clean -xdf` (removes all
files not und
浏览 1提问于2018-03-23得票数 4
1回答
我有用于开发Azure函数应用程序的Python代码，代码涉及我导入google-cloud-bigquery库。我在项目文件夹中有一个包含上述库的requirements.txt列表。现在，我尝试以以下两种方式导入它：
import google.cloud.bigquery
import google.oauth2.service_account
和
from google.cloud import bigquery
from google.oauth2 import service_account
但我发现了一个错误：
执行函数时的异常: Functions.test_function
浏览 2提问于2019-10-09得票数 0
回答已采纳
1回答
我想创建一个表，然后使用云函数写到bigquery，但是我不想重复表中的数据，所以我首先删除了表，然后在每次调用该函数时创建该表。
public static void runCreateTable() {
Schema schema =
Schema.of(
Field.of("id", StandardSQLTypeName.INT64),
Field.of("name", StandardSQLTypeNa
浏览 1提问于2022-08-30得票数 2
回答已采纳
我目前正在使用云函数将数据从Cloud中的csv文件加载到BigQuery。
现在，我的逻辑是删除大查询中的现有表(即TableE)，并创建同名的新表，即TableE，并将csv文件数据加载到这个新表中。
当有人在云存储中上传更新的csv文件时，此函数将触发。
当csv文件中的数据按照每列的数据类型正确时，此逻辑将很好地工作。但是，当有人以不正确的数据类型值(即整数列中的N/A )上载csv文件时，代码将删除TableE，但在将数据加载到Big中的新表时，会引发解析错误。
因此，结果将是现有的TableE被删除，但是由于解析错误没有加载到大查询中的数据，所有依赖于TableE的报告都会受到影响
浏览 0提问于2021-05-11得票数 0
我有一个spark脚本，需要为每一行进行60个api调用。目前，我使用BigQuery作为数据仓库。我想知道是否有一种方法可以使用BigQuery API或BigQuery Storage API从我的udf中查询数据库？也许是一种执行批量查询的方法？pandas-gbq会是一个更好的解决方案吗？我每行需要进行的每个查询都是一个select count(*) from dataset.table where {...}查询。 目前我使用的是大型查询客户端，如下面的代码片段所示，但我不确定这是否是利用资源的最佳方式。抱歉，如果代码没有为这个用例正确完成，我是spark和BigQuery的新手。
浏览 9提问于2019-12-12得票数 1
以下代码在Google中工作，但在我的本地计算机上不起作用。
import pandas as pd
from google.oauth2 import service_account
df = pd.DataFrame()
df['A'] = [[1], [2], [3]]
credentials = service_account.Credentials.from_service_account_info({--credential infos--},)
df.to_gbq(destination_table='raw.test', project_
浏览 15提问于2022-10-20得票数 1
2回答
情况是这样的：
我们的客户每天将CSV(覆盖)上传到中的一个桶中(每个表位于不同的文件中)。
我们在BigQuery中使用DataSource作为DataStudio
我们希望将CSV自动传输到BigQuery。
问题是，尽管我们：
使用“覆盖表”写入首选项选项声明BigQuery中的表
将每天传输的files (BigQuery >Transfer)配置为在文件上传到Google，后一个小时后自动从Google上传CSV。
自动传输/加载默认为"WRITE_APPEND"，因此表被追加，而不是在BigQuery中覆盖。
因此，问题是:
浏览 0提问于2019-01-02得票数 6
回答已采纳
1回答
在jupyter上使用pandas_gbq时，是否可以删除所有日志？ 示例： sql = """
SELECT country_name, alpha_2_code
FROM [bigquery-public-data:utility_us.country_code_iso]
WHERE alpha_2_code LIKE 'Z%'
"""
for i in range(10):
df = pandas_gbq.read_gbq(
sql,
project_id=project_id,
浏览 20提问于2019-12-30得票数 0
回答已采纳
无法找到删除bigquery表权限的审核日志。我只能在云日志中找到bigquery设置Iam策略日志，但在审计日志中没有删除iam策略。对删除bigquery表的用户权限的审核有帮助吗？
浏览 2提问于2022-03-26得票数 0
1回答
在BigQuery中，不能对分区表使用create or replace table语句。我可以将表导出到GCS，但是BigQuery会生成多个无法一次性导入到表中的JSON文件。有没有一种从分区表中删除列的安全方法？我使用BigQuery的web界面。
浏览 1提问于2020-09-23得票数 0
1回答
我正在尝试使用apps脚本将云存储中的一个简单的cvs文件加载到BigQuery表中。我已经创建了该表，并希望将该文件附加到表中的现有数据。当我运行脚本时，我得到了下面的错误消息：“mediaData参数只支持上传的Blob类型”。我不知道如何继续下去，并且在寻找答案时碰壁了。下面是我使用的代码片段：
function loadCloudStorageFileToBigQuery(source, datasetId, tableId, schema) {
try{
var tableReference = BigQuery.newTableReference();
浏览 0提问于2016-10-13得票数 0
1回答
为云数据流创建“环境”
、、、
当我开始我的云数据流作业时，我首先导入我需要的库(在python中)。例如： google-cloud-bigquery==1.3.0
pysftp==0.2.9
google-cloud-storage==1.10.0
pandas==0.23.3
pandas-gbq==0.5.0
jaydebeapi==1.1.1
apache-beam==2.5.0
elasticsearch==6.0.0 这通常每次都需要几分钟的时间，每次我使用Cloud Dataflow时都会使用相同的环境。有没有办法“保存”这个环境，这样当机器启动时，它就已经“就绪”了？我见过“模板”，但它只提到创建变量之类
浏览 19提问于2019-01-18得票数 0
我在云应用中的BigQuery中创建了一个表。我错误地上传了bigquery Table中的两个csv文件。如何从bigquery表中删除一个或两个csv文件？
谢谢Arvind
浏览 3提问于2013-02-08得票数 0
在BigQuery中，创建了大量的temp_table_*表，这就是对数据集进行聚类。有没有办法自动删除这些临时表？
<code>B0</code>
浏览 82提问于2020-03-17得票数 0
是否可以将Bigquery表恢复到更早的状态，如时间戳中的状态？ 根据https://cloud.google.com/bigquery/docs/reference/standard-sql/query-syntax，他们提到他们可以返回表的历史版本。“下面的查询返回表在绝对时间点的历史版本。 SELECT * FROM t FOR SYSTEM_TIME AS '2017-01-01 10:00:00-07:00'；“。 如果restore语句在BigQuery中可用，那么我认为我可以捕获SYSTEM_TIME并将表恢复到该时间戳。
浏览 34提问于2021-07-21得票数 1
我正在一个python的pipenv环境中工作，当我导入bigquery时，它失败了：
from google.cloud import bigquery
返回：
Traceback (most recent call last):
File "/Users/orennieberg/Documents/git/guestybot/main.py", line 1, in <module>
from google.cloud import bigquery
File "/usr/local/lib/python3.7/site-packages/google/
浏览 60提问于2021-05-06得票数 0
我删除了bigquery中的一个视图。我逐渐意识到，基于表快照修饰器，可以选择。是否有任何方法检索已删除的bigquery视图？
浏览 4提问于2017-10-24得票数 7
回答已采纳
有没有办法直接使用谷歌BigQuery上的数据作为ML Engine支持的ML算法的训练/测试数据？
我在中看到的是使用存储在谷歌云存储上的数据。
浏览 0提问于2018-06-12得票数 0
1回答
我想从bigQuery导出一个表或视图，但我不需要导出所有内容:我只需要导出某些列。如何配置要导出哪些？
我当前的代码如下所示：
BigQuery bigQuery = BigQueryOptions.getDefaultInstance().getService();
Field fieldToExport = Field.of("column to export", LegacySQLTypeName.STRING);
Table table = bigQuery.getTable("mybigqueryid", "mytable", /*
浏览 1提问于2018-04-09得票数 1
回答已采纳
我需要使用Pandas/ Pandas -gbq在Python语言中创建一个简单的ETL管道，每天将给定日期范围内的数据从BigQuery读取到Pandas数据帧中，并根据查询结果创建单独的日表(写回BigQuery)。
尽管可能有更好、更有效的方法(注意:我不是软件工程师)，但我目前正在研究BigQuery中的来参数化日期列，并在Python中的for循环中迭代这一过程。
有人知道pandas-gbq目前是否支持参数化查询吗？提前谢谢。
浏览 2提问于2019-12-17得票数 2
1回答
在我的Google页面上，我有一个代码，用于：
从BigQuery表中提取员工信息
将其添加到工作表文件的“Notes”选项卡中
然后，代码的另一部分在“notes”选项卡的最后一行添加一个导入范围公式，以便从单独的Google工作表中提取更多信息。
我试图省去公式的第二部分的需要，我的想法是使用单独的Google表和附加信息作为源，然后通过保存的两个表的视图查询每个表，或者只分别查询每个表和输入数据。
我遇到的问题是，每当我尝试运行新的查询时，每当涉及到Google表时，我都会遇到这个错误：
GoogleJsonResponseException: API对bigque
浏览 7提问于2022-02-04得票数 0
用例：
将多个文件上载到云存储桶中，然后将这些数据用作bigquery导入的源。使用存储桶的名称作为元数据驱动数据应该进入的切分表。
问题：
为了防止bigquery表的部分导入，理想情况下，我想做以下工作：
将文件上载到暂存桶中
确认所有文件已正确上传。
将暂存桶重命名为其最终名称(例如，gs://20130112)
触发bigquery导入，将桶加载到分片表中
既然gsutil似乎不支持桶重命名，那么实现这个目标的替代方法是什么呢？
浏览 4提问于2013-01-30得票数 3
我们正在尝试创建一个非常基本的角色，允许用户查询BigQuery表，但不能删除它们。我们正在试验的自定义角色现在具有以下权限：
- bigquery.jobs.create
- bigquery.jobs.get
- bigquery.jobs.list
- bigquery.jobs.listAll
- bigquery.readsessions.create
- bigquery.routines.get
- bigquery.routines.list
- bigquery.savedqueries.get
- bigquery.savedqueries.list
- bigquery.
浏览 0提问于2020-02-21得票数 3
我有一个表连接到Google，使用WebUI查询这个表的成功，但是如果我使用bq查询，它会回显错误msg：
访问被拒绝: BigQuery BigQuery:没有找到带有Google作用域的OAuth令牌
浏览 9提问于2017-09-13得票数 10
回答已采纳
1回答
我正在编写一个调度的联邦查询，以便每天加载我的BiqQuery表。BigQuery表加载策略是重写。我的源是一个云SQL数据库(mysql实例)。
我想知道从性能和成本优化的角度来看，从长远来看，加载我的BigQuery表的正确方法是什么？我是应该每天使用源数据覆盖我的BigQuery表，还是应该使用连接在我的联邦查询本身中构建一个逻辑，以便仅检测源中的新添加内容，然后在每天计划的运行期间将它们添加到我的BigQuery表中？
浏览 0提问于2020-05-13得票数 1
我正在寻找一个像ALTER TABLE TABLE_NAME DROP COLUMN_NAME这样从我的BigQuery表中删除列的选项-但我在online中找到的所有内容都是，删除旧表并创建一个新表。
我只是想知道，在BigQuery中没有这个选项有什么逻辑上的原因吗？
浏览 3提问于2017-08-22得票数 8
我正在编写脚本，从mongodb读取数据，解析spark中的数据并将其写入Bigquery。我有一个用例，其中基于集合，我需要更新/重新创建bigquery表。但是我无法找到确切的api来删除bigquery表
我使用库将数据写入/追加到bigquery，但找不到足够的文档来重新创建表。还查看了谷歌的大数据互操作库，但无法找到确切的api。
浏览 0提问于2019-06-29得票数 0
回答已采纳
1回答
我们正在尝试将所有的http请求导出到我们的google负载均衡器到大查询中。不幸的是，我们注意到数据在3分钟后到达BigQuery。
从本教程开始：
我们创建了一个负载均衡器，它指向公共存储上的pixel.png。
创建一个接收器将所有日志导出到Pub/Sub
用流插入pub/sub表创建带有所提供模板的BigQuery
表按日期进行分区，并在小时和分钟上有一个群集列。
在我们缩放到每秒钟1000个请求之后，我们注意到数据被延迟了2到3分钟。
SELECT * FROM DATASET ORDER BY Timestamp desc Limit 100
这个查询将在几
浏览 0提问于2019-07-17得票数 0
Google BigQuery - bq命令使您能够创建、加载、查询和更改表。
我没有找到任何关于丢弃表的文档，我很乐意知道如何做。
我发现bq工具更容易实现，而不是为每个命令编写python接口。
谢谢。
浏览 0提问于2015-05-04得票数 15
我有一个BigQuery数据库，我想要创建动态表。
例: table_20170609 -如果日期是2017年6月9日
table\_20170610 - _if date is 10th june 2017_
每天我会得到一些excel数据，我必须上传到上面动态创建的表。excel中的数据不是按日计算的，它将从开始日期到今天的日期。
我知道将bigquery连接到tableau并运行查询。是否有任何自动方法让tableau从bigquery读取动态表并生成报告。
当前工作-我已经创建了一个表(报告)，每天我将把表报告重命名为reports_bkp_date，并创建新的表报告。
我是bigq
浏览 3提问于2017-06-09得票数 0
我希望在我遇到的这个错误代码上得到一些帮助。
上下文
我工作的公司使用GSUITE产品。
我的团队有自己的云项目设置。
Google并不是一个“个人”驱动器。
我们使用气流刷新我们的BigQuery表，每天/每周/每月。
我遵循了这些解决方案
同时也参考了
问题
云编写器:v1.12.0
最近，我设置了一个外部Bigquery表，用于读取Google工作表中的一个选项卡。由于通行限制，我的气流DAG一直未能完成。我在气流连接范围中添加了以下内容：
此外，还将服务帐户的电子邮件地址添加到谷歌表格中，该表通过共享引用。我还将服务帐户IAM角色更新为BigQuery管理
浏览 2提问于2021-06-21得票数 7
我有一个每天在bigquery中获取表数据的过程。我需要一些旧的表数据，但不幸的是它们现在已经过期了，而且它们的过期时间超过了两天。我知道如果表的删除和删除时间少于两天，我们可以取回表数据，但是过期的表，删除时间超过两天，是否可以找回？
我试着使用2天前的时间戳，并尝试使用bq工具获取它，但我需要2天前删除的数据。
浏览 0提问于2019-08-13得票数 0
我有几个在BigQuery中生成分区表的进程，当数据源有问题时，比如说一个表的100个分区是无用的，我需要删除它们。
有谁知道如何通过BQ UI来实现这一点吗？
我试过使用，但没有结果...显然，它只删除分区中的内容，而不删除分区。
浏览 0提问于2018-04-07得票数 0
我有一个ETL进程，它将数据从mongo集群流到BigQuery。它每周通过cron运行，并在需要时手动运行。我为每个客户提供了一个单独的数据集，表结构在它们之间是相同的。
我只是运行了这个过程，结果发现当我的所有数据块从bigquery#tableDataInsertAllResponse api返回一个“成功”响应({“类别”：“insertAll”})时，表对于一个特定的数据集是空的。
我以前见过几次这种情况，但再也无法重现了。我现在已经运行了两次，得到了相同的结果。我知道我的代码正在工作，因为其他数据集已正确填充。
表中没有“流缓冲区”，运行count(*)查询将返回0响应。我甚至尝试
浏览 1提问于2017-01-03得票数 1
回答已采纳
我有一个熊猫数据框，看起来像这样：
它有6列。我尝试将其附加到BigQuery中具有相同模式的现有表中，使用的模式如下：
import os
from google.cloud import bigquery
# Login credentials
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="secret.json"
# Initialize big query
client = bigquery.Client()
# Table information
project = "xxxxxxx
浏览 10提问于2021-06-01得票数 0
回答已采纳
BigQuery不会直接流到他们的长期存储中，他们首先将其放入一个写优化的存储中，并定期将其刷新到主存储中。
在下面的用例中，我想更好地理解BigQuery流缓冲区。
1)如果我删除bigquery表，并立即以相同的名称重新创建一个新的bigquery表，此时某些记录仍然保存在流缓冲区中，等待被刷新到主存储中？
例如，如果我将一百万条记录流到BigQuery中。有些记录现在仍然保存在流缓冲区中，等待被刷新到BigQuery的主存储区。
此时，我删除BigQuery表并以相同的名称重新创建BigQuery表，是否仍会将流缓冲区中的剩余记录刷新到新的重新创建的表中？还是流缓冲区中的剩余记录将被删除
浏览 1提问于2018-01-18得票数 1
回答已采纳
1回答
我正在尝试将来自Google或谷歌BigQuery的千兆字节数据加载到熊猫数据中，这样我就可以尝试运行scikit的OneClassSVM和隔离森林(或任何其他一元或PU分类)。所以我尝试了pandas-gbq，但试图运行
pd.read_gbq(query, 'my-super-project', dialect='standard')
让我的机器在只有30%完成的时候杀死它。我不能在本地加载它，而且我的机器没有足够的空间，听起来也不太有效。
我也试过
from google.cloud import storage
client = storage.Clie
浏览 0提问于2017-08-11得票数 0
我们试图将Oracle (v19c)复制到BigQuery，并想知道创建BigQuery表的最佳方法是什么。我们不能硬编码模式，因为代码需要复制任意的表，所以在编译时我们不知道源表的模式是什么。我们使用的是jOOQ，它是否有一个给出表的助手方法，返回烧烤的模式？
com.google.cloud.bigquery.Schema getBQSchema(String oracleTableName)
如果没有，如何才能做得最好呢？
浏览 7提问于2022-07-06得票数 1
回答已采纳
1回答
我有一些关于Composer和BigQuery的问题。我们需要导入并创建一个自动流程，以便将表从BigQuery导出到存储。我现在有四个选择：
bigquery_to_gcs OperatorBashOperator:执行Cloud在Composer.Python函数上提供的"bq“命令:使用BigQuery API创建BigQuery函数，几乎与bigquery_to_gcs相同，并使用Airflow.DataFlow:执行此函数--作业也将在气流中执行。
我有一些想法，与前三个选项的想法。如果表很大，是否有机会消耗Composer的大部分资源？我一直在搜索bashoperator和
浏览 2提问于2019-09-30得票数 0
回答已采纳
我们的BigQuery模式是大量嵌套/重复的，并且不断变化。例如，网站的新页面、表单或用户信息字段将对应于BigQuery中的新列。另外，如果我们停止使用某种形式，那么相应的不推荐列将永远存在，因为您不能删除Bigquery中的列。
因此，我们最终将产生有数百列的表，其中许多列是不推荐的，这似乎不是一个好的解决方案。
我正在研究的主要选择是将所有内容存储为json (例如，每个Bigquery表只有两个列，一个列用于时间戳，另一个列用于json数据)。然后，每10分钟运行一次的批处理作业将执行联接/查询，并写入聚合表。但是使用这种方法，我担心的是增加查询作业成本。
一些背景信息：
我们的数据以
浏览 0提问于2019-03-08得票数 3
我正在Google app Engine上部署一个Plotly Dash应用程序，但遇到了一些困难。仪表板中要查询的数据源是一个Bigquery表，该表的内容正在变化。我希望App中的数据始终是最新的。
我尝试的是在main.py代码的开头，我通过Bigquery Python API从Bigquery中读取了表，但在应用程序部署到GAE上后，我发现数据是固定的；即使我删除了Bigquery表，应用程序也没有受到影响。我想知道从BigQuery获取数据到App Engine的正确方法是什么？谢谢。
浏览 2提问于2020-07-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
