我有以下模式和设置： job_config = bigquery.LoadJobConfig(schema = [bigquery.SchemaField("Timestamp", "TIMESTAMP"),bigquery.Sch
浏览 10提问于2019-12-21得票数 0
回答已采纳
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。将数据
浏览 2提问于2019-03-30得票数 0
我有一些用hive编写的插入查询要在Bigquery中迁移。例如：在Bigquery中，分区仅支持YYYYMMDD格式。通过加载test.abc$20171125，我可以通过by命令行工具将数据转储到分区表中。
如何使用Bigquery中的DML语句实现相同<
浏览 2提问于2017-12-19得票数 0
回答已采纳
2回答
我是谷歌云的新手，需要在云存储中提取扩展名为"xxxx.tar.gz“的文件并加载到BiQuery(多个文件到多个表)。我在nodejs中尝试了云功能，使用了npm模块，比如"tar.gz“和"jaguar"，两者都不起作用。
有人可以共享一些输入来使用其他语言(如python或Go )来解压缩文件。my work：到目前为止，我使用nodejs将手动复制到目标桶的</
浏览 4提问于2018-09-20得票数 0
是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。 提前谢谢。
浏览 19提问于2020-06-25得票数 1
我正在尝试找到一种方法，使用这个链接自动更新一个大型查询表：我该如何提交一个脚本来导入数据并将这些数据提供给Big Query呢？
浏览 0提问于2019-12-25得票数 0
有没有办法从Cloud Function (最好是基于python )运行Google Data Fusion管道？gcloud函数
浏览 3提问于2019-07-23得票数 1
1回答
我正在学习如何从GraphQL API中提取数据，并每天将其加载到BigQuery表中。我是GCP的新手，并试图理解建立安全数据管道所需的设置。为了使常规数据提取和加载过程自动化，我将遵循以下步骤，
我首先使用BigQuery、Python库与熊猫和pyarrow创建了一个云函数。我使用下面所示的方法将数据加<
浏览 4提问于2022-04-29得票数 0
我目前正在使用BigQuery的stream选项将数据加载到表中。但是，具有日期分区的表不会显示任何分区...我意识到这是流的影响。我使用的Python代码： bigquery_client = bigquery.Client()
dataset = bigqu
浏览 9提问于2016-12-30得票数 1
回答已采纳
我使用bigquery客户端对象将一些CSV文件(位于云存储中)上载到bigquery表中。
我成功地将数据上载到bigquery表中，但我希望将目标表更改为已分区表。分区将是文件名中的日期。文件名是CSV文件中的一个列，与CSV文件名相同。这就是我如何从文件名(假设文本是文
浏览 7提问于2022-11-21得票数 0
我正在尝试将存储在桶(换行符分隔的json文件)中的一堆数据移动到BigQuery中。BigQuery禁止字段名中的某些字符，例如虚线-或slashes。不幸的是，我们的数据在许多字段名中都有破折号，即我尝试将BigQuery模式中的
浏览 0提问于2018-09-15得票数 0
我在我的新公司担任数据工程师，致力于构建google cloud platform (GCP)批处理ETL管道。我的团队的数据科学家最近向我传递了一个数据模型(用Python3.6编写的.py文件)。
数据模型有一个主函数，我可以调用它并获得一个数据帧作为输出，我打算将这个数据帧附加到一个bigquery表<e
浏览 0提问于2019-08-21得票数 0
我正在做一个项目，其中一个名为Eyedro的设备可以感知电压和电流等信息，并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。
浏览 1提问于2021-02-22得票数 0
1回答
谷歌云平台有大量的产品。在给定的项目中，我可能会使用Compute Engine、Cloud SQL、Kubernetes、Storage、IAM和Admin。我不知道这些东西中的绝大多数是做什么的，当我探索和学习的时候，很难跟踪我在给定的项目中使用了哪些产品。但是，假设我想要回顾记录项目的所有组件，以便可以从头开始重新创建它。除了逐一浏览每个产品并寻找过去文明的迹象之外，有没有什么方法可以列出我所有的足迹？我认为我的</em
浏览 1提问于2020-08-29得票数 1
我们有一个从另一个数据库导出csv文件的脚本，并将它们上传到GCP云存储上的存储桶中。现在我知道可以使用BigQuery数据传输服务计划加载到BigQuery中，但我有点惊讶的是，似乎没有一个解决方案可以在文件上传完成时自动触发。 我错过了什么吗？
浏览 20提问于2021-03-31得票数 0
回答已采纳
我目前正在使用云函数将数据从云存储中的csv文件加载到BigQuery。
然而，云函数有一个超时限制，我希望这些文件在会引起问题的地方变得足够大。我还能用什么代替云函数来实现这个功能呢？需要在文件放入云存储时触发。
浏览 2提问于2019-04-13得票数 1
回答已采纳
我正在使用GCP日志资源管理器存储来自管道的日志消息。我需要通过查看来自特定事件的日志来调试问题。除了末尾的事件ID外，此错误的消息是相同的。因此，例如，错误消息是我知道我可以使用以下语法来构造一个查询，该查询将返回具有此特定消息结构的日志severity=W
浏览 8提问于2022-04-28得票数 1
回答已采纳
根据特定条件取消识别/加密特定字段
除此之外，我还需要能够重新识别/解密BigQuery中的数据(例如UDF、)。现在的问题是，我无法弄清楚如何以一种可以在BigQuery中重新识别/解密的方式来加密这个数据。然而，它们并
浏览 10提问于2021-04-29得票数 4
回答已采纳
我可以使用python客户端库从Google BigQuery将数据加载到Google云存储中，但是当我试图使用cloud加载数据时，我得到的错误如下。“访问被拒绝: BigQuery BigQuery:写入数据时被拒绝的权限”
bq --location=US extract --compression GZIP
浏览 0提问于2019-03-31得票数 1
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
