1回答
我在Google Cloud中使用BigQuery和Dataproc。两者都在同一个项目中，我们称它为" project -123“。我使用Composer (Airflow)来运行代码。我有一个简单的python脚本test_script.py，它使用pyspark从bigquery公共数据集中的一个表中获取读取数据： #, we need
浏览 19提问于2020-03-06得票数 1
我想这是缺少一个jar文件( --jars gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar)，但我不知道如何添加到我的代码中。代码： submit_job = DataprocSubmitJobOperator( job=PYSPARK_JOB,location=REGION,
浏览 36提问于2021-10-29得票数 3
2回答
我是一个初学者；我要用spark/pyspark连接bigquery读取数据，但是卡在了身份认证这道关卡；我有身份认证文件：ios-app.json文件，格式是：{ "project_id": **************, "private_key"
浏览 135提问于2023-09-13
我正在尝试使用PySpark读取表格形式的BigQuery。我尝试过以下几种方法 table = 'my-project-id.project-dataset.test_table_spark'
df = spark.read.format('bigquery'('table', table).load() 然而，我得到了这个错误 : java.lang.ClassNotFoundException: Failed to fin
浏览 19提问于2019-10-01得票数 2
回答已采纳
我正在尝试将BigQuery数据集连接到数据库并使用Pyspark运行脚本。 我做过的步骤： 我将BigQuery Json API打了补丁到dbfs中的databrick，以便进行连接访问。然后，我在集群库中添加了spark-bigquery-latest.jar，并运行了我的脚本。 当我运行这个脚本时，我没有遇到任何错误。，而是尝试使用如下查询调用该模式下的所有表： from pyspark.s
浏览 74提问于2020-12-15得票数 1
回答已采纳
1回答
我有一个在bigquery中加载的数据表，我想通过一个.py文件将它导入到我的spark集群中。我在中看到有一种方法可以在spark集群中用scala加载bigquery表，但是在pyspark脚本中有方法吗？
浏览 2提问于2015-10-27得票数 4
回答已采纳
我目前在Google BigQuery上有一些reddit数据，我想对选择的subreddits上的所有评论做一个单词计数。查询大约是90GiB，因此不可能直接加载到DataLab中并转换为数据帧。有人建议我使用DataProc中的Hadoop或Spark作业来创建字数统计，并设置一个连接器将BigQuery数据导入到DataProc中，以便DataProc可以进行字数统计。
浏览 33提问于2021-10-25得票数 1
我正在尝试使用pandas和pyspark从BigQuery中读取数据。我能够获得数据，但不知何故得到以下错误，同时转换为火花DataFrame。from pyspark import SparkConf, SparkContextfrom google.cloud()
print('Querying BigQuery</
浏览 61提问于2019-07-11得票数 0
1回答
我没有得到谷歌的例子我认为代码中有几个错误，比如：应该是：'mapred.bq.output.project.id'：''，#将数据写回新的BigQuery表。有一个在BigQuery中创建的数据集，其名称是我在“conf”中使用的尾随
浏览 4提问于2015-12-08得票数 2
现在，我想将结果数据帧中的行根据id写到BigQuery中的不同表中。如果我正在写文本文件，我将使用write.partitionBy('id')，当我写到BigQuery时，我能做什么？我尝试过使用python来解决这个问题，但是速度非常慢，我想知道是否有更好的方法来解决这个问题。#!()
我在考虑按id分组/分区，然后使用</e
浏览 1提问于2019-11-19得票数 0
我在BigQuery中有一个表，我想查询和实现FPgrowth算法。我想首先使用dataproc集群的VM实例在上尝试它。
我正在寻找一种方法，以直接查询的表格，在烧烤使用火星雨。我想使用产生的查询数据来实现FPGrowth (我已经很熟悉了)。
浏览 6提问于2017-11-09得票数 2
回答已采纳
我想使用Google Dataproc和不同的项目Ids运行一些pyspark作业，但到目前为止还没有成功。我是pyspark和Google Cloud的新手，但是我已经遵循了的例子，并且运行良好(如果BigQuery数据集是公开的，或者属于我的ProjectA项目)。_jsc.hadoopConfiguration().get('fs.gs.project.id
浏览 1提问于2016-12-09得票数 1
我们在GCP项目A中有airflow composer实例，而我们的BQ数据集存在于项目B中。当我们试图从BQ中读取数据时，我们得到了错误。我们把钩子写成钩子= BigQueryHook(bigquery_conn_id='bigquery_default'，delegate_to=None，use_legacy_sql=False)
如何在此BigQueryHook函数中传递项目名称B
浏览 3提问于2021-12-02得票数 0
2回答
我有一个简单的python代码，其中包括使用具有我的凭据的JSON文件连接到bigQuery。data = pd.read_gbq(SampleQuery, project_id='XXXXXXXX', private_key='filename.json'){ "proje
浏览 2提问于2019-04-10得票数 2
我试图使用Dataproc在PySpark中运行一个脚本。
from __future_
浏览 1提问于2019-06-15得票数 1
回答已采纳
大约一周前，我能够使用的指南作为模板，将Spark作业的BigQuery表读入到RDD中，用于在Dataproc集群上运行。从那时起，我现在遇到了缺少类的问题，尽管指南没有受到任何影响。我试图找到缺少的类com/google/cloud/hadoop/repackaged/bigquery/com/google/common/collect/ImmutableList，，
浏览 0提问于2019-08-29得票数 3
2回答
同时使用来运行pyspark作业。我的代码尝试在bigquery上执行一个查询，使用pyspark = 'select max(col ) from表‘df =spark.read.format(’bigquery‘).load(查询)
浏览 11提问于2022-07-11得票数 0
尝试从bigquery读取数据到jupyter笔记本，并使用吡火花库。apache和java的所有文件都被下载到我的C:驱动器中。阅读和观看教程视频，但没有一个似乎是有效的。寻求指导import pyspark from pyspark import SparkContext,SparkConf from pyspark</e
浏览 9提问于2022-02-04得票数 -1
我是dataproc集群和PySpark的新手，因此，在寻找代码以将表从bigquery加载到集群的过程中，我遇到了下面的代码，并且无法弄清楚我应该为这段代码中的用例修改什么，以及我们在输入目录中提供了什么作为输入from pyspark.context import SparkContextimport subprocess_jsc.hadoopConfiguration().
浏览 1提问于2020-05-31得票数 1
我有一个用一系列客户的产品数据填充的BigQuery表。已使用查询将数据展平。我想以csv格式将每个客户端的数据导出到Google Cloud Storage存储桶中-这样每个客户端都有自己的csv。这里有100多个客户机，每个客户机都有一个client_id，表本身的大小是1 1GB。我已经研究过使用云函数来查询表，但这将花费超过100,000 GB的数据。我还研究了如何将客户端直接从源导入到各个表中，但我需要在每
浏览 0提问于2021-10-18得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
