嗨，我尝试在Dataproc中使用java client library从BigQuery中删除一个表，启动了spark-shell，如下所示： spark-shell --packages com.google.cloud:google-cloud-bigquery:1.59.0 并导入以下依赖项 import com.google.cloud.bigquery.BigQuery
浏览 18提问于2019-01-21得票数 2
回答已采纳
我正在尝试从我的.hql文件访问BigQuery表，我将在Dataproc集群上运行该文件。我已经编写了以下代码，以便在Hive环境中将表设置为变量：然后，我编写了一个查询，将输出插入到BigQuery中的表
浏览 0提问于2020-02-12得票数 0
我创建了一个Dataproc集群，并使用以下说明成功启动了RStudio服务器：https://cloud.google.com/solutions/running-rstudio-server-on-a-cloud-dataproc-clustersc <- spark_connect(master = "local") 但是，我想知道如何连接到BigQuery。有一个sparkbq库，但是我不确定如何传递这里描述的<e
浏览 15提问于2020-11-28得票数 1
回答已采纳
2回答
我正在运行一个示例Java代码，在这里我试图获取BigQuery表的描述。当我在我的地方运行它时，它工作的很好。但是，当我进入google并在GCS中部署jar并通过dataproc运行它时，我得到了下面的问题 at com.google.cloud.RetryHel
浏览 7提问于2020-10-28得票数 3
回答已采纳
.format('com.google.cloud.spark.bigquery')\ .load() 此脚本由使用以下bash脚本创建的Dataproc工作流使用： #Creating the job--metadata='PIP_PACKAGES=pan
浏览 28提问于2021-04-29得票数 0
1回答
将数据从iOS推送到Google
、、、、
我对Google Cloud Platforms并不熟悉，对整个体系结构也不太确定，但我试图实现的是将一些数据从iOS application中保存到Google Cloud中，并使用Google CloudProducts对这些数据做一些分析工作，例如：Dataproc和Datalab。从我目前所读到的情况来看，我需要在Google Cloud BigQuery中创建一个数据集，并在其中创建一个<
浏览 5提问于2017-05-15得票数 1
我在BigQuery中有一个表，我想查询和实现FPgrowth算法。我想首先使用dataproc集群的VM实例在上尝试它。
我正在寻找一种方法，以直接查询的表格，在烧烤使用火星雨。
浏览 6提问于2017-11-09得票数 2
回答已采纳
我以这种方式向dataproc提交了一个火花作业：
gcloud dataproc作业提交星星之火--集群=$集群--region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.19.1，spark.submit.deployMode=clusterpath.to.my.main.class --jars= spark .to.jars- &qu
浏览 2提问于2021-04-29得票数 4
回答已采纳
我确实在上面找到了一些文档：https://cloud.google.com/dataproc/docs/reference/rpc/google.cloud.dataproc.v1#google.cloud.dataproc.v1.SubmitJobRequest https://cloud.google.c
浏览 16提问于2019-10-07得票数 3
invalid: [('bigquery-connector-version', '1.1.1'), ('spark-bigquery-connector-version', '0.17.2'), (但现在遇到了另一个新问题，如下所示： File "/opt/python3.8/lib/python3.8/site-packages/<e
浏览 6提问于2021-12-21得票数 1
回答已采纳
=$GCS_CONNECTOR_VERSION \--scopes cloud-platform,bigquery 而且两者都工作得很好。Failed action 'gs://dataproc-initialization-actions/jupyter/jupyter.sh', see output in: gs:&#
浏览 36提问于2019-04-05得票数 1
回答已采纳
当我在Dataproc (Spark)中运行代码时，抛出的异常类似于此异常的阴影版本：com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.json.GoogleJsonResponseException.**" -> "repackaged.com.google.common.@1"))
我需要这个重新包装的版本，以摆脱谷歌的一
浏览 0提问于2019-08-08得票数 2
回答已采纳
我正在尝试将数据从谷歌BigQuery加载到在Google Dataproc上运行的Spark (我使用的是Java)。我试着按照这里的说明操作： </dependency> <g
浏览 24提问于2019-11-03得票数 3
回答已采纳
我们将账单数据导出到BigQuery，我运行了以下查询：from (select case when sku_description like 'Licensing Fee for Google Cloud Dataproc%' then sku_descriptionCloud Dataproc (GPU cost) | 1 |
浏览 1提问于2019-09-13得票数 2
回答已采纳
例如，在bigquery文档中，我发现我必须使用 <groupId>com.google.cloud</groupId> <artifactId>google-cloud<
浏览 0提问于2018-03-24得票数 0
回答已采纳
我使用的是气流版本: 2.1.4+composer和我有一个DAG，其中我定义了这样的DataprocClusterCreateOperator： task_id='create_dataproc', num_workers=&#x
浏览 13提问于2021-12-13得票数 2
我正在使用spark-bigquery-with-dependencies_2.12-0.24.2.jar文件在GCP DataProc集群中运行python代码。我试图使用python库在BigQuery中创建一个表，如下所示：
table_id= "some_project.some_dataset.some_t
浏览 11提问于2022-08-24得票数 2
我正在尝试使用库从火花代码(来自dataproc集群)运行truncate语句。import com.google.cloud.bigquery.{BigQueryException, BigQueryOptions, QueryJobConfiguration}
import com.google.cloud.http.BaseHttpServiceException', name: 'google-cloud-<
浏览 4提问于2021-06-24得票数 2
我正在使用google cloud Dataproc Spark集群来运行Spark streaming作业，该作业从多个PubSub订阅中读取数据并写入BigQuery。我已经在数据流中实现了每秒100万个元素的速度，但我想用Dataproc做同样的事情。我尝试了Dataproc的自动缩放选项，也尝试了在数据流上工作的相同的波束管道代码。" % "google-cloud-bigquery&qu
浏览 5提问于2019-07-22得票数 3
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
