如何在databricks集群上高效地运行非spark模型训练任务(使用fasttext)？
在Databricks集群上高效地运行非Spark模型训练任务（使用FastText），可以按照以下步骤进行：
- 准备数据：将需要用于训练的数据准备好，并上传到Databricks集群的存储系统中，例如DBFS（Databricks File System）或Azure Blob Storage。
- 安装FastText：在Databricks集群上安装FastText库，可以通过在Databricks集群的Notebook中执行相应的安装命令来完成。例如，可以使用以下命令安装FastText：
- 安装FastText：在Databricks集群上安装FastText库，可以通过在Databricks集群的Notebook中执行相应的安装命令来完成。例如，可以使用以下命令安装FastText：
- 创建Databricks集群：在Databricks工作区中创建一个新的集群，确保集群的配置满足训练任务的需求，例如适当的计算资源和内存大小。
- 创建Notebook：在Databricks工作区中创建一个新的Notebook，用于编写和运行FastText模型训练的代码。
- 导入必要的库：在Notebook中导入所需的库，包括FastText和其他必要的Python库。
- 导入必要的库：在Notebook中导入所需的库，包括FastText和其他必要的Python库。
- 加载数据：从存储系统中加载训练数据，并将其转换为FastText所需的格式。例如，可以使用Pandas库加载CSV文件，并将其转换为FastText的文本格式。
- 加载数据：从存储系统中加载训练数据，并将其转换为FastText所需的格式。例如，可以使用Pandas库加载CSV文件，并将其转换为FastText的文本格式。
- 训练模型：使用FastText库训练模型，指定训练数据的路径、模型类型、参数等。
- 训练模型：使用FastText库训练模型，指定训练数据的路径、模型类型、参数等。
- 保存模型：将训练好的模型保存到存储系统中，以便后续使用。
- 保存模型：将训练好的模型保存到存储系统中，以便后续使用。
- 运行非Spark模型训练任务：使用Databricks集群的分布式计算能力，通过调用FastText模型进行预测或其他任务。可以在Notebook中编写相应的代码，并提交作业到集群上运行。
- 运行非Spark模型训练任务：使用Databricks集群的分布式计算能力，通过调用FastText模型进行预测或其他任务。可以在Notebook中编写相应的代码，并提交作业到集群上运行。
需要注意的是，Databricks集群上的非Spark模型训练任务可能会受到集群配置和资源限制的影响。可以根据实际情况调整集群的配置，例如增加节点数量、调整计算资源分配等，以提高训练任务的效率和性能。
推荐的腾讯云相关产品：腾讯云机器学习平台（https://cloud.tencent.com/product/tiup），该平台提供了丰富的机器学习和深度学习工具，可用于高效地训练和部署非Spark模型。
相关·内容
原始的Spark distributive支持几个集群管理器，如YARN，Mesos，Spark Standalone，K8s。我找不到Databricks Spark中的内幕，它使用的是哪个集群管理器，是否可以更改？
<code>B0</code>
什么是Databricks Spark架构？
谢谢。
浏览 8提问于2021-03-15得票数 0
1回答
我想在pyspark应用程序中使用预先训练好的嵌入模型(fasttext)。 因此，如果我广播该文件(.bin)，则会抛出以下异常: Traceback (最近一次调用)： cPickle.PicklingError: Could not serialize broadcast: OverflowError: cannot serialize a string larger than 2 GiB 相反，我尝试使用sc.addFile(modelpath) where modelpath=path/to/model.bin，如下所示： 我创建了一个名为fasttextSpark.py的文件 i
浏览 36提问于2019-01-28得票数 5
我能够完美地从databricks中提取数据，连接并运行spark作业。我的问题是如何在远程集群上运行非spark或原生python代码。由于机密性的原因，没有共享代码。
浏览 19提问于2021-10-11得票数 3
我想从我的本地机器连接到Databricks集群(AWS)，但我想在集群中执行整个代码。使用Databricks Connect，只在集群中执行spark代码。我在寻找替代的解决方案。SSH解释器或类似的东西。我在集成开发环境( PyCharm )工作。
浏览 2提问于2021-12-02得票数 1
1回答
编辑:对Databricks使用Spark
据我所知，有效的分区应该基于可用的执行器的数量，理想情况下分区% executors =0
但是如果你在一个共享的Spark集群上工作，这个集群可以根据活动自动伸缩，在这个集群中，人们可能会让一些执行者忙于自己的工作，那么以这种方式有效地分区和存储桶是可能的吗？
假设我注意到集群上有8个exectutor处于活动状态，因此我创建了8个分区或存储桶，以便更轻松地分配工作负载。在这种情况下，Alice和Jane登录并开始运行大型查询，因此集群扩展到12个执行器。
现在我不再被有效地分割了。或者，如果集群没有升级，但Alice和Jane占用了一些执行器，现
浏览 4提问于2021-11-26得票数 2
我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。
所以我试着
spark-shell --package com.databricks:spark-avro_2.10:0.1.
这就产生了未解决的依赖关系。
import com.databricks.spark.avro._ is not supported.
也试过
spark-shell --jar spark-avro_2.11-3.2.0.jar
这不会打开外壳。
spark.read.format("com.databricks.spark.avro
浏览 1提问于2018-03-28得票数 3
回答已采纳
我想使用fasttext训练一些模型，因为它不使用spark，所以它将在我的驱动程序上运行。将同时运行的训练作业的数量非常大，数据的大小也是如此。有没有办法让它在不同的工作者上运行，或者在不同的工作者之间分发？这是最好的方法，还是使用大型单节点集群更好？ 仅供参考，我正在使用Databricks。因此，特定于此的解决方案也是可以的。
浏览 28提问于2021-11-12得票数 2
2回答
我正在使用星火在Azure数据库5.5。我通过Databricks工作区UI通过乔布斯、笔记本和火花提交提交火花作业。作业正在成功提交，Databricks正在生成新的集群或使用现有的集群。但是，默认情况下，在executor节点上运行作业的用户是根。是否有可能更改在Azure Databricks上运行作业的用户(这本质上不允许SSH访问)？
通常，当我在具有Shell访问权限的集群上使用星火提交CLI时，我使用sudo：sudo -u exampleuser spark-submit...更改用户。在这个例子中，用户'exampleuser‘出现在集群的所有节点上。因此，我想知道是
浏览 0提问于2019-09-17得票数 2
回答已采纳
我正在使用星火数据库集群，并希望添加自定义星火配置。
在这方面有一个Databricks文档，但是我不知道我应该如何以及应该做什么更改。有谁能分享一下配置Databricks集群的例子吗？
在Databricks集群中是否有任何方法可以查看Spark的默认配置。
浏览 1提问于2019-11-04得票数 5
回答已采纳
spark.sql("set spark.databricks.delta.autoCompact.enabled = true")是否也适用于delta，例如HDP，而不是在DataBricks上的Delta上运行？
据我所知，并不是三角洲湖的所有特征都可以在HDP上使用。我问这个问题，因为我很难找到这个问题的答案，而且在访问集群方面，我感到不舒服。我的同事们对此一无所知，另一个单位表示他们正在开发一个压缩脚本。
浏览 5提问于2022-01-17得票数 1
回答已采纳
我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误
来自终端的错误
java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.STRING_REDACTION_PATTERN()Lorg/apache/spark/internal/config/ConfigEntry;
error: not found: value spark import spark.implicits._
error: not found: value
浏览 0提问于2019-07-22得票数 4
1回答
我想在Databricks的spark上下文中注册自定义SparkListener。
与基本火花，我可以使用"spark.jars“和"spark.extraListeners”吐露在火花-提交。或者使用sparkContext.addSparkListener api。
对于databricks安装程序，我已经在集群中安装了包含监听器的jar。当我将配置"spark.extraListeners“放在集群的”高级“配置选项卡中时，集群无法初始化抛出错误侦听器。
我试着在火花会话构建器期间设置它，如
.builder \
.appName("ab
浏览 14提问于2022-02-03得票数 2
我有以下配置：
# Configure the Azure provider
terraform {
required_providers {
azurerm = {
source = "hashicorp/azurerm"
version = "~> 3.25.0"
}
databricks = {
source = "databricks/databricks"
version = "1.4.0"
}
}
}
provide
浏览 13提问于2022-10-10得票数 0
回答已采纳
1回答
Databricks仅在UI或API中提供集群级别日志。有没有办法在databricks中配置spark或log4j，这样我们就可以得到运行/作业级日志？
浏览 24提问于2020-07-15得票数 2
1回答
目前，使用状态%SQL query："SET“，我可以获得集群中定义的标记值。
%sql
SET spark.databricks.clusterUsageTags.clusterName;
但是，如何在"SELECT“语句中使用这些值来定义条件、定义"FROM”值或创建新列？
%sql
---for example:
SELECT * FROM db.table WHERE column1 = spark.databricks.clusterUsageTags.clusterName;
谢谢!
浏览 2提问于2020-04-01得票数 0
嗨，我不知道以前有没有人遇到过这种情况。我同时拥有Azure和AWS环境。我有一个在Azure Databricks上运行的Spark群集。我有一个要在Azure Databricks Spark集群上运行的python/pyspark脚本。在这个脚本中，我想要将一些数据写入到AWS Redshift集群中，我计划使用psycopg2库来实现这一点。我在哪里可以找到Azure Databricks Spark群集的IP地址，以便我可以将其列入AWS Redshift群集的安全组的白名单。我认为目前我无法写入AWS Redshift群集，因为脚本正在Azure Databricks Spark群
浏览 0提问于2020-12-29得票数 1
有人知道如何在EMR集群上安装com.databricks.spark.xml包吗？
我成功地连接到了主emr，但不知道如何在emr集群上安装软件包。
码
sc.install_pypi_package("com.databricks.spark.xml")
浏览 2提问于2020-02-19得票数 1
我想从Databricks Cluster上的Linux Machine执行spark sql命令。有什么方法可以做到这一点吗？我在一个.sql文件中设置了一组spark sql命令，并希望使用Linux Machine中的Databricks集群来执行该文件。我正在寻找类似于SQLPLUS的东西，在那里我们与DB建立连接并执行sql，以类似的方式，我们是否有任何实用程序/解决方案来在Databricks集群上执行spark sql。
浏览 30提问于2021-08-10得票数 1
我正在使用powershell脚本部署一些Databricks集群，该脚本使用预定义的集群模板作为输入json文件，例如：
{
"cluster_name": "test1",
"max_retries": 1,
"spark_version": "5.3.x-scala2.11",
"timeout_seconds": 3600,
"autotermination_minutes": 60,
"node_type_id"
浏览 0提问于2019-09-16得票数 1
我希望通过全局init脚本为工作区中的所有集群(新的或旧的)设置。
我试着通过定制的spark /databricks/driver/conf/00-custom-spark.conf添加基础星火属性(见下文)。但这不管用。可能这些属性仅用于显示目的。
cat <<EOF >/databricks/driver/conf/00-custom-ud-spark.conf
[driver] {
"spark.databricks.clusterUsageTags.clusterLogDeliveryEnabled" = "true"
浏览 6提问于2022-08-04得票数 1
我的Spark Scala代码由于Spark内存不足问题而失败。我正在运行ADF管道中的代码。在Databricks集群中，executor内存设置为4g。我想在ADF级别更改此值，而不是在集群级别更改它。在创建链接服务时，我们有额外的集群设置，我们可以在其中定义集群spark配置。请找到下面的内容。谁能让我知道如何在ADF的链接服务中设置火花执行器内存。谢谢。 ?
浏览 16提问于2021-11-11得票数 0
回答已采纳
简而言之，我正在尝试探索从Databricks工作区向C#/.NET应用程序提供数据以进行用户交互和即席查询的可能性。我花了一些时间来设置Databricks-Connect，就我可以从本地机器运行Databricks集群上的Python Spark作业而言，它似乎是有效的。 我还尝试遍历设置并执行来自.NET for Apache Spark的示例 我的问题是，我很难找到任何涉及这两者协同工作的文档、示例或演示。有没有可能在.NET中建立一个spark会话，允许针对databricks集群中的数据使用spark sql？Databricks-connect是否为此提供了合适的途径？ 最重要
浏览 32提问于2021-05-07得票数 1
回答已采纳
1回答
我试图在databricks上运行azureml-sdk AutoML来对分类任务进行特征/模型扫描，当我运行实验时，我得到了以下错误：
在spark集群上运行实验: ComputeAutoML。
ERROR: Setup iteration failed: {'exception': ValueError('dataprep_json is None')}
浏览 11提问于2020-02-20得票数 0
2回答
我在一个Databricks集群上使用GeoMesa Spark，它引用了这个示例笔记本：。导入和使用UDF函数(如st_makePoint和st_intersects )没有问题。但是，当我尝试使用st_geoHash创建点的Geo散列时，我得到了以下错误：
NoClassDefFoundError: Could not initialize class org.locationtech.geomesa.spark.jts.util.GeoHash$。
集群安装了geomesa-spark-jts_2.11:3.2.1和scala-logging_2.11:3.8.0，这是给出的两个版本(但
浏览 5提问于2021-09-30得票数 0
回答已采纳
1回答
在创建Azure Databricks并配置其cluster时，我选择了Spark的默认语言为python,sql。但是现在我也想添加Scala。在运行Scala脚本时，我得到了以下错误。因此，我的在线搜索带我看了一篇文章，文章描述了您可以通过转到集群设置页面的Advanced options部分并单击那里的Spark选项卡来更改集群配置(如下图所示)。但我发现那里的星火区已经灰暗(残废)：
问题：如何启用集群设置页面高级部分的Spark部分(如下图所示)，以便编辑该部分的最后一行？注意:我创建了Databricks及其集群，因此我是管理员(如下面的图2所示)。
Databricks笔记本错
浏览 8提问于2022-04-30得票数 2
回答已采纳
我希望有一个监控和警报系统(使用Datadog这样的工具)，它可以从我在Databricks中的Spark应用程序中获取度量和日志。问题是，由于不需要每天旋转、运行和杀死数百甚至数千个作业集群，所以最好将现有的集群重新用于类似的数据抽取工作。
为了从Datadog中的Databricks和Spark获取度量标准，我尝试了以下方法：
在每个笔记本中更改SparkSession.builder.appName：不起作用，因为在集群启动后不可能更改它。默认情况下，它总是"Databricks Shell“
设置一个集群范围的标记，并在作业结束后取消它，当并发发生时，->会导致标
浏览 2提问于2021-11-23得票数 1
回答已采纳
我正在使用pandas_udf在我的spark集群上应用机器学习模型，并且对预定义通过箭头发送到UDF的最小记录数很感兴趣。 我按照databricks教程学习了大部分的UDF...https://docs.databricks.com/applications/deep-learning/inference/resnet-model-inference-tensorflow.html 在本教程中，我将spark会议设置为具有最大批量大小和启用箭头。我可以很容易地设置最大批处理大小，但是我想知道是否有类似的方法来设置UDF将处理的最小批处理大小？ spark = SparkSession.b
浏览 14提问于2019-05-22得票数 3
我试图通过python脚本访问Azure databricks spark集群，该脚本将令牌作为通过databricks用户设置生成的输入，并调用Get方法来获取集群的详细信息和集群id。
下面是代码片段。如图所示，我在southcentralus区域创建了一个集群。
import requests
headers = {"Authorization":"Bearer dapiad************************"}
data=requests.get("https://southcentralus.azuredatabricks.net
浏览 0提问于2019-02-05得票数 2
我已经开发了一个Apache Spark应用程序，将其编译成jar，我想将其作为Databricks作业运行。到目前为止，我一直在设置master=local进行测试。我应该在spark配置中设置此属性或其他属性以使其在databricks中以集群模式运行。注意，我没有在Databricks中创建集群，我只有一个按需运行的作业，所以我没有主节点的url。
浏览 8提问于2019-07-29得票数 0
回答已采纳
我们可以使用UI方法将jar文件安装到特定的集群。但是我们需要在工作空间中的所有按需集群上安装它。我们使用下面的shell脚本将jar文件下载到DBFS。不确定如何使用全局init脚本在所有集群中引用/安装此jar curl https://repo1.maven.org/maven2/com/databricks/spark-xml_2.12/0.12.0/spark-xml_2.12-0.12.0.jar >/dbfs/FileStore/jars/maven/com/databricks/spark_xml_2_12__12_0.jar 任何帮助都将不胜感激！
浏览 54提问于2021-07-28得票数 3
回答已采纳
我正在尝试在cdh5.16集群上提交以下Spark2作业，它只接受--packages选项的第一个参数，并为第二个参数抛出错误
spark2-submit --packages com.databricks:spark-xml_2.11:0.4.1, com.databricks:spark-csv_2.11:1.5.0 /path/to/python-script
Exception in thread "main" org.apache.spark.SparkException: Cannot load main class from JAR com.databrick
浏览 10提问于2019-10-20得票数 0
回答已采纳
我试图使用工作区环境变量将访问令牌传递到我的自定义集群init脚本中。
看来，在自定义群集init脚本中，只有少数受支持的环境变量可以访问，如中所述。
我尝试使用以下方法将基本群集配置写入
Microsoft.Azure.Databricks.Client.SparkEnvironmentVariables.Add("WORKSPACE_ID", workspaceId)
我的init脚本仍然无法在下面的行中使用这个变量：
[[ -z "${WORKSPACE_ID}" ]] && LOG_ANALYTICS_WORKSPACE_ID='
浏览 3提问于2019-10-03得票数 2
我的build.sbt文件有以下内容：
scalaVersion := "2.10.3"
libraryDependencies += "com.databricks" % "spark-csv_2.10" % "1.1.0"
我在独立集群模式下运行Spark，我的SparkConf是SparkConf().setMaster("spark://ec2-[ip].compute-1.amazonaws.com:7077").setAppName("Simple Application") (我不使用
浏览 5提问于2015-07-23得票数 6
我正在处理Azure Databricks。目前我的Pyspark项目在'dbfs‘上。我配置了一个spark-submit作业来执行我的Pyspark代码(.py文件)。然而，根据Databricks文档，spark-submit作业只能在新的自动化集群上运行(可能是设计出来的)。
有没有办法在现有的交互式集群上运行我的Pyspark代码？
我还尝试在%sh单元格中的notebook中运行spark-submit命令，但没有使用。
浏览 4提问于2020-05-22得票数 0
我同时在Azure Databricks Spark集群上运行多个笔记本。
如何查看一段时间内每个notebook \ app的集群节点使用率？
"Spark Cluster UI - Master“和"Spark UI”标签都没有提供这样的信息
浏览 7提问于2019-08-11得票数 2
回答已采纳
1回答
我们有一个MapR集群，它在上面运行，但现在它突然停止了，甚至不能在mapr演示集群上工作。我们运行的是MapR 5.1和Spark 1.6.1。
from pyspark import SparkConf, SparkContext
from pyspark import HiveContext
from pyspark.sql import DataFrameWriter
conf = SparkConf().setAppName('test')
sc = SparkContext(conf=conf)
sqlContext = HiveContext(sc)
df =
浏览 1提问于2016-09-29得票数 2
我试图在Databricks环境中设置Apache，并在Spark中执行MERGE语句时遇到错误。
这个代码：
CREATE TABLE iceberg.db.table (id bigint, data string) USING iceberg;
INSERT INTO iceberg.db.table VALUES (1, 'a'), (2, 'b'), (3, 'c');
INSERT INTO iceberg.db.table SELECT id, data FROM (select * from iceberg.db.table)
浏览 6提问于2021-06-08得票数 2
我想从运行在Azure上的Spark集群上的jupyter服务中使用来自的包。
在本地集群中，我知道我可以这样做：
export PACKAGES="com.databricks:spark-csv_2.11:1.3.0"
export PYSPARK_SUBMIT_ARGS="--packages ${PACKAGES} pyspark-shell"
但是，我不明白/不知道把这个放在Azure星火配置中的位置。任何线索都很感激。
浏览 4提问于2016-01-27得票数 3
回答已采纳
我有以下设置
数据库集群：
8.4 ML (includes Apache Spark 3.1.2, Scala 2.12)
客户端：
databricks==0.2
databricks-cli==0.14.3
databricks-connect==8.1.10 (The latest version up to date 20210813)
当我运行databricks-connect test来测试连接时，我得到了以下错误消息
java.lang.IllegalArgumentException:
The cluster is running server version `dbr-
浏览 3提问于2021-08-13得票数 1
回答已采纳
我有熊猫数据帧(示例程序)，转换的考拉数据帧，现在我是执行星火集群(windows独立)，当我尝试从命令提示符作为
spark-submit --master本地hello.py，获取错误ModuleNotFoundError:没有名为“databricks”的模块
import pandas as pd
from databricks import koalas as ks
workbook_loc = "c:\\2020\Book1.xlsx"
df = pd.read_excel(workbook_loc, sheet_name='Sheet1')
kd
浏览 5提问于2020-06-12得票数 0
1回答
我正在尝试使用terraform在DataBricks工作区中自动化和配置DataBricks集群。 我们有预定义的库，需要在创建集群时安装，我们确实有大约20个库 variable"libraries"{
default = ["pypi","jar"]
}
variable"pythonpackages"{
default = ["conda","pymongo"]
}
variable"jarpackages"{
default = ["etc1",
浏览 30提问于2021-09-13得票数 0
回答已采纳
2回答
我在一些VM上运行了一个Databricks集群。我的组织有一个Hadoop集群，其中有一些我想要的数据。我没有访问Hadoop集群的权限，只有一个JDBC (我的所有权限都已经整理好了，它们只给了我一个URL)。
我可以在本地机器(Dbeaver)上打开数据库管理工具，并成功地查询Hive表。
但是，我很难使用Databricks和PySpark查询Hive表。似乎要为HiveContext设置连接字符串，我通常会将其写入hive-site.xml文件中。然而，Databricks没有给我这个选项。
我在Hive 2.1.1 & Databricks 6.4上(包括ApacheSpa
浏览 2提问于2020-04-16得票数 2
1回答
我正在尝试将数据从Oracle数据库获取到Databricks集群。但我觉得我做错了
在集群库上，我刚刚安装了ojdbc8.jar，然后打开了一个笔记本，并这样做来连接：
CREATE TABLE oracle_table
USING org.apache.spark.sql.jdbc
OPTIONS (
dbtable 'table_name',
driver 'oracle.jdbc.driver.OracleDriver',
user 'username',
password 'pasword',
url
浏览 5提问于2021-09-17得票数 0
我正在使用Azure (6.5运行时)，并试图将其连接到IDE。但是，为了在集群中启用AAD凭据传递，我们需要将以下属性设置为true
spark.databricks.passthrough.enabled true
spark.databricks.pyspark.enableProcessIsolation true
但这会导致databricks-connect测试因错误而失败。
Caused by: java.lang.IllegalArgumentException: requirement failed: Databricks Connect is not yet support
浏览 3提问于2020-10-12得票数 0
假设我们有几个人在以协作的方式处理Databricks集群。Spark Context和Spark Session在后台发生。 默认情况下，它们是否共享相同的Spark会话？
浏览 29提问于2021-11-15得票数 1
回答已采纳
在现有的azure databricks工作区中，有没有一种编程的方式来获取集群，作业，spark & scala运行时版本，安装的库，其他工件等的总数？
浏览 11提问于2021-08-26得票数 1
我的目标是从Azure数据库访问Azure Synapse Analytics。想到的第一件事是使用火花驱动程序com.databricks.spark.sqldw。但为此，数据库用户需要在数据库中使用db_owner，这是不合适的，因为用户可能会使用Synapse。我只希望用户使用他们自己的Active Directory帐户从Synapse读取数据。
然后，我的第二次尝试是尝试使用ODBC驱动程序(或JDBC)访问Synapse，就像我们通常在本地Python脚本中所做的那样。问题是我们的Databricks集群没有internet访问权限，所以我们不能像命令那样运行apt-get (为了
浏览 7提问于2022-09-12得票数 1
回答已采纳
我有一个Azure Databricks集群，它使用Databricks版本7.1 (Spark 3.0.0和Scala 2.12)运行集群。我正在尝试将Azure Databricks应用程序日志发送到Azure监视器，因此我遵循此documentation。 为此，我尝试构建spark-listeners-loganalytics-1.0-SNAPSHOT.jar JAR文件，如GitHub readme中所述。 要编译它，我需要编辑POM以创建一个Maven配置文件，其中包括我当前的Spark和Scala版本，因此我有以下配置文件： <profile>
浏览 11提问于2020-09-25得票数 1
回答已采纳
我想使用与spark Cluster关联的JDBC连接将Jmeter与Databricks (Spark Cluster)连接
我需要使用Jmeter的JDBC请求使用spark sql查询在apache spark集群上执行并发测试
需要帮助
浏览 1提问于2021-04-02得票数 1
我目前正试图在我们的HDInsight集群上运行一个Scala作业，它的外部库星星之火--avro没有成功。有人能帮我解决这个问题吗？目标是找到必要的步骤，以便能够读取驻留在HDInsight集群上Azure blob存储区上的avro文件。
当前规范：
Linux (HDI 3.5)集群型Spark 2.0
Scala 2.11.8
spark-assembly-2.0.0-hadoop2.7.0-SNAPSHOT.jar
火花-avro_2.11:3.2.0
使用的教程：
火花scala代码：
基于以下示例：
import com.databricks.spark.
浏览 1提问于2017-04-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
