我正在尝试从Databricks获取spark日志，并检查发送到SNowflake的连接字符串。在什么路径上可以找到火花日志？我已经启用了这个跟踪选项，但是我是否需要为spark启用一些额外的日志记录： sfOptions = {
"sfURL" : "test.eu-central-1.snowflakecomputing.com
浏览 25提问于2021-10-27得票数 2
我有一个在Azure Databricks上运行的Spark群集。我有一个要在Azure Databricks Spark集群上运行的python/pyspark脚本。在这个脚本中，我想要将一些数据写入到AWS Redshift集群中，我计划使用psycopg2库来实现这一点。我在哪里可以找到Azure Databricks Spark群集的IP地址，以便我可以<
浏览 0提问于2020-12-29得票数 1
1回答
来自Java背景的我缺少了一个用于Python笔记本的全局日志框架/配置，比如log4j。
在log4j中，我将配置一个log4j配置文件，直接将日志发送到Analytics。我如何在Python笔记本的Databricks中做到这一点？我想称之为：log.warn("please take care...")
浏览 13提问于2022-11-11得票数 1
回答已采纳
1回答
Databricks仅在UI或API中提供集群级别日志。有没有办法在databricks中配置spark或log4j，这样我们就可以得到运行/作业级日志？
浏览 24提问于2020-07-15得票数 2
我想要在一个正在运行的Spark作业中获取集群链接(或手动组成链接的集群ID )。 这将用于打印警报消息中的链接，使工程师更容易访问日志。在Databricks中运行的Spark作业有可能实现这一点吗？
浏览 35提问于2021-06-30得票数 3
回答已采纳
当我创建一个带有一个驱动程序+两个工作进程的集群，每个进程都有一个GPU，并尝试在每个GPU上启动训练时，我会写道：hr = HorovodRunner(a)有没有办法让Horovod在分布式学习中包含驱动节点上的GPU？
(b)或者:是否有一种方法可以在Databricks中使用GPU工作者但非GPU驱动程序创建集群？
浏览 2提问于2020-01-10得票数 1
Spark streaming应用程序实时接收来自大量IoT设备的数据。但它们都是少量的数据。整体流程看起来像是-> Iot -> Kafka(1个主题/所有数据) ->火花流(过滤错误日志) -> DB(保存) ->警报屏幕 有没有使用spark或python进行实时日志分析的好方法？
浏览 13提问于2020-11-19得票数 0
回答已采纳
2回答
我在AWS上运行一个带有星火集群的EMR。proxy = sqlContext.read.load("/user/zeppelin/ProxyRaw.csv",
format="com.databricks.spark.csv：：java.lang.ClassNotFoundException:未能找到数据源: com.databricks.spark.csv。:77) <e
浏览 4提问于2016-11-03得票数 2
"Databricks sysout日志，其中按预期打印Pi值
....(This session will block until Rserve is shut down) Spark package found in SPARK_HOME: /databricks/spark尽管Spark_jar_task在日志中打印PI值，但作业以失败的状态终止了，而没有声明错误。下面是
浏览 3提问于2020-05-10得票数 2
我正在尝试阅读一个阿夫罗文件，在木星笔记本使用电火花。当我读取文件时，我得到了一个错误。这就是我所犯的错误AnalysisException：“未能
浏览 0提问于2019-06-16得票数 0
回答已采纳
我正在尝试在python笔记本中获取工作区名称。我们有办法做到吗？
我的工作空间名是databricks-test.，我想在python记事本中的变量中捕获这个。
浏览 19提问于2022-01-31得票数 1
回答已采纳
1回答
我们在ADLS Gen2上运行一个Delta湖，有大量的表和火花作业。星火作业在Databricks中运行，我们将ADLS容器安装到DBFS (abfss://delta@<our-adls-account>.dfs.core.windows.net/silver)中。这个设置已经稳定了几个月，但上周，我们看到存储帐户内的事务突然增加，特别是在ListFilesystemDir操作中：我们增加了一些较小的作业，在这个
浏览 4提问于2021-05-12得票数 3
1回答
我正在尝试将Apache日志( Spark的内容)保存到一个文件中，而不一定是stderr、stdout和log4j文件(尽管它们可能也很有用)，这样我就可以将其发送到其他人进行分析。下面是Apache文档中描述的手册：
问题是，我正在上运行代码。Databricks将日志保存在其他地方，您可以从web中显示它们，但不能导出它们。当我将spark.eventLog.dir设置为DBFS中的位置运行<
浏览 3提问于2022-11-29得票数 0
1回答
我正在尝试运行在上提供的简单示例，但是代码不会运行：val df = sqlContext.read .option("rowTag", "book").load("books.xml")
(从自述文件复制粘贴；books.
浏览 2提问于2017-07-24得票数 0
2回答
我试着运行第一行 .select(col("content"),col("label_index")) \但是我得到了这个错误
浏览 2提问于2020-12-10得票数 1
回答已采纳
我基于这个和创建了一个带有vnet的databricks组件。问题是，当我们试图启动一个工作区时，会收到一个错误。
如文档所示，这个问题可能是一个网络问题，但是ARM已经在其他蔚蓝的环境中被探索过，并且工作正常。
问题是创建一个工作区，但我们不知道为什么。是否有人知道在哪里可以找到有关工作区创建的任何日志，或者知道有关此
浏览 0提问于2019-06-07得票数 0
回答已采纳
1回答
我试图运行spark(1.6.0)应用程序，该应用程序使用com.databricks.spark.csv jar从eclipse加载纱线客户端模式下的csv文件。通过设置属性在SparkConf中。我的问题是，spark.hadoop.yarn.application.classpath的财产没有被列入任何星火官方文件。那么我在哪里可以找到</
浏览 1提问于2018-01-17得票数 1
回答已采纳
我有一个需要删除、删除事务日志和重新创建的表，但是当我试图删除时，我会得到以下错误。
我已经运行了修复表对此语句，并可能负责的错误，但不确定。IllegalStateException:事务日志未通过完整性检查。我们建议您与Databricks支持联系以获得帮助。若要禁用此检查，请将spark.databricks.delta.state.corruptionIsFatal设置为false。
浏览 1提问于2018-12-13得票数 2
我在穿越德尔塔湖的时候遇到了一个配置spark.databricks.delta.snapshotPartitions，但是我不太确定这是用来做什么的？在delta lake文档中也找不到这一点。在delta lake github中找到以下代码，但不确定此属性如何工作 buildConf("snapshotPartitions
浏览 18提问于2020-05-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
