DataBricks: spark数据框架的数据透视表
DataBricks是一个基于Spark数据框架的数据透视表工具。它提供了一种可视化的方式来分析和操纵大规模的数据集。
数据透视表是一种数据汇总和分析的方法，通过对数据进行聚合、分类和汇总，可以更好地理解和发现数据中的模式和趋势。数据透视表可以帮助用户快速生成报表、可视化数据、进行数据挖掘等。
DataBricks的优势在于它集成了Spark数据框架的强大功能，并提供了易于使用的用户界面。用户可以通过简单的拖放操作来选择要分析的数据字段，定义计算指标，以及生成数据透视表。同时，DataBricks还支持自定义计算和脚本，用户可以编写自己的代码来扩展和定制分析功能。
DataBricks适用于各种场景，包括商业分析、数据科学、机器学习等。它可以帮助用户在大规模数据集上进行高效的数据探索和分析，发现隐藏在数据中的有价值的信息。
对于腾讯云用户，推荐使用腾讯云的Spark集群服务来配合使用DataBricks。腾讯云的Spark集群服务提供了高性能的计算资源和分布式数据处理能力，可以为DataBricks提供强大的后台支持。
更多关于DataBricks的信息和产品介绍，可以访问腾讯云官方网站的DataBricks产品页面：DataBricks产品介绍。
相关·内容
简而言之，我正在尝试探索从Databricks工作区向C#/.NET应用程序提供数据以进行用户交互和即席查询的可能性。我花了一些时间来设置Databricks-Connect，就我可以从本地机器运行Databricks集群上的Python Spark作业而言，它似乎是有效的。 我还尝试遍历设置并执行来自.NET for Apache Spark的示例 我的问题是，我很难找到任何涉及这两者协同工作的文档、示例或演示。有没有可能在.NET中建立一个spark会话，允许针对databricks集群中的数据使用spark sql？Databricks-connect是否为此提供了合适的途径？ 最重要
浏览 32提问于2021-05-07得票数 1
回答已采纳
1回答
我想从databricks将数据插入到sql表中。我已经在databricks中建立了jdbc连接。我正在使用下面的查询，但是它给了我解析异常
%sql
query=insert into table company(name,location) values('abc','xyz')
df=spark.write.jdbc(url=url,table=query,properties=properties)
display(df)
注-url和属性已经在数据库中的SQL JDBC连接期间设置好了。
浏览 7提问于2022-10-12得票数 0
回答已采纳
1回答
我通过在Databricks中挂载并创建一个表(“使用增量”)来连接到Azure gen 2数据湖中的增量表。然后我在Power BI中使用Databricks连接器连接到它。 首先，我不清楚数据湖和Databricks中的Spark表之间的关系。Spark表在每次查询时都会从数据湖(增量湖)检索最新的快照，这是正确的吗？是否也不可能通过对Spark表的操作来影响数据湖中的更改？ 其次，减少Spark表中的列的最佳方法是什么(理想情况下，在将其读取到Power BI之前)？我尝试用指定的列子集创建Spark表，但得到了一个cannot change schema错误。相反，我可以创建另一个从
浏览 24提问于2021-08-12得票数 2
在Databricks中，表是使用模式json定义创建的。
用来创建表的架构json
{
"fields": [
{
"metadata": {},
"name": "username",
"nullable": true,
"type": "string"
},
{
"metadata": {},
"name": "department"
浏览 0提问于2021-10-17得票数 0
回答已采纳
1回答
将红移表保存到s3中作为拼花文件.这是从日期字段传来的。现在，我将尝试将列转换为long，并将其存储为unix时间戳。
Caused by: java.lang.NumberFormatException: multiple points
at sun.misc.FloatingDecimal.readJavaFormatString(FloatingDecimal.java:1110)
at java.lang.Double.parseDouble(Double.java:540)
at java.text.DigitList.getDouble(DigitList.java:168)
at
浏览 5提问于2015-11-05得票数 1
回答已采纳
我有一个如下的数据框架： val data = Seq(("James", "Sales", 34, "Developer"), ("Michael", "Sales", 56, "Architect"), ("Robert", "Sales", 30, "Manager"), ("Maria", "Finance", 24, "Consultant"))
val df1 = data.toDF(
浏览 19提问于2021-10-19得票数 1
回答已采纳
我有一个有像这样的数据的文件，我把这个文件转换成一个databricks表。
Select * from myTable
输出：
Product[key] Product[name]
123 Mobile
345 television
456 laptop
我想查询我的表中的笔记本电脑数据。
我正在使用下面的查询
Select * from myTable where Product[name]='laptop'
下面是databricks中的错误：
[spark_catalog.my_db.myTable.Productn
浏览 1提问于2022-05-18得票数 0
我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误
来自终端的错误
java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.STRING_REDACTION_PATTERN()Lorg/apache/spark/internal/config/ConfigEntry;
error: not found: value spark import spark.implicits._
error: not found: value
浏览 0提问于2019-07-22得票数 4
我想从Azure dataframe Gen2中加载一个数据文件，并将其写入我在Synapse中创建的一个专用数据库中。
我就是这样做的：
df = spark.read.format("delta").load(BronzePath)
df.write.format("com.databricks.spark.sqldw").option("url", jdbcUrl).save()
我有以下错误：
java.lang.ClassNotFoundException: Failed to find data source: com.databri
浏览 0提问于2021-10-26得票数 2
回答已采纳
我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。
所以我试着
spark-shell --package com.databricks:spark-avro_2.10:0.1.
这就产生了未解决的依赖关系。
import com.databricks.spark.avro._ is not supported.
也试过
spark-shell --jar spark-avro_2.11-3.2.0.jar
这不会打开外壳。
spark.read.format("com.databricks.spark.avro
浏览 1提问于2018-03-28得票数 3
回答已采纳
1回答
雪花表作为数据库中的外设表
、、、、
有没有人知道是否有可能在databricks蜂巢转移中将雪花表设置为外部表？
我正在做一个项目，在Azure databricks 2中有一些表，我们从databricks管理它们。为了能够从databricks查询表，需要将它们添加到databricks中的现有数据库中。语法如下：
CREATE TABLE IF NOT EXISTS <DATABASE>.<TABLE_NAME> USING DELTA LOCATION <PATH_TO_TABLE>
现在，我需要对我们在雪花中的一些桌子做同样的处理。我能够用火花连接器将表带到databricks。
s
浏览 7提问于2021-10-25得票数 2
回答已采纳
2回答
我在一些VM上运行了一个Databricks集群。我的组织有一个Hadoop集群，其中有一些我想要的数据。我没有访问Hadoop集群的权限，只有一个JDBC (我的所有权限都已经整理好了，它们只给了我一个URL)。
我可以在本地机器(Dbeaver)上打开数据库管理工具，并成功地查询Hive表。
但是，我很难使用Databricks和PySpark查询Hive表。似乎要为HiveContext设置连接字符串，我通常会将其写入hive-site.xml文件中。然而，Databricks没有给我这个选项。
我在Hive 2.1.1 & Databricks 6.4上(包括ApacheSpa
浏览 2提问于2020-04-16得票数 2
我有在databricks中运行的pyspark笔记本。我使用pyhive中的'hive.Connection‘连接到外部配置单元群集。我的数据存储在spark数据帧中。我的问题是，如何将来自dataframes的数据写入Hive中的新表，该表位于databricks以外的不同集群中？ 谢谢
浏览 11提问于2020-09-26得票数 0
我遵循这个将数据从Databricks写入到sql数据仓库。
datafram.write
.format("com.databricks.spark.sqldw")
.option("url", "jdbc:sqlserver.......)
.option("forwardSparkAzureStorageCredentials", "true")
.option("dbTable", "table")
.option("tempDir", "
浏览 6提问于2022-09-28得票数 0
回答已采纳
我们在Azure数据仓库中有一个包含170亿条记录的表。现在我们有了一个场景，我们必须根据某些where条件从这个表中删除记录。我们正在Azure Databricks notebooks中用Scala语言编写Spark。
我们在Spark中搜索了不同的选项，但都建议首先读取整个表，删除其中的记录，然后覆盖Data Warehosue中的整个表。然而，这种方法在我们的例子中不起作用，因为我们的表中有大量的记录。
你能建议我们如何使用spark/scala来实现这个功能吗？
1)检查是否可以通过azure databricks中的spark/scala代码调用存储过程，但Spark不支持存储过程
浏览 2提问于2019-07-31得票数 0
我正在尝试使用pyspark将一个数据帧追加到redshift表中。 我做错了什么？ 该表已经存在，并且已经包含一些数据。 myDf.write \
.format("com.databricks.spark.redshift") \
.option("url", JDBC_REDSHIFT) \
.option('forward_spark_s3_credentials', "true") \
.option("dbtable", MY_TABLE) \
.option("tempdir",&#
浏览 22提问于2019-01-16得票数 3
如何在可以从另一个笔记本中访问但在同一集群中的databricks中注册数据表？**我们试图使用spark.sql在databricks中注册表，但是我们无法在另一个笔记本中访问该表*
浏览 0提问于2019-11-15得票数 0
回答已采纳
2回答
使用Databricks笔记本，我可以从Databricks连接到“雪花”，并使用'scala‘将内容写入雪花中的表中，但使用'python’却无法工作。
我在Databricks中添加了两个库，这有助于在Databricks和雪花：snowflake-jdbc-3.6.8和spark-snowflake_2.11-2.4.4-spark_2.2之间建立连接。
我的目标是使用Databricks (用于机器学习-火花)，并在Databricks和雪花之间来回移动数据。
下面是代码，我试图将DataFrame的内容写到雪花中：
将数据加载到DataFrame
浏览 3提问于2018-08-16得票数 4
1回答
我有一组选项卡文件，我必须读取并保存在数据库中(Cassandra)。我可以加载所有在所有列中都有数据的表。但是一些表在某些列中有空值，而这些列没有被插入。
我试过下面的方法，
sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("delimiter", "/t").option("nullValue"," ").load(path)
而且还
sqlContext.rea
浏览 2提问于2016-12-29得票数 0
回答已采纳
我有一个要求，把数据从csv/熊猫数据写到databricks表。我的python代码可能不在databricks集群上运行。我可能在一个孤立的独立节点上运行。我使用databricks python连接器从databricks表中选择数据。选择是有效的。但我无法从csv或熊猫的数据加载到数据库。
我是否可以使用databricks python连接器将csv/pandas数据中的大量数据加载到databricks表中？
下面是用于获取databricks连接并使用databricks连接器在独立节点上执行选择的代码片段。
from databricks import sql
conn = s
浏览 5提问于2022-08-19得票数 0
1回答
如何将现有的增量表注册为单元
、、、、
我们使用spark以HDFS存储的delta格式读写数据(Databricks Delta表版本0.5.0)。
我们希望利用Hive的功能与delta表进行交互。
如何将现有数据从HDFS上的路径注册到Hive?
请注意，目前我们正在cloudera平台上运行spark (2.4.0) (CDH 6.3.3)
浏览 1提问于2021-10-27得票数 1
ADX是否支持以流式方式将数据发送到Databricks Spark集群--基本上Spark将从ADX中提取数据，而不是ADX导出数据？换句话说，我正在尝试理解ADX表是否可以作为spark streaming的源？有没有这方面的例子链接，我可以通过？
浏览 20提问于2021-10-20得票数 0
当我从synapse数据库中读取spark (使用azure databricks)中的表时，我遇到了一个问题。该表的定义如下： CREATE TABLE A
(
[ID] [int] NOT NULL,
[Value] [int] NOT NULL,
[Description] [nvarchar](30) NOT NULL,
) 字段Description可以为空(即"")，也可以包含空格。在synapse中，我对这个字段没有任何问题，当我使用spark将其放入数据帧中读取表格时也是如此。当我编写像df.show()或df.count()
浏览 59提问于2020-10-01得票数 0
1回答
我使用连接卡桑德拉。
下面是我使用的代码，
import org.apache.spark.sql.SQLContext
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import com.datastax.spark.connector._
val sqlContext = new SQLContext(sc)
val conf=new SparkConf(true)
.set("spark.cassandra.connection.host","127.0.0.1
浏览 3提问于2015-08-12得票数 0
回答已采纳
1回答
在Databricks SQL编辑器中，我试图得到表的几个'Bigint‘和'Double’数据类型列的之和。但是越来越少了。
Job aborted due to stage failure: Task 0 in stage 29.0 failed 4 times, most recent
failure: Lost task 0.3 in stage 29.0 (TID 2517) (10.128.2.66 executor 3):
org.apache.spark.SparkArithmeticException: [ARITHMETIC_OVERFLOW] long
浏览 22提问于2022-09-23得票数 1
Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。
浏览 31提问于2020-07-21得票数 1
回答已采纳
1回答
我想使用databricks将10万条记录插入到delta表中。我试图使用一个简单的for循环来插入数据，类似于-
revision_date = '01/04/2022'
for i in range( 0 , 100,000):
spark.sql(""" insert into db.delta_table_name values ( 'Class1' , '{revision_date}' + i """)
问题是，在databricks中使用insert语句插入数据需要非常长的时间
浏览 12提问于2022-05-04得票数 1
我用列数据类型- [Comments] [varchar](2000) NULL创建了Synapse表
当我使用Databricks火花代码写入Synapse时，我看到Synapse表列的数据类型更改为[Comments] [nvarchar](256) NULL。在Databricks dataframe上，数据类型为string。
数据库星火代码-
df.write \
.format("com.databricks.spark.sqldw") \
.option("url", "jdbc:sqlserver://<&
浏览 13提问于2022-07-18得票数 0
回答已采纳
1回答
从数据库到蓝色突触的连接
、、、
我刚开始使用云服务，我正在尝试在databricks和azure之间建立联系。我在databricks中有生成数据帧的笔记本，我想在synapse中填充一个专用的SQL池。
在查看了microsoft 建议的操作和步骤之后，我遇到了这个错误。
代码
df = spark.read \
.format("com.databricks.spark.sqldw") \
.option("url", <the-rest-of-the-connection-string>") \
.option("forwardSparkAzure
浏览 22提问于2022-07-05得票数 0
我目前在databricks中有一个附加表(spark 3，databricks 7.5)
parsedDf \
.select("somefield", "anotherField",'partition', 'offset') \
.write \
.format("delta") \
.mode("append") \
.option("mergeSchema", "true") \
浏览 2提问于2021-01-10得票数 2
回答已采纳
我试图从Databricks SQL引擎上的AWS Glue目录中查询delta表。它们以德尔塔湖的格式存储。我有胶爬虫自动模式。目录是设置的&使用非Delta表运行。通过databricks设置通过目录加载每个数据库的可用表&但是由于databricks使用的是单元而不是增量来读取，所以查询失败了。
Incompatible format detected.
A transaction log for Databricks Delta was found at `s3://COMPANY/club/attachment/_delta_log`,
but you are tr
浏览 30提问于2022-08-12得票数 1
当我从Databricks向Azure中的SQL DW写入数据时，我使用以下代码：
example1.write.format("com.databricks.spark.sqldw").option("url", sqlDwUrlSmall).option("dbtable", "SampleTable12").option("forward_spark_azure_storage_credentials","True") .option("tempdir", tempDir).m
浏览 30提问于2021-06-10得票数 1
回答已采纳
1回答
我想连接到一个数据库(注册商标)笔记本中的两个数据库表，使用spark和sparklyr：
sc_one <- spark_connect(method="databricks")
tbl_change_db(sc_one, "first_database_name")
first_var <- spark_read_table(sc,"first_table_name")
sc_two <- spark_connect(method="databricks")
tbl_change_db(sc_two, &
浏览 10提问于2022-11-15得票数 1
我有一个简单的星火作业，它将数据流到Delta表。这张表很小，没有分区。
创建了许多小的拼花文件。
按照文档()中的建议，我添加了一个压缩作业，每天运行一次。
val path = "..."
val numFiles = 16
spark.read
.format("delta")
.load(path)
.repartition(numFiles)
.write
.option("dataChange", "false")
.form
浏览 5提问于2021-08-12得票数 4
我开始使用spark，通常在从云中加载数据时，我会看到以下代码
my_sdf = spark.read.format("com.databricks.spark.csv").option("delimiter", ' ').load("s3n://myfolder/data/xyz.txt")
我的问题如下:这里我们似乎有两个数据集:一个是com.databricks.spark.csv，因为它是一个csv文件，对吗？另外一个数据集是xyz.txt，因为它是一个txt文件。那么在这个命令中，我要加载哪个数据集呢？我自己做了实验，似
浏览 0提问于2017-03-06得票数 0
1回答
我的流作业现在失败了，错误如下，流作业几乎工作了2个月，而且它是完全无状态的转换，只需要将新行追加到目标增量表中。在流式传输之前，我手动提供了csv文件的模式，甚至验证了流式作业模式和下游表模式都与数据类型完全匹配。
不确定，为什么即使在无状态转换中，我也会得到下面的错误。任何帮助都将不胜感激。
File "/databricks/spark/python/lib/py4j-0.10.9-src.zip/py4j/java_gateway.py", line 2442, in _call_proxy
return_value = getattr(self.pool[obj_id
浏览 2提问于2021-06-11得票数 1
1回答
我们的csv文件的格式是^A作为列分隔符，^B是行分隔符/记录分隔符。因此，我使用databricks So库以如下方式创建数据框架：
val dataFrame = cassSqlContext.read.format("com.databricks.spark.csv")
.option("header", "true").option("inferSchema", "true")
.option("delimiter", "\u0001").load(f
浏览 5提问于2017-03-12得票数 0
我有一个批处理作业，每天将数据插入到hive表中，并在blob位置创建多个较小的ORC文件，我将需要将所有小ORC文件合并为一个较大的ORC文件，以便读取性能会更好。 在这种情况下，我曾经安排下面的SQL查询每天在Azure HDInsight中发布我的批处理作业完成后运行。当我尝试在Azure Databricks notebook中安排相同的查询时，它引发了以下错误。为什么这在HDInsight中有效，而在Azure Databricks notebook中不起作用？有没有更好的方法可以做到这一点。 我的Azure Databricks运行时版本: 6.3 (包括Apache Spark
浏览 37提问于2020-07-07得票数 0
在使用SQL databricks时，我尝试从增量表创建一个新表，并添加一个新的空列。Databricks不能生成空列，如果我填充新生成的列，它可以正常工作。如何在现有增量表的基础上向新表中添加空列？ Does not work when NULL 当我填充该列时，它起作用了。 It Works when filled with 1 它返回以下错误： com.databricks.backend.common.rpc.DatabricksExceptions$SQLExecutionException: org.apache.spark.sql.catalyst.errors.packa
浏览 45提问于2021-10-21得票数 1
回答已采纳
我正在使用Azure Databricks笔记本并访问Azure plateform上提供的SQL Server。
我正在将Spark数据帧添加到表'TableName‘中。
以下是从Azure Databricks笔记本连接数据并将其保存到SQL Server DB中的示例代码：
val jdbc_url = sql-db-connection-string
val user = sql-db-username
val password = sql-db-password
val connectionProperties = new Properties()
connectionPr
浏览 4提问于2019-11-13得票数 0
嗨，我是Scala和Intellij的菜鸟，我只是想在Scala上这样做：
import org.apache.spark
import org.apache.spark.sql.SQLContext
import com.databricks.spark.xml.XmlReader
object SparkSample {
def main(args: Array[String]): Unit = {
val conf = new spark.SparkConf()
conf.setAppName("Datasets Test")
conf.s
浏览 11提问于2017-10-11得票数 2
回答已采纳
我已经在Azure虚拟机中安装了Cassandra DB，并希望通过Azure数据库执行读/写操作。我正在通过Databricks的非正式，这对我的配置没有帮助。
我将在下面分享我的代码和配置细节：
%sh
ping -c 2 vmname.westeurope.cloudapp.azure.com
收到的答复：
PING vmname.westeurope.cloudapp.azure.com (13.69.10.10): 56 data bytes
--- vmname.westeurope.cloudapp.azure.com ping statistics ---
2 packets
浏览 0提问于2020-01-09得票数 1
回答已采纳
2回答
下面是我编写的代码，用于连接到关系数据库管理系统，然后创建临时表，在该临时表上执行SQL query，通过databricks模块将SQL查询输出保存为.csv格式。
from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
from pyspark.sql import SQLContext, Row
sqlContext = SQLContext(sc)
from pyspark.sql import HiveContext
sqlContext = HiveConte
浏览 30提问于2017-12-22得票数 0
回答已采纳
4回答
运行时: Spark 2.3.0，Scala2.11 (Databricks 4.1ML beta)
import org.apache.spark.sql.streaming.Trigger
import scala.concurrent.duration._
//kafka settings and df definition goes here
val query = df.writeStream.format("parquet")
.option("path", ...)
.option("checkpointLocation",..
浏览 0提问于2018-06-20得票数 6
回答已采纳
1回答
这是一个简单的“如何”问题：：我们可以通过com.databricks.spark.csv将数据带到Spark环境中。我知道如何通过spark创建HBase表，并手动将数据写入HBase表。但是，这是否可能通过火花将文本/csv/jason文件直接加载到HBase？我看不见有人在谈论这件事。所以，只是检查一下。如果可能的话，请指导我到一个详细解释scala代码的好网站来完成它。
谢谢,
浏览 3提问于2017-04-06得票数 2
下面的代码是如何使用scala编写到HDFS中的。创建用于查询这些数据的Hive表的HQL语法是什么？
import com.databricks.spark.avro._
val path = "/user/myself/avrodata"
dataFrame.write.avro(path)
我发现的示例需要提供一个avro.schema.literal来描述模式，或者提供一个avro.schema.url来描述实际的avro模式。
在火花壳中，我需要做的就是：
scala> import com.databricks.spark.avro._
scala> v
浏览 2提问于2016-08-19得票数 1
我正在Databricks notebook上编写pyspark脚本来插入/更新/查询cassandra表，但是我找不到从表中删除行的方法，我尝试了spark sql： spark.sql("DELETE from users_by_email where email_address IN ('abc@test.com')") 我也不认为使用dataframe删除数据是可能的。有什么变通方法吗？
浏览 25提问于2019-12-17得票数 0
回答已采纳
我正在尝试将一个大小为2734984行x11列的pyspark转换为一个名为toPandas()的熊猫数据。使用时，它完全可以正常工作(11秒)，但当我使用databricks-connect运行完全相同的代码(db-connect版本和Databricks运行时版本匹配，两者都是7.1)时，我会遇到java.lang.OutOfMemoryError: Java heap space异常。
我已经增加了火花驱动程序内存(100克)和maxResultSize (15g)。我认为这个错误在databricks-connect中的某个地方，因为我不能使用笔记本复制它。
有什么暗示吗这里发生了什么
浏览 20提问于2020-12-09得票数 7
回答已采纳
我尝试加载动态XML文件并将数据转换为数据。我的XML示例
<?xml version="1.0"?>
<catalog>
<book id="bk104">
<title>Oberon</title>
<code>000010</code>
</book>
<book id="bk106">
<title>Lover</title>
<code>000030<
浏览 1提问于2017-09-24得票数 1
我正在尝试使用scala从Hive导出数据。但我会跟着错误走。
Caused by: java.lang.ClassNotFoundException:com.databricks.spark.csv.DefaultSource
我的scala脚本如下所示。
import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val df = sqlContext.sql("SELECT * FROM sparksdata")
df.write.format("com.dat
浏览 1提问于2017-08-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
