通过PySpark直接从DWH处理数据是一种好方法吗？
PySpark是一种基于Python的Spark编程接口，它提供了强大的数据处理和分析能力。DWH（Data Warehouse）是一种用于存储和管理大规模数据的系统。结合PySpark和DWH可以实现高效的数据处理和分析。
使用PySpark直接从DWH处理数据可以是一种好方法，具体取决于以下几个因素：
- 数据规模：如果数据规模较大，DWH通常具备高性能和可扩展性，可以处理大规模数据。PySpark作为Spark的Python接口，可以利用Spark的分布式计算能力，实现并行处理和分析大规模数据。
- 数据处理需求：PySpark提供了丰富的数据处理和分析功能，包括数据清洗、转换、聚合、机器学习等。如果需要进行复杂的数据处理操作，PySpark可以提供灵活且高效的解决方案。
- 数据处理速度要求：PySpark利用Spark的内存计算和分布式计算能力，可以加速数据处理过程。如果对数据处理速度有较高要求，PySpark可以提供更快的计算速度。
- 数据安全性：DWH通常具备较高的数据安全性，可以提供访问控制、数据加密等功能。使用PySpark直接从DWH处理数据可以保持数据在安全的环境中进行处理和分析。
综上所述，通过PySpark直接从DWH处理数据可以是一种好方法，特别适用于大规模数据处理和复杂数据分析场景。腾讯云提供了云原生的Spark服务，可以与DWH结合使用，实现高效的数据处理和分析。您可以了解腾讯云的云原生Spark服务（https://cloud.tencent.com/product/emr）来进一步了解相关产品和服务。
相关·内容
我有两个DWH，我需要通过PySpark处理他们的数据，作业将在AWS EMR上执行。我想知道通过PySpark直接从DWH处理数据是可以的，还是让ETL从DWH到S3，然后运行将使用S3数据的Spark作业会更好。
浏览 39提问于2021-08-31得票数 0
1回答
DWH重放数据
、、
在每月增量加载的DWH中，我有任务创建进程，以便能够在DWH中随机加载月份。
在下一次加载之前，我可能有错误的维度属性。问题：
是一个月重新加载的好方法吗？如果是的话，有什么建议如何处理吗?在这种情况下，我更喜欢完全重
浏览 1提问于2021-08-26得票数 0
回答已采纳
我正在使用BigQuery进行数据仓库项目。我们正在加载从各种大型机系统导出的每日文件。大多数表都有唯一的键，我们可以使用这些键来创建类型2的历史记录，但是有些表，例如分类帐/位置表，可以有重复的行。这些文件每天都包含从源系统提取的全部数据。
我们目前能够在不知道主键的情况下维护大多数表的类型2历史记录，只要加载中的所有行都是唯一的，但是在不知道主键的情况下，我们对表有一个挑战。该项目中的一个人建议，处理它的方法是“比较重复项”，这意味着如果DWH</
浏览 3提问于2020-02-20得票数 0
回答已采纳
第一个数据仓库，如DWH，主要由直接来自核心公司应用程序的运行数据库的数据组成。它通过运行数据库的FTP转储每周更新一次，每次更新都包含大约2GB的数据。在5年的时间里，DWH已经增长到了相当大的+-300 to。
第二个数据仓库，如DWH，由来自各种API和其他数据源的各种数据组成。它通过API调用不断更新，其大小为+- 100 of。这两个<
浏览 0提问于2021-12-30得票数 0
回答已采纳
1回答
我知道注释不是通过反射API或其他方法在访问之外的编译后的直接程序中使用的。
注释是元数据的一种形式，它提供有关程序本身不属于程序的数据。注释对它们注释的代码的操作没有直接影响。但我的问题是，从JVM的角度来看，注释是否提高了应用程序执行方式的性能？还是说，在应用程序中维护映射/类型是一种干净而有纪律的方法呢？Spring/Hibernate<
浏览 0提问于2018-03-29得票数 6
回答已采纳
我试图使用PySpark将数据写入Redshift。当我创建会话时，我可以从Redshift和S3读取文件，这正是我想要的。然而，当我试图写回Redshift时，我犯了错误。你知道我应该在剧本里改什么吗？下面是我如何定义会话的方法： .builder \
.config("spark.jars.packages", "org.apache.hadoopspark.driver.extraJavaO
浏览 1提问于2021-02-13得票数 1
1回答
我是SSIS的新手，尝试使用SSIS复制当前的ELT进程(通过一组存储过程进行配置)。我已经配置了SSIS包以从CRM提取数据并导入DWH。问题是，我必须更新300+表并重新部署到DWH。
在SSIS中，还有哪些其他选项可供我使用，在<em
浏览 4提问于2022-01-13得票数 0
回答已采纳
我希望通过使用SparkSession方法来共享我正在处理的代码的整个getOrCreate()。当试图访问在gc中实例化的Context时，我遇到了一个错误目标是将SparkSession尝试了继承，在Context中直接调用RDSClient类没有效果。
UPDATE我想出了一个可行的解决方案，但仍然不知道是否有更好的方法来
浏览 12提问于2022-07-25得票数 0
是否有任何方法将数据从雪花卸载到csv格式，或者可以直接以csv格式存储在google云存储中？我们正在使用composer(气流) dags连接到雪花，并将数据从表中卸载到csv文件中，并将它们存储在google云存储中，然后再进一步迁移。从雪花表中查询数据并将其放入变量中。我想做的是：
将数据转换为csv文件(因为还没有运行代码)并将其迁移到GCS桶中，但似乎只有GCStoGCSoperator在
浏览 12提问于2022-10-10得票数 0
1回答
我正在尝试使用Pyspark中包含25亿条记录的Hive表。我假设表中有一些格式错误的或其他“坏”数据。我使用的是spark版本1.6.2和python版本2.6.6：from pyspark.sql import从Hive CLI访问整个表似乎工作得很好。我假设有一些Spark由于某种原因无法处理的记录。我想知道，在将Hive表作为pyspark datafra
浏览 1提问于2017-01-28得票数 1
3回答
我有一个大学作业要求建立一个产品库存管理的数据仓库，这可以帮助库存管理理解手头的价值，并利用历史数据可以预测何时带来新的库存。我一直在阅读，以找到最好的方法来做它使用立方体或数据集市。我的问题是，我是否必须首先创建一个数据仓库，并在此基础上构建Cube、Data，或者我可以直接将事务性数据提取到Cube/Data中。接下来，是否必须构建一个星型模式(或其他DW模式)来完成此任务，因为在阅读了多篇文章之后，我的理解是OLAP多
浏览 8提问于2017-04-18得票数 1
回答已采纳
我只需要一个关于使用Azure SQl DWH的数据库设计的意见 下面是当前的场景： 我们正在使用Azure SQL DWH构建DWH系统，该系统的源来自Timeseries DB，该数据库每15秒捕获一次传感器相关信息现在，我们让data-bricks集群每2分钟运行一次，它聚合这些数据并将其存储在我们的事实表中。对于所有的事实表，我都保留了索引类型:使用循环分布的聚集列存储索引 类似地，我们的维度表是从Service bus主题填
浏览 18提问于2019-03-25得票数 1
1回答
我正在为个人目的创建一个测试DWH。我读过关于星型、雪花和星座模式的概念，为了最初的目的，我将使用星型模式。当我们谈论维度时，我们谈论的是模式吗？例如，我可以创建模式时间，以及模式位置是否有两个维度？我认为我们实际上是在谈论单个表，而模式是划分DWH起源的一个很好的方法。假设我有两个从app到DW
浏览 2提问于2016-12-02得票数 0
回答已采纳
我最近发现了一个引用“”作为数据仓库模型的文章。我以前见过的模型是Inmon和Kimball。作者提到了由于需要连接而可能出现的性能问题。它看起来像是一个很好的模型，但我想知道它的问题。网上有什么经验报告吗？
浏览 1提问于2010-06-16得票数 3
回答已采纳
我正在使用Pyspark2.0通过读取csv来创建一个DataFrame对象，使用：我使用以下命令找到数据的类型type(data)pyspark.sql.dataframe.DataFramefrom
浏览 4提问于2016-09-08得票数 6
我是否可以使用主数据服务通过Excel外接程序导入数据，主要是测量(数字/值)寻找一种为用户提供即时反馈的将数据轻松输入到Server表的最佳方法。设置：我们有一个基于Server 2012的数据仓库。所有东西都是用MS (SSIS、SSAS、SSRS等)的工具设置的，部门通过Excel访问BI -多维数据集。：
source.Excel -> 1.-> dwh.Stage
浏览 8提问于2017-07-17得票数 3
回答已采纳
我计划通过Hadoop框架来满足以下需求。
剩下的40%可以通过另一个数据库获得。来自这三个来源的数据需要连接在一起，形成第四个数据集，我需要将其发送到两个系统--一个通过Webservice调用，另一个通过直接数据库导入。数据库的拉和推可以通过
浏览 2提问于2015-05-09得票数 1
我感兴趣的是雪花DWH和g-sheet之间的实时连接。我已经尝试过几种解决方案，但它们都没有正常工作。我目前拥有的最佳解决方案是在Heroku上使用Trevor应用程序，然后在那里编写查询。这种方法有一些缺点--其中之一是，即使您不打开g-工作表，Trevor也每10分钟或60分钟运行一次雪花查询。从数据的角度来看，我知道从DWH中的“模拟数据”到g-sheet的实时连接是不正确的，但是在我公司的现
浏览 7提问于2022-05-20得票数 0
1回答
通常，我处理这个问题的方式是让一个单例来处理所有的数据操作(从服务器获取/存储数据以及将数据保存在内存中)。然后，当我想要在表视图中显示这些数据时，例如，我会直接在数据源方法中访问这个单例。例如[MyApi sharedInstance arrayOfCustomObjects]；
所以基本上，每当应用程序的某个部分需要访问数据时，它都是通过访问单例来实
浏览 0提问于2013-03-29得票数 3
回答已采纳
2回答
我正在尝试从存储在本地磁盘上的SQLLite .db文件中加载表。在PySpark中有什么干净的方法可以做到这一点吗？
目前，我使用的是一个有效但不那么优雅的解决方案。首先，我通过sqlite3使用pandas读取表。一个令人担忧的问题是，在这个过程中，模式信息没有被传递(可能是问题，也可能不是问题)。我想知道是否有一种不使用Pandas的直接加载表的方法。a_pandas_df = pd.read
浏览 4提问于2016-08-17得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
