EMR:如何将Spark与Hive集成？
EMR（Elastic MapReduce）是亚马逊AWS提供的一项云计算服务，用于处理大规模数据集的分布式处理框架。EMR支持将Spark与Hive集成，以实现更强大的数据处理和分析能力。
要将Spark与Hive集成，可以按照以下步骤进行操作：
- 创建EMR集群：在AWS控制台上创建一个EMR集群，选择适当的实例类型和配置。确保选择的集群配置中包含Spark和Hive组件。
- 配置Hive Metastore：在EMR集群中，Hive Metastore是用于存储Hive元数据的关键组件。可以通过在集群创建过程中选择使用EMR默认的Hive Metastore，或者自定义配置一个外部的Hive Metastore。
- 启动Spark Shell：在EMR集群的主节点上，通过SSH登录到集群，并启动Spark Shell。Spark Shell是一个交互式的Spark环境，可以使用Scala或Python编写和执行Spark应用程序。
- 使用Hive表：在Spark Shell中，可以使用Hive表进行数据操作。首先，需要将Hive的相关配置文件加载到Spark Shell中，以便能够访问Hive Metastore。然后，可以使用Spark SQL语法来查询和操作Hive表。
- 使用Spark和Hive的集成功能：Spark提供了与Hive的集成功能，可以直接在Spark应用程序中使用Hive的特性和功能。例如，可以使用Spark的DataFrame API来读取和写入Hive表，使用Hive的UDF（用户自定义函数）来进行数据转换和处理。
总结起来，将Spark与Hive集成的步骤包括创建EMR集群、配置Hive Metastore、启动Spark Shell、使用Hive表和使用Spark和Hive的集成功能。通过这种集成，可以充分发挥Spark和Hive在大数据处理和分析方面的优势，实现更高效、更灵活的数据处理和分析任务。
腾讯云提供的与EMR类似的云计算服务是Tencent Cloud CVM（云服务器），Tencent Cloud COS（对象存储），Tencent Cloud VPC（虚拟私有云）等。您可以在腾讯云官方网站上找到更多关于这些产品的详细信息和使用指南。
相关·内容
已在AWS EMR中安装了jupyter。以下代码在非AWS Env中运行良好，但在AWS EMR jupyter中仅显示配置单元中的默认数据库。在Hive shell中，显示数据库我可以看到6个数据库，但在jupyter中，它只显示默认数据库。在非AWS集群中显示6。
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL Hive integration example") \
.enableHiveSuppor
浏览 0提问于2021-04-05得票数 0
1回答
我试图弄清楚如何将涉及Hive视图的用例从EMR迁移到AWS Glue。
在今天的EMR中，我有由S3中的Parquet支持的Hive外部表，我还有其他视图，比如create view hive_view as select col from external_table where col = x
然后在EMR上的Spark中，我可以发布像df = spark.sql("select * from hive_view")这样的语句来引用我的Hive视图。
我知道我可以使用Glue目录作为蜂巢转移的替代物，但我正在尝试将火花作业本身从EMR迁移到Glue。因此，在我的结束状态下
浏览 0提问于2019-01-29得票数 3
我在EMR上有Spark作业，并且EMR被配置为对Hive和Spark元数据使用Glue目录。 我创建了Hive外部表，它们出现在Glue目录中，我的Spark作业可以在Spark SQL中引用它们，比如spark.sql("select * from hive_table ...") 现在，当我尝试在Glue作业中运行相同的代码时，它失败了，并出现"table not found“错误。看起来Glue作业不像在EMR中运行Spark SQL那样使用Glue目录。 我可以通过使用Glue API并将数据帧注册为临时视图来解决此问题： create_dynamic_fr
浏览 29提问于2019-02-09得票数 1
1回答
在我的EMR模块中，我有一个部署在集群配置中的模板，其中包括变量emr_cluster_applications中指定的给定分类类型的所有集群配置需求，例如Spark、Hadoop、Hive。
视觉：
emr_cluster_applications = ["Spark", "Hadoop", "Hive"]
emr_cluster_configurations = file("./filepath/to/template.json")
但是，这个设置工作得很好，但是，我想知道是否可以根据emr_cluster_applicati
浏览 4提问于2022-04-26得票数 1
2回答
我正在尝试在Amazon EMR集群中提交一个简单的spark作业。我的集群有5个M4.2xlarge实例(1个主实例，4个从实例)，每个实例都有16个vCPU和32 of内存。
这是我的代码：
def main(args : Array[String]): Unit = {
val sparkConfig = new SparkConf()
.set("hive.exec.dynamic.partition", "true")
.set("hive.exec.dynamic.partition.mode", "nonstric
浏览 1提问于2017-08-31得票数 8
1回答
我必须使用pyspark在EMR实例上运行python脚本来查询dynamoDB。我可以通过查询pyspark上的dynamodb来做到这一点，它是通过在下面的command中包含jars来执行的。 `pyspark --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hive.jar,/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar` 我运行了下面的python3脚本，使用pyspark python模块查询数据。 import time
from pyspark import SparkContext, Spark
浏览 16提问于2019-02-08得票数 2
回答已采纳
3回答
我正在使用此链接在EMR(亚马逊上的弹性地图减少) 上安装星团
为了创建Spark集群，我运行以下命令，并且我的集群每次都会遇到引导失败。我无法解决这个问题，如果有人能在这里帮助我的话，那将是很好的。
aws emr create-cluster --name SparkCluster --ami-version 3.2 \
--instance-type m3.xlarge --instance-count 3 --ec2-attributes \
KeyName=MYKEY --applications Name=Hive --bootstrap-actions \
Path=s3://s
浏览 3提问于2015-05-11得票数 1
回答已采纳
1回答
当我运行火花作业时，我可以看到SSL密钥密码，keystorepassword在事件日志中的纯文本中可见。你能帮我把这些密码隐藏在日志里吗？
当我看到下面的内容时，似乎是为了隐藏它而对web进行修复。但我不确定我能不能在日志里修复它
你的帮助真的很感激!！
{“事件”：“SparkListenerLogStart”，“火花版本”：“2.1.1”}{“事件”：“SparkListenerBlockManagerAdded”，“块管理器ID”：{“执行者ID”：“驱动程序”，“主机”：“xx.xxx.xx.xxx”，“端口”：43556}，“最大内存”：434031820，“时间戳”：15127
浏览 5提问于2017-12-13得票数 3
2回答
我希望你能帮助我。我正在尝试使用datapipeline创建安装了hadoop和spark的EMR集群。问题是这个EMR是私有的，所以它不能访问互联网来下载任何东西。在流水线中，我指出了用于下载所有.jars和依赖项(包括TaskRunner.jar )的引导操作。
管道的EMRActivity将启动script.py
{
"name": "DefaultEmrActivity1",
"maximumRetries" : 0,
"runsOn": {
"ref":
浏览 21提问于2021-05-07得票数 2
在尝试从EMR木星笔记本连接RDS中的MySql数据库时，我发现了以下错误：
所用代码：
from pyspark.sql import SparkSession
hostname="hostname"
dbname = "mysql"
jdbcPort = 3306
username = "user"
password = "password"
jdbc_url = "jdbc:mysql://{0}:{1}/{2}?user={3}&password={4}".format(hostname,jdbcP
浏览 5提问于2020-04-23得票数 0
回答已采纳
我运行的是SPAR3.1.1和AWS emr-6.3.0集群，具有以下蜂巢/亚稳态配置：
spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog
spark.delta.logStore.class=org.apache.spark.sql.delta.storage.S3SingleDriverLogStore
spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension
hive.metastore.client.factory
浏览 3提问于2022-02-09得票数 2
回答已采纳
1回答
名称的HiveConf不存在
、、、、
我已经创建了一个EMR集群，并在spark配置中指定了以下内容：
hive.metastore.glue.role.arn: arn:aws:iam::omitted:role/EMR_DefaultRole
我可以确认这个值是在AWS中的EMR控制台中正确设置的：
在我的作业运行逻辑中，我执行
spark.sql("show databases").show()
这将导致以下日志：
22/10/22 01:18:18 WARN HiveConf: HiveConf of name hive.metastore.glue.role.arn does not exist
2
浏览 12提问于2022-10-22得票数 0
回答已采纳
2回答
我正在学习Spark基础知识，为了测试我的Pyspark应用程序，我在AWS上创建了一个使用Spark、Yarn、Hadoop和Oozie的EMR实例。我成功地使用spark-submit从驱动程序节点执行了一个简单的pyspark应用程序。我有使用Yarn Resource Manager的AWS创建的默认/etc/spark/conf/spark-default.conf文件。一切都运行得很好，我还可以监控跟踪URL。但我无法区分spark作业是在“客户端”模式下运行还是在“集群”模式下运行。我该如何确定呢？
摘录自/etc/spark/conf/spark-default.conf
sp
浏览 0提问于2020-01-27得票数 0
我在EMR步骤中执行一个spark-submit脚本，它将我的超级JAR作为主类，如下所示
spark-submit \
....
--class ${MY_CLASS} "${SUPER_JAR_S3_PATH}"
..。等
但是Spark默认加载JAR文件:/usr/lib/spark/jars/Guice-3.0.jar，其中包含com.google.inject.internal.InjectorImpl，这个类也在我的超级jar中的Guice-4.x jar中。这会在我的服务启动时产生一个java.lang.IllegalAccessError。
浏览 0提问于2019-05-22得票数 1
我正在尝试使用Lambda函数使用星火步骤来旋转EMR集群。
下面是我的lambda函数(python2.7)：
import boto3
def lambda_handler(event, context):
conn = boto3.client("emr")
cluster_id = conn.run_job_flow(
Name='LSR Batch Testrun',
ServiceRole='EMR_DefaultRole',
JobFlowRole=&
浏览 3提问于2018-07-27得票数 3
回答已采纳
我正在尝试在CloudFormation模板的帮助下，使用Hadoop、livy、Spark、ZooKeeper和Hive等应用程序创建EMR-5.30.1集群。但这个模板的问题是，我只能使用上面的应用程序列表中的一个应用程序来集群。 下面是CloudFormation模板 {
"AWSTemplateFormatVersion": "2010-09-09",
"Description": "Best Practice EMR Cluster for Spark or S3 backed Hbase",
"P
浏览 65提问于2020-09-10得票数 1
我已经在EMR 4.4.0上部署了Spark 1.6，我正在连接到在EC2上部署的datastax cassandra 2.2.5。
该连接使用spark-connector 1.4.2_s2.10将数据保存到cassandra中(因为它有guava14)，但是使用1.4.2版本的connector从cassandra读取数据失败。
正确的组合建议使用1.5.x，因此我开始使用1.5.0。首先，我遇到了芭乐问题，并使用userClasspathFirst解决方案解决了它。
spark-shell --conf spark.yarn.executor.memoryOverhead=2048
-
浏览 0提问于2016-03-29得票数 4
我在AWS EMR上运行Spark2.2和Scala (齐柏林/火花壳)。
我试图计算非常简单的计算:加载、过滤、缓存和计算一个大数据集。我的数据包含4,500 GB (4.8TB) ORC格式，包含51,317,951,565 (510亿)行。
首先，我用以下集群尝试了这个过程：
1个主节点-m4.xsize-4 cpu，16 gb内存
150个核心节点-r3.xsize-4 cpu，29 gb Mem
150个任务节点-r3.xsize-4 cpu，29 gb Mem
但OutOfMemoryError失败了。
当我查看Spark和Ganglia时，我发现应用程序加载了80%以上的
浏览 2提问于2017-11-29得票数 6
2回答
EMR引导失败
、、、
我正尝试在AWS EMR中运行以下引导程序脚本，但它失败了，没有提供错误消息。我已经为应用程序设置了EMR集群: Spark、Hive、Ganglia和Livy。
!/bin/bash
sudo pip-3.6安装-U \ matplotlib \ pandas \ spark-nlp
我使用的是EMR版本6。之前我们只使用"pip“而不是"pip- 3.6”，但它仍然出错，因此我们决定尝试使用"pip-3.6“，因为我们假设EMR 6有python 3.6。
请让我知道这可能有什么问题。
谢谢!
浏览 12提问于2020-05-21得票数 0
2回答
我有一个问题，读取分区的地板文件产生的星火在蜂巢。我能够在hive中创建外部表，但是当我尝试选择几行时，hive只返回一条没有行的"OK“消息。
我能够正确读取星火中的分区拼花文件，所以我假设它们是正确生成的。在没有分区的情况下，我还可以在hive中创建外部表时读取这些文件。
有人有什么建议吗？
我的环境是：
组群EMR 4.1.0
蜂箱1.0.0
火花1.5.0
色调3.7.1
拼花文件存储在一个(s3://staging-dev/test/ttfourfieldspart2/year=2013/month=11)桶S3中。
我的Spark文件具有以下pa
浏览 1提问于2015-11-05得票数 11
回答已采纳
我正在尝试一个简单的用例，将其插入到S3上的单元格分区表中。我正在齐柏林飞艇笔记本上运行我的代码，下面是我的代码以及命令输出的截图。我检查了hive表和dataframe的模式，列名没有大小写差异。我得到了下面提到的例外。
import org.apache.spark.sql.hive.HiveContext
import sqlContext.implicits._
System.setProperty("hive.metastore.uris","thrift://datalake-hive-server2.com:9083")
val hiveCont
浏览 2提问于2020-10-07得票数 2
回答已采纳
1回答
我已经设置了一个AWS EMR集群，其中包括spark 2.3.2、hive 2.3.3和hbase 1.4.7。如何配置spark来访问蜂巢表？
我已经执行了以下步骤，但是结果是错误消息：
java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning当使用类路径创建Hive客户端时：
请确保您的hive和hadoop版本的jars包含在传递给spark.sql.hive.metastore.jars的路径中。
步骤：
cp /us
浏览 2提问于2019-05-02得票数 0
我正在为运行在EMR集群上的thriftserver上的SparkSQL设置自定义身份验证。
我得到了NoSuchMethodException。
例外：
15/09/25 01:59:29 ERROR server.TThreadPoolServer: Error occurred during processing of message.
java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hive.service.auth.PasswdAuthenticationProvider.<init
浏览 2提问于2015-09-25得票数 0
1回答
火花作为执行引擎与蜂巢
、、、、
spark 2.4.2是否可以作为一个在Amazon上使用Hive2.3.4的执行引擎？
我已经通过以下命令将jar文件与hive (scala-库、火花-核心、火花-公共网络)链接起来：
cd $HIVE_HOME/lib
ln -s $SPARK_HOME/jars/spark-network-common_2.11-2.4.2.jar
ln -s $SPARK_HOME/jars/spark-core_2.11-2.4.2.jar
ln -s $SPARK_HOME/jars/scala-library-2.11.12.jar
在hive-site.xml中添加了以下设置：
<pr
浏览 2提问于2019-07-01得票数 1
1回答
我正在尝试编写一个模板来使用cloudformation创建一个EMR集群。
到目前为止我想出了这个
AWSTemplateFormatVersion: 2010-09-09
Parameters:
SubnetId:
Type: "String"
Default: "subnet-0caca76de8cc43e70"
ClusterName:
Type: "String"
Default: "Example_Three_Node_Cluster"
EmrRelease:
Ty
浏览 0提问于2021-11-02得票数 0
回答已采纳
1回答
我在AWS EMR集群上运行spark 2.1.0 (基于以下-)
我尝试查询一个存在于远程配置单元中且其中包含数据的表。Spark正确干扰了架构，但表内容为空。有什么想法吗？
import os
import findspark
findspark.init('/usr/lib/spark/')
# Spark related imports
from pyspark.sql import SparkSession
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
spark = Spar
浏览 6提问于2017-04-24得票数 1
我正在尝试使用AWS CLI创建一个EMR集群，以运行python脚本(使用pyspark)，如下所示：
aws emr create-cluster --name "emr cluster for pyspark (test)"\
--applications Name=Spark Name=Hadoop --release-label emr-5.25.0 --use-default-roles \
--ec2-attributes KeyName=my-key --instance-groups \
InstanceGroupType=MASTER,Instance
浏览 0提问于2020-08-02得票数 2
1回答
我已经在EMR上运行了spark，并且我一直在尝试使用JDBC hive驱动程序从SQLWorkbench连接到spark-SQL，但都是徒劳的。我已经在EMR上启动了thrift服务器，并且能够从Tableau/SQL Workbench连接到端口10000(默认)上的Hive。当我试图运行一个查询时，它会触发一个Tez/Hive作业。但是，我想使用Spark运行查询。在电子病历框中，我可以使用beeline连接到SparkSQL，并将查询作为spark作业运行。资源管理器显示，beeline查询正在作为spark作业运行，而通过SQLWorkbench运行的查询正在运行hive/Tez作业
浏览 1提问于2016-11-19得票数 1
我在Amazon EMR上启动了我的基于spark的hiveserver2，它有一个额外的类路径依赖。由于Amazon EMR中的此错误：
我的类路径不能通过"--driver-class-path“选项提交
所以我必须修改/etc/spark/conf/spark-env.conf来添加额外的类路径：
# Add Hadoop libraries to Spark classpath
SPARK_CLASSPATH="${SPARK_CLASSPATH}:${HADOOP_HOME}/*:${HADOOP_HOME}/../hadoop-hdfs/*:${HADOOP_HO
浏览 0提问于2015-09-30得票数 2
1回答
我已经安装和设置了和集成。通过使用spark-shell / pyspark，我还遵循并实现了创建Hive表，加载数据，然后正确选择。
然后转到下一步，设置。通过使用hive / beeline，我还可以创建Hive表，加载数据，然后进行适当的选择。蜂箱在纱线/火花上正确地执行。我怎么知道它起作用了？hive外壳显示以下内容：
hive> select sum(col1) from test_table;
....
Query Hive on Spark job[0] stages: [0, 1]
Spark job[0] status = RUNNING
---------------
浏览 0提问于2020-02-23得票数 0
回答已采纳
我的shell脚本尝试在Amazon EMR中运行java，当非root用户执行该脚本时，总是触发以下错误：
/usr/lib/spark/sbin/spark-daemon.sh: line 153: /var/log/spark/spark-hadoop-org.apache.spark.sql.hive.thriftserver.SecureHiveThriftServer2-1-ip-172-31-19-53.out: Permission denied
failed to launch org.apache.spark.sql.hive.thriftserver.SecureHive
浏览 1提问于2015-10-07得票数 1
1回答
在下面的代码中，我试图从spark启动一个蜂巢节约服务器：
val conf = new SparkConf().setAppName("HiveDemo")
val sc = new SparkContext(conf)
val sql = new HiveContext(sc)
sql.setConf("hive.server2.thrift.port", "10001")
val df = sql.read.parquet("s3n://...")
df.registerTempTable("test"
浏览 3提问于2016-06-03得票数 4
回答已采纳
我将从Python 迁移到Spark。
我在S3上有一个Python脚本，
如何使用创建一个带有aws emr create-cluster的集群来作为步骤运行这个aws emr create-cluster脚本，就像我对Pig或Hive所做的那样？
浏览 0提问于2015-11-17得票数 0
我有一个可以在本地运行的Spark应用程序。我拥有的依赖项是：
dependencies {
implementation "org.scala-lang:scala-library:${scalaVersion}"
implementation "org.apache.spark:spark-sql_2.12:${sparkVersion}"
implementation "org.apache.spark:spark-launcher_2.12:${sparkVersion}"
implementation
浏览 2提问于2021-07-13得票数 5
1回答
使用EMR集群，我创建了一个映射到DynamoDB表的外部Hive表(超过8亿行)。它工作得很好，我可以通过hive进行查询和插入。
如果我在配置单元中尝试使用hash_key的条件进行查询，我会在几秒钟内得到结果。但是使用SparkSQL和enableHiveSupport (访问蜂窝)通过spark-submit执行相同的查询时，finish.It似乎并没有从Spark对表进行全面扫描。
我尝试了几种配置(例如不同的hive-site.xml )，但在Spark上似乎不能很好地工作。我该怎么通过Spark来做呢？有什么建议吗？
谢谢
浏览 17提问于2018-01-25得票数 0
我在一个docker容器上运行了一个spring引导java应用程序，它试图运行一个shell脚本。shell脚本有一个ssh命令，我在运行它时得到以下错误
2020-08-12 09:22:29.425 INFO 1 --- [io-11013-exec-1] b.n.i.s.d.e.service.EmrManagerService : Executing spark submit, calling shell script: /tmp/temp843155675494688636.sh 172.29.199.15
2020-08-12 09:22:29.434 D
浏览 4提问于2020-08-12得票数 1
回答已采纳
我想在spark.sql中使用GlueMetaStore。
为此，我配置了EMR-Cluster (5.16)，并设置了以下配置：
{
"Classification":"hive-site",
"ConfigurationProperties":
{
"hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
浏览 1提问于2018-09-11得票数 0
我们确实遇到了表查找的问题。我们需要同时从hive和spark (使用thrift服务器)访问表格。然而，我们的问题是在spark上运行spark和thrift服务器导致一个表的查找。
我们在Amazon AWS EMR集群上运行，其中包含Hive、Spark和thrift Server2。
我们希望使用hive更新s3存储，并定期在后台将这些聚合数据加载到spark中。同时，Spark总是加载了thrift服务器，并从s3加载了相同的数据，以便对这些数据进行实时聚合。Spark不需要对此数据的写访问权限。
问题是在hive上运行周期性的所有数据加载任务会导致作业冻结。
我们认为元存储可能被s
浏览 2提问于2015-12-22得票数 0
我的lambda功能是旋转一个瞬变的EMR。我得到的错误如下：
"errorMessage": "An error occurred (AccessDeniedException) when calling the RunJobFlow operation: User: arn:aws:sts::111111111115:assumed-role/lambda-eks-role/transient_job is not authorized to perform: elasticmapreduce:RunJobFlow on resource: arn:aws:elas
浏览 10提问于2022-07-22得票数 0
如何强制spark sql从子目录中以递归方式获取以parquet格式存储的数据？在Hive中，我可以通过设置一些Hive配置来实现这一点。
set hive.input.dir.recursive=true;
set hive.mapred.supports.subdirectories=true;
set hive.supports.subdirectories=true;
set mapred.input.dir.recursive=true;
我试图通过spark sql查询来设置这些配置，但是与hive相比，我总是得到0条记录，这让我得到了预期的结果。我还将这些conf放在hive-
浏览 28提问于2017-02-15得票数 3
回答已采纳
我有一个EMR和打算做CRUD操作发电机DB作为我的减速机的一部分。
注意，我是，不使用Hive或Spark，也不使用Apache。有关于如何从我的EMR连接到Dynamo DB的文档吗？
浏览 0提问于2018-04-02得票数 0
回答已采纳
在尝试运行使用使用FAT JARs (共享一些公共submodules)构建的sbt assembly的代码时，我遇到了一个令人讨厌的java.lang.NoSuchMethodError
JAR是建立在EMR本身上的(而不是从其他环境上传的)，所以库/ Spark / Scala等中的版本冲突是不可能的。
我的EMR环境：
发布标签：emr-5.11.0
Hadoop发行版：Amazon2.7.3
应用：Spark2.2.1，齐柏林飞艇0.7.3，Ganglia 3.7.2，Hive2.3.2，Livy 0.4.0，Sqoop1.4.6，Presto 0.187
浏览 0提问于2018-01-18得票数 0
1回答
星星之交与蜂巢壳中的查询性能
、、、、
我很难调试为什么一个对hive外部表的简单查询(dynamodb支持的)通过submit向北运行10分钟，并且只需要4秒钟。
引用Dynamodb表的单元外部表--如Employeeid、name、ssn、dept。id是分区键，ssn是范围键。
使用aws emr 5.29，火花，蜂箱，tez，hadoop。1位大师，4核心，m5.l
在蜂巢中：select name, dept, ssn from employee here id='123/ABC/X12I'在4秒内返回结果。
现在，假设我在code.py中有以下代码(忽略导入)
spark = SparkSession.
浏览 2提问于2020-02-27得票数 1
回答已采纳
1回答
我想知道从Spark读/写dynamodb最好的方法是什么。
我尝试过使用dynamodb的官方API，还有emr连接器(hadoop和hive)等。
但我发现(在其他问题中)，要执行查询需要完整扫描，而这对于大表是无效的。
有什么建议吗？
浏览 28提问于2018-01-24得票数 1
1回答
从S3读取到Spark时过滤数据
、、、、
我们正在迁移到AWS EMR/S3，并使用R进行分析(sparklyr库)。我们在S3中有500 in的销售数据，其中包含多个产品的记录。我们想要分析几个产品的数据，并且只想将文件的子集读取到EMR中。
到目前为止，我的理解是spark_read_csv会获取所有的数据。在R/Python/Hive中有没有一种方法只读取我们感兴趣的产品的数据？
浏览 25提问于2018-05-31得票数 1
回答已采纳
我已经安装了一个启用了数据目录的EMR集群
当我使用齐柏林飞艇时，我可以访问数据目录，但是我提交的作业/步骤如下：
aws emr add-steps --cluster-id j-XXXXXX --steps "Type=spark,Name=Test,Args=[--deploy-mode,cluster,--master,yarn,--conf,spark.yarn.submit.waitAppCompletion=false,--num-executors,2,--executor-cores,2,--executor-memory,8g,s3://XXXXXX/em
浏览 0提问于2019-05-24得票数 3
回答已采纳
3回答
我试图使用spark.sql()或sqlContext.sql()方法在公共数据集中运行SQL查询(在这里，火花是我们启动EMR时可用的SparkSession对象的变量)，该数据集使用安装了Hadoop、spark和Livy的EMR笔记本。但是，在运行任何基本SQL查询时，我将面临以下错误：
AnalysisException: u'java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMet
浏览 0提问于2019-09-04得票数 5
1回答
我正在尝试将当前的EMR从5.30.0升级到6.6.0，甚至5.35.0，以运行我的python批处理脚本。每当我运行python文件时，即使它是纯文本打印语句，也会在5.35到6.6.0之间的任何版本的EMR上得到以下错误。有人对这个问题有什么建议或想法吗？
Traceback (most recent call last):
File "/mnt1/yarn/usercache/hadoop/appcache/application_11111111_0001/container_16111111110_0001_02_000001/pyspark.zip/pyspark
浏览 18提问于2022-07-06得票数 1
回答已采纳
自从我升级到EMR 5.13之后，我就在Spark & YARN UI上看到了奇怪的度量标准。
在这种情况下：
YARN显示这一过程已经完成
Ganglia显示，自上次(第118次)作业完成以来，集群一直处于空闲状态。
Spark用户界面还告诉我，我的118个任务已经完成
即使如此，Executor**s UI仍然报告说，所有的Spark在完成最后一项工作后都是活的**，很长(编写时超过1小时)。
这可能是UI故障，还是发生了其他事情？
框架/平台：
EMR 5.13
Spark 2.3.0
Hive 2.3.2
Hado
浏览 0提问于2018-04-16得票数 0
回答已采纳
我们的设置配置为在亚马逊网络服务上有一个默认的数据湖，使用S3作为存储，并将Glue Catalog作为我们的metastore。 我们开始使用Apache Hudi，我们可以在de AWS documentation之后让它工作。问题是，当使用文档中指出的配置和JAR时，我们无法在Glue元存储上运行spark.sql。 下面是一些信息。 我们使用boto3创建群集 emr.run_job_flow(
Name='hudi_debugging',
LogUri='s3n://mybucket/elasticmapreduce/',
R
浏览 101提问于2021-04-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
