腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
来自本地文件系统的输入是在每个节点上还是仅在驱动程序节点上?
来自本地文件系统的输入在每个节点上。
相关搜索:
我可以在主节点上查看每个节点的分片表吗?
Ignite自定义SQL函数是在服务器节点上执行还是在客户机节点上执行?
我可以在每个节点上添加不同的itemStyle,以便每个节点在雷达echart上具有不同的颜色吗?
这些SQL索引是必需的,还是多余的:仅在A上,在A+B上?
在1.17.2上,每个新节点的InternalIP都等于ExternalIP
无法访问在本地节点服务器上创建的API
在每个节点上悬停时带有工具提示的Highchart网络图
用于告知Colab是在本地还是在别处的机器上执行代码的符号
我们可以在GKE上的不同节点池上调度spark驱动程序和executer吗?
每个Spyder ipython控制台是在不同的内核/处理器上运行,还是在相同的内核/处理器上运行?
为什么我的UDF (在"cluster“模式下)是在本地(在驱动程序中)而不是在worker(s)上执行的?
在来自两个不同子网的节点上生成的kubernetes集群中,Pod无法相互ping通
Robocopy $lastexitcode/$?不一致的行为取决于目标路径是在本地还是在服务器上
为什么CSS文件不能产生相同的结果,这取决于它们是存储在web上还是本地?
如何将我的反应本机应用程序连接到在端口8200上运行的本地节点js服务器?
为什么我的react应用程序,它有一个节点和mysql后端,在本地工作,而不是在Heroku上?
如何在不向节点js中的参数传递的情况下,在公共函数的每个路由上注入唯一键
有没有办法在使用socketIO的多玩家HTML5 canvas游戏上显示来自节点/快速服务器的私人信息?
新手OCMOD问题-使用'add‘是在搜索字符串的每个实例上都进行更改,还是只在一个实例上进行更改?
为什么我的网页在应用CSS样式之前呈现原始html -无论是通过Visual Studio Code和Firefox本地还是托管在github上?
相关搜索:
我可以在主节点上查看每个节点的分片表吗?
Ignite自定义SQL函数是在服务器节点上执行还是在客户机节点上执行?
我可以在每个节点上添加不同的itemStyle,以便每个节点在雷达echart上具有不同的颜色吗?
这些SQL索引是必需的,还是多余的:仅在A上,在A+B上?
在1.17.2上,每个新节点的InternalIP都等于ExternalIP
无法访问在本地节点服务器上创建的API
在每个节点上悬停时带有工具提示的Highchart网络图
用于告知Colab是在本地还是在别处的机器上执行代码的符号
我们可以在GKE上的不同节点池上调度spark驱动程序和executer吗?
每个Spyder ipython控制台是在不同的内核/处理器上运行,还是在相同的内核/处理器上运行?
为什么我的UDF (在"cluster“模式下)是在本地(在驱动程序中)而不是在worker(s)上执行的?
在来自两个不同子网的节点上生成的kubernetes集群中,Pod无法相互ping通
Robocopy $lastexitcode/$?不一致的行为取决于目标路径是在本地还是在服务器上
为什么CSS文件不能产生相同的结果,这取决于它们是存储在web上还是本地?
如何将我的反应本机应用程序连接到在端口8200上运行的本地节点js服务器?
为什么我的react应用程序,它有一个节点和mysql后端,在本地工作,而不是在Heroku上?
如何在不向节点js中的参数传递的情况下,在公共函数的每个路由上注入唯一键
有没有办法在使用socketIO的多玩家HTML5 canvas游戏上显示来自节点/快速服务器的私人信息?
新手OCMOD问题-使用'add‘是在搜索字符串的每个实例上都进行更改,还是只在一个实例上进行更改?
为什么我的网页在应用CSS样式之前呈现原始html -无论是通过Visual Studio Code和Firefox本地还是托管在github上?
页面内容是否对你有帮助?
有帮助
没帮助
相关·
内容
文章
问答
(9999+)
视频
沙龙
0
回答
来自
本地
文件系统
的
输入
是
在
每个
节点
上
还是
仅在
驱动程序
节点
上
?
、
Hadoop接受
本地
文件系统
的
输入
,但是我找不到明确
的
指示,
输入
是
来自
所有
节点
的
本地
文件系统
,
还是
只
来自
驱动
节点
的
本地
文件系统
?
在
Hadoop流中,-input选项似乎意味着
来自
具有给定文件名
的
所有
节点
<
浏览 6
提问于2016-06-30
得票数 0
1
回答
从
本地
计算机提交到remore群集
的
Spark作业看不到远程服务器
上
的
数据
我正在尝试将spark作业从
本地
运行在windows7机器
上
的
eclipse提交到远程集群,但在寻找集群
节点
上
数据
的
输入
路径时遇到了问题。
上
运行此代码。然后我将spark集群所有
节点
上
存在
的
数据
的
路径设置如下
浏览 2
提问于2016-02-26
得票数 1
6
回答
星星之火:如何在
本地
文件系统
中使用SparkContext.textFile
我刚刚开始使用Apache (
在
Scala中,但语言
是
不相关
的
)。我使用
的
是
独立模式,我希望处理
来自
本地
文件系统
的
文本文件(所以没有像HDFS那样
的
分布式文件)。根据
来自
textFile
的
SparkContext方法
的
文档,它将 从HDFS、
本地
文件系统
(可在所有
节点
上
使用)或任何Hadoo
浏览 2
提问于2014-07-14
得票数 14
回答已采纳
1
回答
你能从火花作业直接读写硬盘吗?
、
是否需要将火花作业
的
输出写入hdfs并从中下载。或者可以直接写入
本地
文件系统
。
浏览 3
提问于2017-10-17
得票数 1
回答已采纳
1
回答
在
客户端模式下运行应用程序时触发读取
本地
文件
的
位置
我正在部署一个spark 独立
的
集群。172.16.133.15
是
一个由两名工人组成
的
主机群,全部
在
一台机器中,部署
在
ubuntu14.10中。我
的
问题
是
: 1)
在
客户端模式(
在
windows机器中)运行应用程序时,在哪里加载文件?因此,我
在
172.16.133.15中使用samba构建了一个cifs目录,并上传directory "/usr/local/test/1
浏览 1
提问于2018-07-05
得票数 0
回答已采纳
2
回答
在
AWS
上
使用Apache-Spark加载数据
、
、
、
、
我正在使用亚马逊网络服务(AWS)-EC2
上
的
Apache-Spark来加载和处理数据。我已经创建了一个主
节点
和两个从
节点
。
在
主
节点
上
,我有一个目录data,其中包含要处理
的
所有csv格式
的
数据文件。 现在,
在
提交
驱动程序
(这是我
的
python代码)运行之前,我们需要将数据目录data从主
节点
复制到所有从
节点
。据我所知,我认为这是因为
每个
浏览 1
提问于2015-07-23
得票数 0
1
回答
当星火从
文件系统
读取时,它会被送到
驱动程序
吗?
、
、
我想知道当星火吞食数据时,数据是否被
输入
到
驱动程序
中并发送给工作人员,由Spark指示
节点
从
文件系统
读取数据?案例1 A.1 -
驱动程序
是
读取文件并将数据传输给正在运行
的
工
浏览 0
提问于2017-08-07
得票数 1
回答已采纳
1
回答
Docker Swarm
的
节点
之间不共享卷
、
、
我
在
Docker Swarm
的
不同
节点
上
运行
的
Docker容器之间共享文件夹时遇到了问题。我
的
蜂群由一名经理和两名工人组成。但是当我用docker exec _id_ touch /test/file将一个文件添加到这个文件夹中时,第二个容器看不到创建
的
文件。 如何配置群组,使文件
在
两个容器中都可见?
浏览 0
提问于2017-03-08
得票数 9
回答已采纳
1
回答
什么
是
/dev/sdxx
节点
?
、
、
这张
来自
TLDP
的
图片非常棒。它显示,在给用户空间实际读、写、打开对
文件系统
的
访问之前,块被映射到虚拟
文件系统
上
。维基百科说
在
不同
的
层上有3种版本
的
文件系统
。那么,标准(sd
节点
)
是
指物理
文件系统
,
还是
LVM映射后
的
虚拟
文件系统
? 或者它们只是指分区?(这意味着直接在分区
上
写入将跳过<e
浏览 0
提问于2016-11-01
得票数 5
回答已采纳
1
回答
spark-
在
集群模式下提交。无法将应用程序jar传输到
驱动程序
节点
、
我有3个
节点
集群
节点
A、B、C。
在
A、B
上
运行master,
在
A.B和C
上
运行slave。当我从
节点
A使用以下命令运行spark-submit时。--supervise --master spark://master.com:7077 file:///home/spark/sparkstreaming-0.0.1-SNAPSHOT.jar
驱动程序
启动到
节点
B,并
浏览 1
提问于2015-04-21
得票数 1
1
回答
"spark.yarn.jars“路径
的
本地
:/ URI方案
、
、
我对激发和尝试理解我
的
项目中
的
代码并在其上工作
是
陌生
的
。
在
创建火花会话时,我
在
代码中看到了配置为-.config
的
一个条目(“spark.yarn.jars”,“spark.yarn.jars:/cloudera/opt/xx/xxjars/*”)。我无法理解提到
的
URI方案
是
"local:/“。这是什么意思,有人能帮忙吗? 我做了一些谷歌,找到一个提到它
的
浏览 2
提问于2018-09-07
得票数 1
1
回答
Hadoop - HDFS块和分块( mapreduce运行时)
、
我想得到一些澄清和确认,我对块和
输入
分裂
的
理解。 请阅读,如果我
是
对
的
,请告诉我。当一个文件(例如1GB
的
大小)使用"put“命令从
本地
文件系统
复制到HDFS时,根据hadoop
的
配置文件中设置
的
块大小,它将在8个不同
的
数据
节点
上
被分割成8块(1024 MB文件/ 128 MB块大小另外,根据复制因子(比如3次),它被复制到不同数据
节点
浏览 3
提问于2016-06-07
得票数 0
回答已采纳
2
回答
触发
本地
rdd写入到
本地
Cassandra DB
、
、
、
我有一个DSE集群,集群中
的
每个
节点
都在运行spark和Cassandra。 当我从Cassandra加载数据到spark rdd并在Rdd
上
执行一些操作时,我知道数据将分布到多个
节点
中。
在
我
的
例子中,我想把这些rdds从
每个
节点
直接写到它
的
本地
Cassandra dB表中,有没有办法做到这一点。如果我执行普通
的
rdd收集,
来自
spark
节点
<e
浏览 3
提问于2020-10-20
得票数 1
1
回答
在
hadoop中,有没有办法获得hdfs块
的
底层
文件系统
文件名?
、
、
据我所知,hdfs将其文件作为块存储在数据
节点
上
,而
每个
块实际
上
是
作为文件存储
在
每个
数据
节点
的
本地
文件系统
中。因此,我想知道在给定hdfs文件名
的
情况下,是否有办法
在
本地
文件系统
中获取hdfs块
的
实际文件名。 谢谢。
浏览 0
提问于2015-06-18
得票数 2
2
回答
MapReduce中
输入
拆分
的
主要原因是什么?
、
、
在
中描述了
输入
文件被划分为M个
输入
分割。我知道Hadoop中
的
HDFS自动对64MB
的
块进行分区(默认),然后将这些块复制到集群中
的
少数其他
节点
,以提供容错。我想知道HDFS中
的
这种文件分区是否意味着
在
提到
的
MapReduce论文中描述
的
输入
拆分。容错
是
造成这种分裂
的
唯一原因,
还是
有更重要
的
原因?如果我
浏览 0
提问于2012-10-15
得票数 4
回答已采纳
2
回答
运行无星系团
的
Azure数据库
、
、
也就是说,用Python启动一个没有星火(和集群)
的
笔记本会话?
浏览 0
提问于2018-10-11
得票数 6
回答已采纳
2
回答
Apache Spark FileNotFoundException
因此,我
的
集群由我
的
机器中
的
一个
驱动程序
和主机(独立机器)中
的
一个worker和manager组成。我使用sparkContext.addFile(filepath)发送了一个文本文件,其中
的
文件路径
是
我
的
文本文件
在
本地
机器中
的
路径,我得到了以下输出: INFO Utils: Copying /homeXX.XX.164:58143/files/data.txt wit
浏览 2
提问于2016-03-08
得票数 2
1
回答
Spark如何在一个工作
节点
上
执行一个map操作?
由于存在大量模式,因此
在
一台PC
上
评估它们
是
不切实际
的
。我想使用Spark来完成这项工作,方法
是
评估一个工作
节点
上
的
每个
模式。评估过程如下所示。(1)为
每个
schemas创建测试负载,并将所有测试负载存储
在
Hadoop
文件系统
或工作
节点
本地
文件系统
中。测试负载只是.SQL文件中
的
insert和select语句,
浏览 1
提问于2014-11-24
得票数 0
1
回答
在
Eclipse
上
运行MapReduce代码
、
、
如果我
在
主
节点
中通过eclipse运行MapReduce代码,该代码
是
使用整个集群
的
资源运行
还是
仅在
主
节点
上
本地
运行?
浏览 0
提问于2015-07-08
得票数 0
2
回答
星火在哪里寻找文本文件?
我认为加载文本文件只需要在集群中
的
workers /中完成(您只需要确保所有工作人员都可以访问相同
的
路径,要么在所有
节点
上
都可以使用该文本文件,要么使用映射到同一路径
的
共享文件夹)。例如,sc.textFile("file:///somePath")不应该会导致
在
驱动程序
机器
上
查找文件(同样,
驱动程序
位于集群
的
外部,例如在“客户端”部署模式/独立模
浏览 2
提问于2015-09-08
得票数 11
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
linux驱动程序工作原理介绍
大数据技术原理与应用——分布式文件系统HDFS
文件系统发展史
有一个Ceph客户端来连接Windows系统吗?
案例:HDFS分布式文件系统
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券