django with spark on local machine (windows) 现在，我想使用spark在大数据规模上做到这一点。使用django作为后端框架处理请求，使用spark进行处理和建模 Django+pyspark on local machine (windows) and spark on remote cluster我设置了一个django项目，并在一个由两台linux机器和hdfs组成的集群上设置了spark。我使用pyspark创建了一个到linu
浏览 115提问于2019-06-25得票数 0
但是，当我尝试用start-all.sh启动集群时，遇到了一个问题:即，Spark安装在不同工作人员的不同目录中。但是，尽管每个工作人员的路径不同，但主服务器使用主服务器对$SPARK_HOME的定义对每个工作人员调用$SPARK_HOME。假设我不能在每个工作人员的同一路径上安装火花到主站，我如何才能让主程序识别不同的工作路径？
编辑#1 Hmm，找到了，强烈建议这是当前的实现--假设所有员工的$SPARK_HOME都是相同的。
浏览 0提问于2014-06-24得票数 2
现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
IBM installer for Apache Spark，在我的例子中是IBM_Spark_DK_2.1.0.0_Linux_s390x.bin，它提供了以下选项来执行安装程序(我缩短了选项列表，使其更具可读性)：
whereinterface mode for the installer
浏览 3提问于2017-02-14得票数 0
1回答
我已经在本地windows机器上的linux中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上，我已经安装了Spark。在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。我想，这是因为Windows和linux用户是不同的，windows用户没有在Linux中编写文件的权限。
使用spark将文件从windows存储到HDFS (linux )的正
浏览 1提问于2018-09-16得票数 0
回答已采纳
2回答
我正在尝试安装一个内核，它能够执行星星之火，并遇到Toree。我安装了toree，当我运行内核列表时它会出现。我按照下面的页面进行安装：对如何在木星上得到火花笔记本有什么想法吗？
我知道这里没有太多的信息，如果需要更多的话。让我知道。
浏览 0提问于2016-03-29得票数 7
我需要在我的笔记本电脑上安装spark 1.0.0，它有64位操作系统Windows8，java(java版本"1.7.0_25")。我下载了"spark-1.0.0-bin-hadoop2“。但是我不知道如何安装spark 1.0.0。我也在谷歌上搜索了一下，但是我找不到。那么，您能告诉我在Windows8操作系统上的安装步骤，以及在这个过程中还需要什么其他东西吗？
浏览 2提问于2014-07-08得票数 1
我是Apache Spark的新手。我使用的是Windows操作系统，而spark安装在Linux操作系统上，它是远程的。是否可以使用Java API在Spark配置中添加ip地址和端口？请分享spark java示例。
提前谢谢。
浏览 1提问于2017-02-07得票数 0
1回答
我知道像pytesseract这样的解决方案是存在的，但不确定它们是否能很好地处理PySpark，因为tesseract-ocr需要安装在linux机器上。
浏览 1提问于2022-02-22得票数 0
我已经将Python包从默认通道安装到这个环境中；但是，当我尝试import pyarrow时，Python解释器给我一个未定义的符号错误： Import Error: /test-env/lib/python3.7/site-packages/pyarrow/lib.cpython-37m-x86_64-linux-gnu.so: undefined symbol: _ZNK5arrow6Status8ToStringB5cxx11Ev
浏览 167提问于2019-03-08得票数 5
3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark之前，我还需要做什么吗？
浏览 1提问于2015-05-09得票数 4
回答已采纳
3回答
我在我的mac上安装了Hadoop2.7。然后我想在上面安装spark。但是没有任何关于this.can的文档，有没有人一步一步地解释如何在hadoop上安装spark？
浏览 2提问于2016-12-08得票数 1
我在2台机器上安装了spark 2.1.1，但是在不同的相对位置上，(在一台机器上)，我已经安装在NTFS驱动器的某个地方，而在另一台机器上，我已经在ext4驱动器上安装了它。当我试图通过主节点上的start-all.sh脚本启动这个集群时，我会得到以下错误：
浏览 0提问于2017-05-20得票数 1
回答已采纳
有人能指导我如何将PBI Desktop连接到安装在本地windows计算机上的APACHE SPARK吗？我应该传递什么服务器详细信息？我的是windows安装。给定的路径似乎是针对linux的？我在/spark/conf文件夹下看不到hive-site.xml文件。我也没有在我的spark安装中看到/apachehive/conf文件夹。我的spark安装是spark发布的
浏览 37提问于2019-09-01得票数 0
3回答
当我试图运行spark 2.6.3时，会出现下一个错误：Preparing JRE ...
starter: 150: starter
浏览 0提问于2012-05-22得票数 3
这是我在使用了大量StackOverflow后的第一个问题，如果我给出的信息不准确或不完整，请纠正我
直到本周，我还在colab笔记本上安装了pyspark，这是我在互联网上找到的众多指南之一，但这周它开始弹出几个不同的错误wget -q https://downloads.apache.org/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgztar -xvf spark-3
浏览 1提问于2020-08-09得票数 9
1回答
我刚刚在全新的Linux Mint安装(所有最新版本)上安装了Anaconda、Apache spark、Pyspark、Scala。为了测试安装，我尝试在终端中运行spark-submit，但得到以下错误： print(_find_<
浏览 31提问于2019-10-28得票数 0
回答已采纳
from pyspark.sql import SparkSessionimport pyspark.sql.functions as func
.builder\ .config("spark.master", "localfloat('Nan')),(1,14),(1,10),(2,22),(2,
浏览 4提问于2019-09-23得票数 0
回答已采纳
我最近在Linux上安装了pyspark，在导入pyspark时得到错误： ModuleNotFoundError: No module named 'pyspark' Pyspark在我的“pip列表”中 我在.bashrc中添加了以下几行代码： export SPARK_HOME=~/Spark/spark-3.0.1-bin-hadoop2.7export PYT
浏览 670提问于2020-10-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
