通过命令行的Spark-Submit不强制UTF-8编码

文章/答案/技术大牛

发布

3回答

java、apache-spark、encoding、utf-8、bigdata

当我使用spark的Java API从IDE运行我的Spark作业时，我得到了所需的编码格式(UTF-8)的输出。但是，如果我从命令行启动“spark-submit”方法，输出就会错过编码。当通过命令行界面使用时，有没有办法强制编码为“spark-submit”。我使用的是Windows 10操作系统和Eclipse IDE。

浏览 46提问于2016-07-28得票数 1

回答已采纳

1回答

如何在Scala中将字符串转换为不同的编码？

scala、utf-8

可能重复：我有一堆字符串，我想读成UTF-8。有没有一种在Scala中强制执行这种编码而不传递命令行参数的方法？例如，我想做一些类似于val utf8EncodedString = new String(myString, "UTF-8")的事情。

浏览 4提问于2012-10-02得票数 1

2回答

Tomcat没有正确编码包含unicode字符的字符串文字。这个问题发生在Linux服务器上，而不是在我的开发机器(Windows)上。它只影响字符串文本(不影响从DB或文件读取的字符串！)。(server.xml).I使用setCharacterEncoding().I签入堆栈跟踪(没有可能设置编码的筛选器)。上面的一切都不管用。对我可能错过了什么有什么想法吗？req, HttpServletResponse resp) throws ServletException, IOExce

浏览 6提问于2012-03-22得票数 7

回答已采纳

4回答

Eclipse eGit不支持丹麦语字母(utf-8)？

eclipse、git、utf-8、github、egit

我正在使用eclipse和eGit提交我的java代码。我可以强制git/eGit/Github使用ç，ø和§吗？我猜加密不是utf-8吧？当我推送到github时就会发生这种情况(通过eclipse和eGit，同样的问题也是通过命令行)。

浏览 0提问于2013-07-04得票数 0

回答已采纳

1回答

Nifi ExecuteStreamCommand返回UnicodeEncodeError

python、pandas、unicode、apache-nifi、unicode-normalization

我正在通过ExecuteStreamCommand在Nifi中执行python脚本。当我在命令行中运行文件时，我不会收到任何错误，并且输出是正确的。错误日志：我正在保存一个由多个数据类型组成的熊猫df生成错误的代码： wo_new.to_csv(sys.stdout, encoding='

浏览 7提问于2019-12-20得票数 0

2回答

在星火代码中，使用配置文件管理conf.setMaster()以自动设置本地或纱线集群

scala、apache-spark、pyspark、apache-spark-sql、spark-submit

因此，在开发星火程序时，我使用我的本地机器，因此必须使用setMaster来“本地”。但是，当我提交从本地开发的程序构建的jar时，我显然不想使用“本地”模式。编辑：转到: Run->edir确认->应用程序配置集下：VM options = -Dspark.master=local[*]

浏览 3提问于2017-10-06得票数 4

回答已采纳

1回答

将csv转换为xlsx，将奇怪的输出放到字段头中。

python、excel、csv

一切都很顺利，除了我一直得到这个这是我的密码： wb = Workbook() withws.append(row) f.close() 我想知道是否有人遇到过类似的情况，以及他们是如何修复的。我正在寻找比仅仅重命名列更健壮的东西，如果可能的话。

浏览 2提问于2017-08-24得票数 0

回答已采纳

1回答

Spring-引导可执行编码

rest、encoding、utf-8、spring-boot、executable-jar

在Eclipse下运行时，我的Rest应用程序以正确的编码方式传递数据。但是，当我在Windows系统上以可执行的jar方式启动应用程序时，我的特殊字符就会中断。

浏览 3提问于2016-10-16得票数 0

回答已采纳

1回答

spark-submit不适用于python文件

apache-spark

我的问题如下，当我启动spark-submit时，什么都没有发生。我写了以下命令行：我知道我必须指定masterURL和类，但如果我在命令行中指定它们或不指定它们，它总是相同的…没什么。当我传递参数时，我成功地将它们打印到stdout上，但是所有引用spark的代码都没有启动。(我在windows下使用spark ) 如果有人有线索，那就太好了

浏览 3提问于2016-10-06得票数 1

2回答

有人能帮我解决Pyspark流错误:基数为10的int()的文本无效

python、apache-spark、pyspark

import sys from pyspark import SparkContext sc.stop() pass sc = SparkContext(appName="StreamingErrorCount");

浏览 0提问于2020-11-30得票数 0

2回答

Intellij构建工件-可运行的jar UTF-8

java、intellij-idea、build、artifact

我构建了一个读取csv文件(另存为csv UTF-8)的项目。在我的项目中，我阅读了csv文件的每一行。每一行的输出都显示在日志文件中。现在，当我在intellij中运行我的项目并查看日志文件时，所有行都是可读的。但是，当我从我的项目中构建一个工件，然后运行该jar时，csv中的一些符号被替换为'?‘符号..我查看了我的项目在文件编码下的设置，还有UTF-8</e

浏览 17提问于2020-10-15得票数 1

回答已采纳

1回答

为nifi安装kylo特定服务时出错

installation、apache-nifi、kylo

在使用命令安装Nifi之后，有一步要安装kylo特定的组件， sudo ./install-kylo-components.sh /opt /opt/kylo kylo kylo，但得到了跟踪错误。Creating symlinks for NiFi version 1.4.0.jar compatible nars ERROR: spark-submit not on path.

浏览 0提问于2018-01-12得票数 0

回答已采纳

1回答

使用s3a在驱动程序和执行器中获取spark jars

amazon-s3、apache-spark、mesos

我想把我的工作罐子从s3上拿出来。我运行的是1.6.1和hadoop 2.4，但我希望我也能使用2.6 (同样的问题)。

浏览 0提问于2016-05-10得票数 1

1回答

计划任务中的发送邮件编码错误

powershell、encoding

ermittelnwhile ($Date.DayOfWeek -ne "Saturday") { $date = $date.AddDays(1) } 我怎么才能解决这个问题？我已经指定了我的编码启动程序：PowerShellArguments：-Com

浏览 4提问于2019-10-29得票数 0

回答已采纳

1回答

Python:将pandas Dataframe作为参数传递给子流程

python、pandas、pyspark、subprocess、spark-submit

def spark_submit(self, test_cases, email): command = 'spark-submit TestRunner.py '+test_cases+" "

浏览 19提问于2019-11-20得票数 1

1回答

使用Volley JsonObjectRequest API - UTF-8编码不正确

android、json、encoding、utf-8、android-volley

我的API (nodejs)和我的android客户端在编码方面有问题。error.printStackTrace(); }queue.add(jsObjRequest);content-type → application/json; charset=utf-8TEST: {"announces":[{"_i

浏览 1提问于2015-11-01得票数 0

回答已采纳

1回答

从stdin从PostgreSQL副本获取数据时出错

python、postgresql

我使用下面的Python脚本将放在服务器中的CSV文件导入到PostgreSQL表中。，但我得到了下面的错误.while fetching data from PostgreSQL COPY from stdin failed: error in .read() call: UnicodeDecodeError 'utf“和我的服务器是以UTF编码，所以谁能建议或帮助我修改下面的脚本而不显式地将CSV文件转换为UTF encoding.Can这是通过代码完成的吗？如果我将CS

浏览 0提问于2019-07-01得票数 2

回答已采纳

1回答

HTTP请求编码Weblogic/Resteasy模拟

json、encoding、xmlhttprequest、resteasy

使用XHR通过网络发送瑞典语文本，我的理解是字符集编码被强制为默认的UTF-8：一旦选择，servlet通过将webapp.encoding.default参数设置为UTF-8，尝试通过weblogic-application.xml在Weblogic容器中全局获取请求。没什么区别。我还想在本地使用我的

浏览 1提问于2011-01-31得票数 0

1回答

如何设置PhantomJS内部编码？

javascript、node.js、encoding、utf-8、phantomjs

我创建了一个名为"encoding.js“的简单文件，其中包含：当我跑的时候有什么办法强迫utf8或修复bug吗？谢谢！

浏览 3提问于2017-11-20得票数 0

回答已采纳

1回答

Powershell ``Get剪贴板‘的编码问题

powershell、clipboard

我想通过命令行从剪贴板中检索HTML，并且很难找到正确的编码。例如，如果打开命令提示符/WSL，复制以下⇧Shift+⭾TAB并运行：检索正确的文本(⇧Shift+⭾TAB)。这似乎是Get-剪贴板命令的一部分编码混乱。怎么解决这个问题？编辑:正如@Zilog80在注释中所指出的那样，文本的编码实际上与假定文本具有的编码<em

浏览 11提问于2021-06-10得票数 1

回答已采纳

点击加载更多