6回答
我正在尝试使用PySpark从中的结构中删除一些嵌套列。
我为Scala找到了这个，它似乎正是我想做的，但我不熟悉Scala，也不知道如何用Python编写它。
浏览 8提问于2017-07-12得票数 10
回答已采纳
1回答
我试图使用Scala中的play解析带有NaN的JSON对象。
import play.api.libs.json._
val s = """{"a": NaN}"""
val p = Json.parse(s)
这个错误
com.fasterxml.jackson.core.JsonParseException:非标准令牌'NaN'：启用JsonParser.Feature.ALLOW_NON_NUMERIC_NUMBERS在源代码处允许：{"a"：NaN}；行: 1，列: 10
com.fas
浏览 1提问于2019-04-11得票数 2
我正在试用scala.js，并希望使用从Postgres数据库中提取的json格式的简单行数据。
下面是一个我想要解析成一些强类型scala集合的json类型的人为示例，需要注意的特性是，有n行，各种列类型(包括数组)只是为了涵盖可能的现实场景，不要担心创建内联表来提取JSON的SQL，我已经将它包括在scala.js中的JSON解析中，这给我带来了问题。
with inline_t as (
select * from (values('One',1,True,ARRAY[1],1.0),
('Six',6,Fal
浏览 4提问于2016-02-12得票数 1
回答已采纳
对于像这样的XML代码片段：
val fruits =
<fruits>
<fruit>
<name>apple</name>
<taste>ok</taste>
</fruit>
<fruit>
<name>banana</name>
<taste>better</taste>
</fruit>
</fruits>
做一些类似的事情：
fruits \\ "fruit&#
浏览 1提问于2012-03-01得票数 9
回答已采纳
我正在将一个dataframe转换成一个管道分隔的值，并将其写入shell (scala)中的一个文件中。但我在PySpark方面毫无头绪。会很感激你的帮助。
尤其是我不知道如何用“\”来连接每个列
这是scala版本
scala> val stgDF = spark.read.table("tbl")
stgDF: org.apache.spark.sql.DataFrame = [name: string, num: int]
scala> stgDF.map(line => line.mkString("|")).take(2) //H
浏览 3提问于2017-10-30得票数 4
回答已采纳
我对于当前Scala驱动程序的一个问题是，它们是否能够处理“部分”模式。我将尝试解释我的意思:我看到的库似乎都希望完成从数据库中的JSON文档到Scala对象的完全转换，处理Scala对象，并将其转换回JSON。如果您的应用程序了解这类对象的所有信息--尤其是如果它是唯一与数据库交互的软件，这是很好的。但是，如果我想编写一个只知道部分JSON对象的小应用程序呢?例如，如果我只对这样嵌入的'mybook‘组件感兴趣呢：
{
_id: "0ea56a7ec317138700743cdb740f555a",
_rev: "2-3e15c3acfc3936abf
浏览 3提问于2012-10-29得票数 2
1回答
非常慢的地板读
、、
我正在尝试从两个不同的位置读取拼图文件A和B。它们都是GCP中的parquet文件，模式中的列数大致相同(80-90列，大部分是字符串)。B在文件大小和记录计数方面非常小(大约比A小5个数量级)。但是我想知道为什么会是这样，从GS那里读到的东西和A几乎一样。
scala> show_timing{spark.read.parquet("gs://bucket-name/tables/A/year=2018/month=4/day=5/*")}
Time elapsed: 34862525 microsecs
res5: org.apache.spark.sql.DataF
浏览 0提问于2018-04-13得票数 2
3回答
我有一个如下所示的json数组，它是从数据库列读取到scala中的 jsonArrayString = "[{"firstName": "Harry", "lastName": "Smith"}, {"firstName": "John", "lastName": "Ken"}]" 我想遍历这个数组，并在for循环中获得字典键的值。 非常感谢你的帮助！
浏览 251提问于2020-09-24得票数 1
回答已采纳
2回答
我想把拼花文件写到PostgreSQL。我正在使用Spark并编写文件，我使用的是Spark的write.jdbc函数。对于长、十进制或文本这样的拼花列类型，一切都可以正常工作。问题在于像Map这样的复杂类型。我想将Map作为json存储在我的PostgreSQL中。因为我知道PostgreSQL可以自动将文本数据类型转换为json (使用强制转换操作)，所以我将映射转储到json字符串。
但是星火程序抱怨说，我们试图将“字符变化”数据类型插入到"json“类型的列中。这表明PostgreSQL不会自动将“字符变化”转换为JSON。
我继续登录到我的数据库，手动尝试将一个JSON字符串
浏览 1提问于2018-04-20得票数 2
回答已采纳
1回答
我正在Scala控制器类中执行Store过程，但无法得到正确的json格式的结果
val dbConfig = Database.forURL("jdbc:mysql://localhost:3306/equineapp?user=root&password=123456", driver = "com.mysql.jdbc.Driver")
val setup1 = sql"call HorsePrfile ($HorseId);".as[(Int,String)]
val res = Await.result
浏览 0提问于2018-08-17得票数 1
回答已采纳
1回答
我正在学习SCALA，还没有找到我喜欢的简单的Scala“微ORM”。我在找重量很轻的东西，比如petapoco ()。我能找到的最接近的东西是anorm，但它似乎需要您指示它如何映射到数据库或从数据库映射。
在petapoco中，我可以这样做：
foreach (var a in db.Query<article>("SELECT * FROM articles"))
{
Console.WriteLine("{0} - {1}", a.article_id, a.title);
}
或者(如果我没有类，但想直接传递给Json，那就更好了)
浏览 1提问于2012-02-12得票数 3
Scala -无法在构建Json时删除"{}“大括号的双引号
import scala.util.Random
import math.Ordered.orderingToOrdered
import math.Ordering.Implicits.infixOrderingOps
import play.api.libs.json._
import play.api.libs.json.Writes
import play.api.libs.json.Json.JsValueWrapper
val data1 = (1 to 2)
.map {r => Json.toJson
浏览 9提问于2022-10-13得票数 0
回答已采纳
1回答
我有一些xml配置文件，如：
<ConfigParams name="ABC">
<params>
<param name="campaignId" type="SINGLE_VALUED" validation="required" label="Campaign ID" />
</params>
</ConfigParams>
到目前为止，我一直在手动将每个XML转换为与某些任意配置xml CM.xml对应的JSON，方
浏览 4提问于2015-03-16得票数 0
回答已采纳
2回答
我有以下功能，它使用了reactivemongo驱动程序，并且实际上很好地编写了数据库。
def writeDocument() = {
val document = BSONDocument(
"firstName" -> "Stephane",
"lastName" -> "Godbillon",
"age" -> 29)
val future = collection.insert(document)
future.onComp
浏览 2提问于2016-01-15得票数 1
回答已采纳
2回答
考虑以下案例类：
case class Objective(goalId: Int, goalName: String, complete: Boolean)
case class Goal(id: Int, name: String, objectives: List[Objective])
我有一个从数据库中检索到的目标列表。我想把它们转化成一系列的目标。在Scala中做这件事的惯用方法是什么？
基本上，我需要：
用goalId和goalName对目标进行分组
将goalId映射到id，goalName映射到name
将每个目标的objectives设置为目标组
我知
浏览 3提问于2015-05-29得票数 1
回答已采纳
我在Stack Overflow和邮件列表上找到了许多关于时区、日期时间等MySQL JDBC问题的帖子，但即便如此，我仍然无法弄清楚这一点。我使用如下所示的连接字符串：
jdbc:mysql://localhost:3306/BigSense?useLegacyDatetimeCode=false&serverTimezone=UTC
我使用以下代码插入日期：
stmt.setTimestamp(x, s, Calendar.getInstance(TimeZone.getTimeZone("UTC")))
并且日期确实可以正确地存储在UTC时间的DateTime
浏览 0提问于2014-05-05得票数 5
2回答
如何用期货作为返回值在scala中实现尾递归函数：
示例代码
def getInfo(lists: List[Int]): Future[List[Int]] = {
def getStudentIDs(lists: List[Int]): Future[List[Int]] = {
//here a web service call that returns a future WS response
val response=ws.call(someURL)
response.map(r => {
r.status m
浏览 0提问于2018-03-10得票数 1
回答已采纳
我已经问了很多关于Scala集合类型以及如何实际使用它们的问题。考虑一下如何用Java编写一些服务API/实现：
public interface JavaProductAPI {
public Set<IProduct> getProducts(String isin);
}
现在的要害是：
public class JavaProductAPIImpl implements JavaProductAPI {
private Map<String, Set<ProductImpl>> productsByIsin;
public
浏览 2提问于2009-03-24得票数 1
我们开发了一个scala作业，使用蔚蓝消息传递-servicebus sdk for java (ver7.8.0)发送关于服务总线主题的消息。使用蔚蓝云数据库9.1LTS(使用Spark3.1.2和Scala2.12)，所有都可以正常工作，但在10.4LTS集群上运行相同的作业(使用Spark3.2.1，Scala2.12)，作业失败，出现以下超时错误
IllegalStateException: Timeout on blocking read for 245600000000 NANOSECONDS
at reactor.core.publisher.BlockingSingleSubs
浏览 1提问于2022-05-13得票数 0
我一直在处理使用导入到postgresql数据库中的OSM数据。这在我的postgre数据库中生成了几个表，其中包含一个表planet_osm_ways.可以研究osm行星。planet_osm_ways有以下数据示例：
问题：上表中的标记列不是JSON格式的。如果使用JSON格式的数据不是很有用吗？
我相信它在访问标签时非常有用，比如，如果数据是JSON格式的，那么可以很容易地访问"name“键的内容。在当前状态下，除了解析标记列的每个实例中的所有标记外，没有其他解决方案。
期待得到有趣的建议，并了解不保留JSON格式的标记数据的特殊原因。非常感谢你抽出时间。
浏览 1提问于2015-12-13得票数 1
回答已采纳
1回答
我目前正在努力解决这个问题。
在我们的系统中，我们使用Java 和Scala案例类，它们通常相互包含。因此，我正在寻找一个很好的解决方案，用于如何将这些对象映射到mongoObjects，以便从数据库中保存/加载它们。
为此，我尝试了Morphia，但不幸的是它不能从json序列化回对象，因为它不能构造case类。
所以我尝试了Salat，但是这个只适用于案例类，而不是java：
有人知道怎么做吗？
浏览 1提问于2012-12-10得票数 3
我有以下问题。当我试图执行模拟时，我会得到以下错误：
Generating reports...
Exception in thread "main" java.lang.UnsupportedOperationException: There were no requests sent during the simulation, reports won't be generated
at io.gatling.charts.report.ReportsGenerator.generateFor(ReportsGenerator.scala:49)
a
浏览 8提问于2020-03-21得票数 2
回答已采纳
postgresql数据库中有一个表(engine verion 10.11)，其中有一个名为resettime的列，该列的数据类型为时间戳。数据库的默认时区是“澳大利亚/悉尼”。
列重置时的默认值为时区(‘UTC’：：text，now())。
我运行了下面的命令来在DBEaver中设置这个列。
update mytable set resettime = timezone('UTC', now()) + interval '1 hour' where id = 1;
当前UTC时间为11:47，相应的AEST时间为21:47。
在运行上述语句之后，我尝试通过D
浏览 8提问于2020-09-14得票数 0
回答已采纳
我正在进行一个保存JSON数据的项目，其中每个对象都有3个组件，并且有50到200个组件。
我希望在数据库中的JSON列中搜索与对象组件中的单词或短语匹配的关键字，并使用匹配的JSON数据返回行。
在构建了一个查询输入并将其连接到控制器、视图、模型等之后，我正在处理视图中显示的结果，我希望返回包含匹配到查询的单个对象。
样本json结果
["{'result': [{'start': 5.00,", "'end': 10.0,", "'text': 'I would probably
浏览 0提问于2018-10-24得票数 0
1回答
我使用Scala的Play Framework2.3。对于数据库管理，我使用了slick 3，我想暂时禁用H2数据库的外键约束。我发现在H2中设置REFERENTIAL_INTEGRITY FALSE是可能的。但我不知道该如何用Scala巧妙地设置它。你能告诉我吗？
浏览 0提问于2015-06-01得票数 1
回答已采纳
我有一张这样的数据
ID Color
A red
B green
C red
D yellow
我通过创建字典将颜色枚举为数字：
color_list = ['red', 'green', 'yellow']
colors = dict(enumerate(color_list))
现在如何用颜色ID替换列值，使数据帧看起来如下所示：
ID Color
A 1
B 2
C 1
D 3
编辑：作为后续问题，如果我在Spark中有相同的数据，我将如何在Scala中处理它？
浏览 1提问于2017-07-17得票数 0
回答已采纳
我需要编写一段代码来比较Java的ArrayList和Scala的List的性能。我很难让Scala List在我的Java代码中工作。有没有人能贴出一个真正简单的"hello world“示例，演示如何用java代码(在.java文件中)创建一个Scala List，并在其中添加100个随机数？
PS:我对Java很在行，但从来没有用过Scala。
浏览 2提问于2011-07-05得票数 16
回答已采纳
3回答
这里有非常简单的JSON片段..。
[
{
"email": "fred@flintstones.com",
"name": "fred",
"trash": "ignore"
}
]
..。在进行处理之前，需要对其进行验证：
val validateUser: Reads[JsValue] = (
(__ \ 'email).read(email) ~
(__ \ 'name).read[String]
).tupled ~> impl
浏览 4提问于2014-01-18得票数 1
回答已采纳
使用Scala和json4s (也许我错过了一个金鱼库之类的东西)
我正试图向JSON中添加一些字符串列表(或数组)，因此最后如下所示：
{"already":"here",..."listToAdd":["a","b",c"]}
事实上，我已经在JObject中拥有字符串，而数组中已经有字符串列表。因此，我跟踪docat ，其中指出：
Any seq produces JSON array.
scala> val json = List(1, 2, 3)
scala> compact(re
浏览 3提问于2017-04-27得票数 0
回答已采纳
1回答
我正在尝试转换JSON值：
[
{
"msg": "Hiiiiii",
"name": "Ruchirrrr"
},
{
"msg": "Holaaa Amigo",
"name": "Pablo"
},
{
"msg": "Demo",
"name": "RuchirD"
浏览 1提问于2020-12-09得票数 0
1回答
用spark读取多重json模式
、、、、
软件配置：
Hadoop distribution:Amazon 2.8.3
Applications:Hive 2.3.2, Pig 0.17.0, Hue 4.1.0, Spark 2.3.0
尝试用多个json模式读取，
val = spark.read.option("mergeSchema"，"true").json("s3a://s3bucket/2018/01/01/*")
抛出一个错误
org.apache.spark.sql.AnalysisException: Unable to infer schema for JS
浏览 0提问于2018-06-08得票数 4
我对Scala还是很陌生的，并且遇到了某种类型的障碍。
非SQL数据库(如mongo和rethinkdb )不对其表强制执行任何方案，并以json格式管理数据。我一直在努力让用于rethinkdb的java在Scala上工作，而且关于如何实际使用从数据库返回的结果的信息似乎少得令人吃惊。
假设有一个简单的文档模式，如下所示：
{
"name": "melvin",
"age": 42,
"tags": ["solution"]
}
我无法理解如何在Scala中实现这些数据。例如，在运行查询之
浏览 6提问于2022-08-25得票数 0
回答已采纳
我编写了下面的read方法，该方法在给定json的情况下将其反序列化为A
import scala.reflect._
import com.fasterxml.jackson.databind.ObjectMapper
import com.fasterxml.jackson.module.scala.DefaultScalaModule
val Mapper = new ObjectMapper
Mapper.registerModule(DefaultScalaModule)
def read[A](json: String)(implicit ct: ClassTag[A
浏览 0提问于2016-09-10得票数 0
我试图使用json4s库()将字符串列表转换为json数组列表：
object Convert {
import scala.collection.JavaConversions._
import org.json4s._
import org.json4s.native.JsonMethods._
val l = new java.util.ArrayList[String]()
l.add("1")
l.add("1")
l.add("1")
println(compact(render(l.toList
浏览 1提问于2016-01-15得票数 1
回答已采纳
如何解决Scala问题？在我的项目中，JSON的使用引起了警告：
压缩包JSON中的对象json。此对象将被移除。
import scala.util.parsing.json._
JSON.parseRaw("[{'a':'b'},{'c':'d'}]")
浏览 4提问于2015-04-25得票数 18
我有这样的JSON数据：
{
"parent":[
{
"prop1":1.0,
"prop2":"C",
"children":[
{
"child_prop1":[
"3026"
]
}
]
}
]
}
从S
浏览 2提问于2017-05-06得票数 3
回答已采纳
1回答
将Apache flink和scala与mockito结合使用。尝试在模拟DataStream中注入一个字符串，以测试两个测试用例。我不确定如何用一些数据模拟Flink的DataStream对象。有什么想法吗？
import org.apache.commons.lang3.StringUtils
import org.apache.flink.streaming.api.scala.DataStream
import org.scalatest.FunSuite
import org.scalatest.mockito.MockitoSugar
class MockTest extend
浏览 1提问于2017-07-13得票数 1
1回答
Scala宏和类型擦除
、、、
我编写的宏出现了一些问题，它帮助我将表示为case类实例的度量记录到InfluxDB中。我想我有一个类型的擦除问题，而type参数T正在消失，但我不完全确定发生了什么。(这也是我第一次接触Scala宏。)
import scala.language.experimental.macros
import play.api.libs.json.{JsNumber, JsString, JsObject, JsArray}
abstract class Metric[T] {
def series: String
def jsFields: JsArray = macro Met
浏览 3提问于2014-09-23得票数 0
回答已采纳
1回答
我试图将这个json文件读入一个单元表中，顶层键，即1,2..，这里是不一致的。
{
"1":"{\"time\":1421169633384,\"reading1\":130.875969,\"reading2\":227.138275}",
"2":"{\"time\":1421169646476,\"reading1\":131.240628,\"reading2\":226.810211}",
"
浏览 1提问于2015-01-13得票数 5
如果我尝试Http响应{"ReturnValue":""}，这个代码会出错。
由: spray.json.DeserializationException:预期列表为JsArray引起，但得到{"ReturnValue":""}
import spray.httpx.SprayJsonSupport._
import spray.json.DefaultJsonProtocol
import spray.http._
import spray.client.pipelining._
import scala.concurr
浏览 2提问于2017-12-12得票数 0
回答已采纳
我在数据库值(数组) $row->units中插入了使用函数serialize()=>[$row->units]，如何用$row->name在json_encode中回显它们与unserialize()？(在jQuery中返回对ajax调用的发送)
数据库中的列：
$row-> => a:6:{i:0;s:15:"Coffee";i:1;s:14:"Satellite";i:2;s:11:"Game Notes";i:3;s:14:"Internet";i:4;s:10:"Pool
浏览 2提问于2011-09-01得票数 0
回答已采纳
请有人回答我如何用Oracle 18.2制作post api。我想发送json正文并将其存储到数据库中。
浏览 1提问于2019-01-24得票数 0
回答已采纳
1回答
我是新来的火种，所以希望有人能帮忙。我试图读取存储在GCP桶上的拼板文件。该文件按日期进行分区，因此，例如bucket-name/year={}/month={}/day={}
对于给定的文件，我们有以下模式描述：
直到3月份，我们以前在浮动数据类型中使用x和y列。
3月份以来，这2列现在都是双数据类型的。
从我所看到的来看，吡火花在评估浮点数方面没有任何问题，而双数据类型是兼容的数据类型。(我在网上发现的类似的错误示例与数据类型不兼容有关，例如字符串和浮点数)，但是，如果我们试图读取该文件的所有可用数据，就会遇到这个奇怪的问题：
#i.e. read all the data
浏览 4提问于2021-06-09得票数 0
2回答
你能通过url发送JSON吗？
、、、、
我有一个ruby散列，其中键是urls，值是整数。我将散列转换为JSON，我想知道是否能够通过AJAX请求发送url中的JSON，然后从params散列中提取该JSON。
此外，我还将向客户端发送一个JSONifyed ruby哈希值。如果我在AJAX函数中有一个成功的回调，我在其中接收data变量中的数据，那么我如何用JQuery解析这个JSON？
如果我需要更具体的内容，请告诉我。
浏览 0提问于2011-07-09得票数 6
回答已采纳
2回答
JSON4S类型提示不起作用
、、、、
下面的测试片段
implicit val formats = DefaultFormats + FullTypeHints(Contacts.classList)
val serialized = Serialization.write(List(Mail(field = "random@mail.com", note = "Random note.")))
println(serialized)
Serialization.read[List[Contact[_]]](serialized).isInstanceOf[List[Mail]] should
浏览 3提问于2017-10-19得票数 6
回答已采纳
1回答
我正试着用SparkSql HiveContext来读Hive表。但是，当我提交工作时，会出现以下错误：
Exception in thread "main" java.lang.RuntimeException: Unsupported parquet datatype optional fixed_len_byte_array(11) amount (DECIMAL(24,7))
at scala.sys.package$.error(package.scala:27)
at org.apache.spark.sql.parq
浏览 4提问于2015-08-05得票数 1
回答已采纳
众所周知，我们可以在scala中定义一个重复参数(varargs)函数，如下所示：
def func(s: String*) = println(s)
我的问题是如何用函数文字风格重写上面的内容。还是不可能这样做？
备注：(s: String) => println(s)不正确。
浏览 5提问于2012-07-24得票数 4
回答已采纳
我有一个表，其中我将字典作为json存储在一列中。在将内容保存到数据库或从数据库加载内容时，如果可能的话，我希望能够使json反序列化不可见。有没有可能在不使用Foo中包含json表示的其他属性的情况下，使用dapper以某种方式做到这一点？
// where someData is the dictionary column
void Save(IDbConnection conn, Foo foo){
conn.Execute("INSERT INTO foos (name, <othercols...>, someData) VALUES (@Name, &l
浏览 1提问于2017-05-02得票数 4
1回答
我试图通过Azure SQL数据库隐藏敏感数据。数据保存为普通文本，一列保存为XML，另一列保存为json。我尝试向数据库添加规则，但当我打开SSMS并运行select语句时，它不适用于列中的任何数据(普通文本、xml或json保存的数据)。
没有任何用户被排除在外查看未隐藏的数据。只是想了解为什么当我在SSMS上执行select时，数据不会被屏蔽。
我的规则如下：
XML规则
JSON规则：
文本规则：
我的SQL语句：
从database_Name中选择TOP (1000) *
浏览 10提问于2022-06-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
