数据库，我当时回答他可以用传统的JDBC方式或者使用geotrellis.slick。...大概是说Slick使得我们能像处理普通Scala集合那样处理多种数据库，并能对数据库进行控制，相当于一个ORM框架。...2.4 操作类 上文讲到slick的优势就在于我们可以像使用scala集合那样读取数据库中信息，并能够对数据库进行操作。...引入上面driver中定义的api，并重写patienceConfig加大超时时间，防止下面的future执行超时。 CityTable很明显是City的映射对象，主要基于此对象对数据库进行操作。...对数据进行空间操作： geotrelis.slick支持将scala的空间操作转换为PostGIS的空间函数，如下： def getGeomWKTData { val q = for {
然而这些库在scala中，要么用起来非常别扭，要么有一些奇怪的问题。而Scala原生的库，比如squeryl，slick等，都有“多利用类型系统，少做魔术”的追求，所以用起来总是不那么好用。...再举一个playframework的例子。曾经的playframework1是java版的，现在的playframework2用scala重写了，虽然名字相同，但是两者的风格有很大不同。...但是实际情况是，如果不能尽早的掌握足够的类型系统知识，在使用Scala时我们几乎寸步难行。我们在编译Scala代码时，遇到的最多错误就是各种类型不匹配，如果不熟悉的话，可能要卡几个小时都解决不了。...我公司有个新项目，我想用Scala，边学边用 很多人低估了Scala的学习难度，甚至刚开始学习时，便打算在公司的新项目上使用。...中一些很有名的库： 构建工具: sbt scalatest/specs2 scalaz akka spark 这里要根据项目和兴趣进行选择。
Slick的主要目的是使关系数据库能更容易、更自然的融入函数式编程模式，它可以使使用者像对待scala集合一样来处理关系数据库表。也就是说可以用scala集合的那些丰富的操作函数来处理库表数据。...Slick把数据库编程融入到scala编程中，编程人员可以不需要编写SQL代码。我把Slick官方网站上Slick3.1.1文档的Slick介绍章节中的一些描述和例子拿过来帮助介绍Slick的功能。...下面是Slick数据库和类对象关系对应的一个例子： 1 import slick.driver.H2Driver.api._ 2 object slickIntro { 3 case class...Slick把Query编写与scala语言集成，这使编程人员可以用熟悉惯用的scala来表述SQL Query，直接的好处是scalac在编译时就能够发现Query错误： 1 //coffees.map...还可以获得运行效率的提升，因为在编译时可以进行前期优化。
首先谈谈Slick的特点：主体方面Slick为函数式编程模式带来了SQL编程，可以把数据库表当作scala语言中的集合来对待。...综合以上分析，如果从一个有多年信息管理系统（MIS）开发经验的程序员需求出发，能在工作中使用FRM是一种崭新的体验。与习惯用的ORM比较，从scala编程表达形式和程序运算方式上都有较大的改善。...、row.delete这样的功能 b) 在使用row的字段时还能坚持Slick的type safe优点，像这样：row(r.price)=10.0，避免row("price"), row(1)...library）分享给scala数据库编程的朋友使用。...希望无论在开发过程中或者将来的使用中都能得到有共同志愿朋友的参与和帮助。
前面几篇介绍里尝试了一些Slick的功能和使用方式，看来基本可以满足用scala语言进行数据库操作编程的要求，而且有些代码可以通过函数式编程模式来实现。...我想，如果把Slick当作数据库操作编程主要方式的话，可能需要先制定一套比较规范的模式来应付日常开发（也要考虑团队开发）、测试和维护。...Slick支持在配置文件application.conf里配置数据库功能模式，这样我们就可以在正式部署软件时才通过修订application.conf里的配置来决定具体的数据库种类和参数。...以上两个代码文件TableDefs.scala和DAOs.scala在注入依赖后都能够顺利通过编译了。...我们在Main.scala里实例化DAOs时可以用typesafe-config读取app.dbconfig值后设定jdbcDriver和db： 1 object Actions extends
使用强类型主要的目的是当我们把后端数据库SQL批次操作搬到内存里转变成数据流式按行操作时能更方便、准确、高效地选定数据字段。...在上集讨论示范里我们用集合的foreach方式模拟了一个最简单的数据流，并把从数据库里批次读取的数据集转换成一串连续的数据行来逐行使用。...一般来说完整的流式数据处理流程包括了从数据库中读取数据、根据读取的每行数据状态再对后台数据库进行更新，包括：插入新数据、更新、删除等。...先用下面这段代码来设置测试数据： 1 import slick.dbio.DBIO 2 import slick.driver.H2Driver.api._ 3 4 import scala.concurrent.duration...如果我们使用了具备强大功能的Stream工具库如scalaz-stream-fs2，就可以更好控制数据元素的流动。
我在上期讨论里已经成功的创建了一个简单的Slick项目，然后又尝试使用了一些最基本的功能。...在这篇讨论里我想以函数式思考模式来加深了解Slick。我对fp编程模式印象最深的就是类型匹配：从参数类型和返回结果类型来了解函数功能。...所以上面我所指的函数式思考方式主要是从Slick函数的类型匹配角度来分析函数所起的作用和具体使用方式。...所以大部分表行定义的支持函数都是在slick.lifted命名空间内的。 上面我们使用了模版对应表行定义方式，所有列都能和模版case class对应。...那么在定义projection def * 时就需要使用函数： def [R : ClassTag](f: (U => R), g: (R => Option[U])) = new MappedProjection
看来从FRM的返回结果开始进行数据行类型格式转换是一种比较现实的选择。一般来说我们还是可以假定任何FRM的使用者对于FRM的Query结果集类型是能理解的，因为他们的主要目的就是为了使用这个结果集。...下面先看一个典型的Slick Query例子： 1 import slick.driver.H2Driver.api._ 2 import scala.concurrent.duration._...这个类型现在基本上完全是针对Slick而设的，成功完成功能实现后期再考虑松散耦合问题。这个类型需要一个目标行类型定义和一个类型转换函数，外加一些Slick profile, database等信息。...import scala.concurrent.Await import slick.driver.JdbcProfile object DataRowType { class FDADataRow...._ 4 import scala.concurrent.Await 5 import slick.driver.JdbcProfile 6 7 object DataRowType { 8
看完Slick官方网站上关于Slick3.1.1技术文档后决定开始动手建一个项目来尝试一下Slick功能的具体使用方法。我把这个过程中的一些了解和想法记录下来和大家一起分享。...首先我用IntelliJ-Idea创建了一个scala项目。下一步就是如何选择数据库了。...除h2之外其它都没进行测试验证，具体配置参数和方法要参考数据库开发商提供的技术文档。我在这个示范里选用了h2配置：它会在我的用户根目录下创建一个slickdemo.h2.db数据库文件。...2 import scala.concurrent.ExecutionContext.Implicits.global 3 import scala.concurrent.duration._...4 import scala.concurrent.
用户可以利用数据流和FunDA提供的函数组件在数据流中游动进行数据更新操作。...我们将在下面几个章节进行FunDA功能的使用示范。 Slick运算Query返回的结果集合内的数据行类型一般是Tuple类型。因为无法使用字段名，是弱类型。...这样用户可以使用名称来调用数据字段来进行数据处理编程。...强类型转换可以在读取数据库时进行，生成强类型元素的数据流。或者在使用数据流时即时转换。...注意如果没有提供类型转换函数来辅助类型推导就必须在构建FDAViewLoader时提供SOURCE和TARGET类型参数。
Exception) extends FDAROW 4、终止行（end-of-stream）：数据流终止信号，用于通知下游节点已经没有流动元素了 FunDA自定义操作函数的主要目的是在某个流节点对流元素进行使用和处理...FunDA规范了一套标准的自定义函数操作流程，由一下几个步骤组成： 1、确定当前流元素类型 2、在该类型的框架内使用和变动流元素字段值 3、流动控制：控制元素向下游的流动 我们将在这篇讨论里示范各种形式和功能的自定义函数...再就是类型转换函数toAQMRaw是implicit def的，这是一种确保转换函数存在的措施，提供给compiler在编译时使用（试试如果不用implicit def会怎样，仔细阅读compiler的错误提示...slick TableQuery原始行类型AQMRPTTable#TableElementType来进行强类型转换。...本次示范的源代码如下： import slick.jdbc.meta._ import com.bayakala.funda._ import api._ import scala.language.implicitConversions
如果你是一个Slick用户，或者你是一个数据库编程人员正在尝试进入函数式编程模式，那么FunDA可能会帮到你。...整体上来说：Slick还是一个不错的函数式数据库编程工具，用scala语言，很多地方引用了函数式的抽象模式和对象（functional abstractions and objects）。...对于那些习惯了使用ORM(Object Relational Mapper)的资深数据库软件编程人员来说，这几乎是他们在大型复杂数据库软件开发项目中无法使用Slick的致命弱点。...FunDA在Slick功能的基础上增加了recordset数据集逐行处理功能，让使用者感觉亲切，能更灵活自然的在前台内存里实现强大的数据处理功能。...此外，FunDA的数据库读取方式支持reactive-streams标准，能对大量数据进行后台缓存，然后逐块输出，保证了资源的安全使用。
我们分别对这两部分进行了示范。本篇我准备示范把这两种情况集成一体的并行运算模式。这次介绍的数据源并行构建方式也与前面描述的有所不同：在前面讨论里我们预知需要从三个独立流来并行构建数据源。...直接使用上期示范中的铺垫代码包括NORMAQM表初始化和从STATES和COUNTIES里用名称搜索对应id的函数： val db = Database.forConfig("h2db") /...._ import com.bayakala.funda._ import api._ import scala.language.implicitConversions import scala.concurrent.ExecutionContext.Implicits.global...import scala.concurrent.duration._ import scala.concurrent....{Await, Future} import scala.util.
为了保证每个数据源都能被安全的使用，FunDA提供了事后处理finalizing程序接口来实现数据流使用完毕后的清理及异常处理（error-handling）程序接口来捕获和处理使用过程中出现的异常情况...在这篇讨论里我们将会测试和示范FunDA Exception-handling和Final-cleanup。...所以说事后处理程序的挂接是在构建view或者stream时进行的。...这就保证了无论发生任何情况，当完成使用数据源后都给予编程人员一个空间去进行事后处理如释放资源、中断连接、关闭文件等。...但我们同时希望这些情况发生时不会中断运算。
文档、团队交互和测试是获得成功的三大法宝，但是如果用错误的方式进行，它们会产生更多的复杂性，而不是一种优势。...正如我所说的，Pact适用于很多平台，在我们的例子中，用Scala编写Consumer和Producer，我们只能使用一个实现：Scala-Pact。...正如您所看到的，我使用Slick提供的基本方法，并且由于实体Categories和模型Category相互关联，因此DAO可以直接返回模型而不显式转换。...您可以在官方文档中找到更多关于如何在Slick中实现实体和DAO的示例和信息。...更多关于CDC和Pact 我已经向你展示了Pact的最基本用法，对于一个真正的环境来说这可能是不够的，因为有许多团队，每个团队都与许多生产者和消费者进行“并发”工作，其中通信非常重要，以及自动化和用于解决它的工具
在上期讨论中我们介绍了Scala Macros，它可以说是工具库编程人员不可或缺的编程手段，可以实现编译器在编译源代码时对源代码进行的修改、扩展和替换，如此可以对用户屏蔽工具库复杂的内部细节，使他们可以用简单的声明方式...这些恶评主要是因为Def Macros和编译器scalac捆绑的太紧，使用者必须对编译器的内部运作原理和操作函数有比较深刻的了解。...而且scala本身也面临着向2.12版本升级的情况，其中dotty就肯定是scalac的替代编译器。...我在介绍了Slick之后立即转入Scala Macros是有一些特别目的的。...研究FRM Slick乃至学习泛函编程的初衷就是希望能为传统的OOP编程人员提供更简单易用的泛函库应用帮助，使他们无须对函数式编程模式有太深刻了解也能使用由函数式编程模式所开发的函数库。
它是以数据交换的形式进行系统集成的。所以，Akka-http的核心功能应该是数据交换的实现了：应该能通过某种公开的数据格式和传输标准比较方便的实现包括异类系统之间通过网上进行的数据交换。...Akka-http提供了许多网上传输标准数据的概括模型以及数据类型转换方法，可以使编程人员很方便的构建网上往来的Request和Response。...但是，现实中的数据交换远远不止针对request和response操作能够满足的。系统之间数据交换经常涉及文件或者数据库表类型的数据上传下载。...withParallelMarshalling(parallelism = 8, unordered = false) FileIO是blocking操作，我们还可以选用独立的线程供blocking操作使用...scala.io.StdIn.readLine() bindingFuture.flatMap(_.unbind()) .onComplete(_ => httpSys.terminate
理论上用ScalikeJDBC作为一种JDBC-Engine还是比较理想的：让它处于各种JDBC工具库和数据库实例之间接收JDBC运算指令然后连接目标数据库进行相关运算后返回结果。...postAction: Option[PreparedStatement => Unit] = None) 重新考虑了一下，觉着把jdbc读写分开两个函数来实现更容易使用...，因为这样比较符合编程模式和习性。...WrappedResultSet => (rs.long("id"),rs.string("name"))}) println(s"selected id+name: $idname") } 如果我们使用...Slick-DSL进行数据库管理编程后应该如何与JDBC-Engine对接： object SlickDAO { import slick.jdbc.H2Profile.api._
在Slick官方文档中描述：连接后台数据库后，需要通过定义Projection，即def * 来进行具体库表列column的选择和排序。...也可以说是与定义column的类参数进行对应。...我们来看看Slick官方文件上的例子： import scala.reflect.ClassTag // A custom record class case class Pair[A, B...使用这样的行数据很容易错误对应，或者重复确认正确的列值会影响工作效率。...._ 3 import slick.driver.H2Driver.api._ 4 5 import scala.concurrent.ExecutionContext.Implicits.global
它们共同构成一个客户），将其在Kafka Streams DSL中使用非常困难。 通常需要您将所有流分组并聚合到KTables，然后进行多个外部联接调用，最后得到具有所需对象的KTable。...Scala 2.11.0于2014年4月发布，对2.11.x的支持于2017年11月结束（到发布Kafka 2.5时将超过2年）。...基于此，现在该放弃对Scala 2.11的支持了，以便我们使测试矩阵易于管理（最近的kafka-trunk-jdk8占用了将近10个小时，它将使用3个Scala版本构建并运行单元测试和集成测试。...验证群集的行为和性能后，通过编辑inter.broker.protocol.version并将其设置为2.5来提高协议版本 。 逐一重新启动Broker，以使新协议版本生效。...一旦所有（或大多数）使用者均已升级到0.11.0或更高版本，则在每个Broker上将log.message.format.version更改为2.5，然后逐一重新启动它们。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
腾讯会议
