sbt类似与maven, gradle的项目管理工具，主要用在scala，也可以用在java项目，本文介绍一下常用的使用命令和语法 安装 mac brew install sbt redhat¢os # remove old Bintray repo file sudo rm -f /etc/yum.repos.d/bintray-rpm.repo curl -L https://www.scala-sbt.org/sbt-rpm.repo > sbt-rpm.repo sudo mv sbt
在软件项目开发中，依赖项管理是至关重要的一环。sbt（Simple Build Tool）作为Scala领域最常用的构建工具之一，提供了便捷的依赖项管理机制，既支持托管依赖项，也支持非托管依赖项。sbt 使用 Apache Ivy 作为其依赖管理系统，支持 Maven 和 Ivy 依赖格式。本文将对sbt的依赖管理逻辑进行一些个人观点上概述，水平有限，还请见谅。
Scala下载地址：https://www.scala-lang.org/download/
写这篇是因为PolarDB比赛很重要的一点是控制内存。C++只有2G，Java也只有3G，而6400W的键值对，即使只是Long类型，也需要16 * 64 * 10e6 ≈ 1G的内存，这还不包括其他对象引用的相关开销，所以内存控制在这里是非常重要的，因为稍不小心就会被CGroup无情地kill掉。因此在比赛开始没多久的时候我就研究了一下使用怎样的HashMap可以达到内存最简的状况。在这个过程中，顺便使用了JMH来分析了一下几个侯选库的性能。因为初赛相对来说比较简单，而且HashMap实际上在复赛时候的Range操作上没有发挥余地，所以我决定将这篇写下来分享给大家，希望能帮助更多对比赛有兴趣的同学找到一个比较好的入手点。
这篇文章是关于怎样将play 2.2.3的工程迁移到play 2.3.0 1、安装sbt 0.13.5，去官网下载sbt 0.13.5: http://www.scala-sbt.org/download.html，安装完之后， 修改工程下的project/build.properties文件。 修改sbt版本： sbt.version=0.13.5 2、升级scala到2.11.1（可选），由于play 2.3 同时支持 scala 2.10 和 scala 2.11所以，可以不用升级到2.11，
这个错误出现过若干次了，每次出现都想记录一下可是都忘了，然后下一次再遇见就又要搞很久才能解决，其实这本身是IntelliJ IDEA 2017.2的一个bug，只要修改一处配置就好了。
要使用Spark库，你首先必须了解的东西是Spark package。它有点像Spark的包管理器。当你给Spark集群提交job时，你可以到存放Spark package的网站下载任何package。所有package都存放在这个站点。
本文主要讲解Scala的并发（并行）编程，那么为什么题目概称geotrellis使用（六）呢，主要因为本系列讲解如何使用Geotrellis，具体前几篇博文已经介绍过了。我觉得干任何一件事情基础很重要，就像当年参加高考或者各种考试一样，老师都会强调基础，这是很有道理的。使用Geotrellis框架的基础就是Scala和Spark，所以本篇文章先来介绍一下Scala编程语言，同样要想搞明白Scala并发（并行）编程，Scala基础也很重要，没有Scala语言基础就谈不上Scala并发编程也就更谈不
IndexedRDD由AMPLab的Ankur Dave提出，它是Immutability和Fine-Grained updates的精妙结合。IndexedRDD是一个基于RDD的Key-Value Store，扩展自RDD[(K, V)]，可以在IndexRDD上进行高效的查找、更新以及删除。由于其并没有合并到 Spark 的主项目分支，所以在使用时需要引入特别的对其的支持。
1. 开发环境 activator-1.3.5 Play 2.4.1 IntelliJ IDEA 14.1.3 (Scala Plugin 1.5.2) 2. 如何调试？ 在IDEA中依次单击"File" - "New" - "Project from Existing Sources...",选择Play项目根目录下的build.sbt文件，单击OK， 再次单击OK，等待项目初始化完成。 在IDEA的菜单栏上依次单击"Run" - "Edit Conf
准备环境 安装JDK8 单击这里下载并安装JDK8，安装完成后在命令行查看Java的版本号： C:\Users\Lenovo>java -version java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) 如果上面的命令执行报错，请手动将路径"Java安装目录/bin"
原创声明，禁止转载 构建微服务并不容易，特别是当微服务变得越来越多时，而且好多微服务可能由不同的团队提供和维护，这些微服务彼此交互并且变化很快。 文档、团队交互和测试是获得成功的三大法宝，但是如果用错误的方式进行，它们会产生更多的复杂性，而不是一种优势。 我们可以使用像Swagger（用于文档），Docker（用于测试环境），Selenium（用于端到端测试）等工具，但是我们最终还是会因为更改API而浪费大量时间，因为他们不是说谁适合来使用它们，或者设置合适的环境来执行集成测试，而是需要生产数据（希望是匿
1. 安装 sbt 打开 terminal，检查 java 版本，安装 sbt： http://www.scala-sbt.org/release/docs/Installing-sbt-on-Mac.html $ java -version $ brew install sbt $ sbt about Getting org.scala-sbt sbt 0.13.16 ---- 2. 下载 jetbrains 的 community 版本, 安装 Scala plugin 打开 dmg 文件安装：
今天 Spark + AI Summit 2019 宣布开源了 Delta Lake 这个项目，关于这个项目的背景我就不赘述了，砖厂官网有很多介绍，包括项目的 Github 地址，大家可以上去看看，我也打算测一下，并且研究一下源代码，所以今天开始写一些探索这个项目的学习笔记。
使用gRPC作为云平台和移动前端的连接方式，网络安全应该是必须考虑的一个重点。gRPC是支持ssl/tls安全通讯机制的。用了一个周末来研究具体使用方法，实际上是一个周末的挖坑填坑过程。把这次经历记录下来与各位分享。
本文介绍了如何使用 Spark 进行大数据处理，首先介绍了 Spark 的基本概念和架构，然后通过一个简单的例子展示了如何使用 Spark 进行数据处理。最后，本文还介绍了 Spark 的部署方式，包括本地部署和集群部署。
说到网络框架，Ruby的Ruby on Rail和Python的Django都相当轻巧好用，但Java下的框架，则要沉重很多。有人因此质疑Java语言本身是否符合网络时代的需求。Java大神们对这一问
笔者认为，在研究一个开源项目的之前，看看起依赖管理的文件，比如说 Maven 的 pom.xml 文件，或者是 Sbt 的 build.sbt 文件。
开始学习spark ml了，都知道spark是继hadoop后的大数据利器，很多人都在使用spark的分布式并行来处理大数据。spark中也提供了机器学习的包，就是MLlib。
作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢!
自动生成 API 文档的好处不言而喻，它可以提供给你的团队或者外部协作者，方便 API 使用者准确地调用到你的 API。为了降低手动编写文档带来的错误，很多 API 开发者会偏向于寻找一些好的方法来自动生成 API 文档。本文将会介绍一些常用的文档生成工具：开源工具 Tapir，商业化产品 Apifox。
idea中使用scala运行spark出现： Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class 查看build.sbt: name := "ScalaSBT" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" % "spark-core
本文介绍了如何使用 Spark 进行大数据处理，包括概述、架构、运行、集群、资源调度、数据存储、编程模型、性能优化、高级特性、应用案例等方面的内容。
需求场景： 我们的产品需要与客户的权限系统对接，即在登录时使用客户的认证系统进行认证。集成认证的方式是调用客户提供的jar包，调用userService的authenticate方法。同时，还需要在classpath中提供密钥的key文件。 从需求看，这个集成并不复杂，且客户也提供了较翔实的接口文档与示例案例，开发工作量非常小。唯一的阻碍是客户有安全要求，内部的Jar包及其他文件都不能拷贝出来，而我们的开发环境是不能连接客户内网的。客户提供的Jar包并没有通过Maven来管理，我们只能采用直接导入的方式。在
在本文中将介绍 Scala 的 Play Web 开发框架。我们将会学习如何创建一个 Play 项目，使用开发工具生成我们的第一个项目以及实现自定义的功能，另外还将体验一下 Play 框架的测试能力。
随着大数据时代的到来，网页爬虫作为一种高效的数据收集工具，被广泛应用于互联网数据抓取和信息抽取。而知乎是一个知识分享平台，拥有大量的用户生成内容。通过爬虫获取知乎数据，企业和研究人员可以进行深入的数据分析和市场研究，了解用户的需求、兴趣和行为模式，从而为产品开发、市场定位和营销策略提供数据支持。本文将介绍如何使用Scala编程语言结合PhantomJS无头浏览器，开发一个简单的网页爬虫，以访问并抓取知乎网站上的数据。
之前debug spark源码，是通过写application debug，这个不是基于spark源码本身的调试。
我们知道，在集群环境节点之间进行交换的数据必须经过序列化/反序列化处理过程，而在这方面protobuf是一个比较高效、易用的模式。用户首先在.proto文件中用IDL来定义系统中各种需要进行交换的数据类型。然后用protoc编译器自动产生相关的源代码，里面包括了完整的序列化处理函数。在一个集成的系统环境内，protobuf数据必须保持与所有系统的松散耦合，不能对这些用户系统有任何依赖。这样把protobuf数据类型和相关的序列化/反序列化函数打成一个独立的包，由用户系统各自引用就是一种最佳解决方案了。
gRPC是google开源提供的一个RPC软件框架，它的特点是极大简化了传统RPC的开发流程和代码量，使用户可以免除许多陷阱并聚焦于实际应用逻辑中。作为一种google的最新RPC解决方案，gRPC具备了以下这些强项： 1、gRPC在HTTP/2协议上用protobuf取代了json实现了最佳效率 2、用IDL（Interface Definition Language），一种简单的描述语言来自动产生RPC的api源代码 3、支持blocking/non-blocking双向数据流交互，适合程序的流程
首先，我将使用Scala编写一个使用Selenium库下载yuanfudao内容的下载器程序。
Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台
【导读】笔者（许鹏）看Spark源码的时间不长，记笔记的初衷只是为了不至于日后遗忘。在源码阅读的过程中秉持着一种非常简单的思维模式，就是努力去寻找一条贯穿全局的主线索。在笔者看来，Spark中的线索就是如果让数据的处理在分布式计算环境下是高效，并且可靠的。 在对Spark内部实现有了一定了解之后，当然希望将其应用到实际的工程实践中，这时候会面临许多新的挑战，比如选取哪个作为数据仓库，是HBase、MongoDB还是Cassandra。即便一旦选定之后，在实践过程还会遇到许多意想不到的问题。 要想快速的解决开
Gatling是一款功能强大的负载测试工具，它为易于使用，高可维护性和高性能而设计。
Play Mongo 是一个专门为 Play Framework 开发的 MongoDB 模块，该模块提供了一个隐式方法可以简化 Play Json 的开发工作。
在大数据时代，网络爬虫技术发挥着不可或缺的作用。它不仅能够帮助我们快速地获取互联网上的信息，还能处理和分析这些数据，为我们提供深刻的洞察。知乎，作为中国领先的问答社区，汇聚了各行各业的专家和广大用户的智慧，其内容丰富，涵盖了从科技到艺术的各个领域。因此，知乎的热榜数据不仅反映了公众的关注点，也是研究市场趋势和公众兴趣的宝贵资源。
cmak在github上有已经编译好的安装包，我在JDK1.8环境中无法运行，于是才有了上一步的源码编译，我想使用JDK1.8编译，使得安装包可以在JDK1.8环境中运行，结果使用JDK1.8编译都编译不过，于是，只好老老实实的使用JDK11来安装cmak了。
实验环境建议使用jdk11，如果 java version 显示的是之前安装的其它版本jdk，可以切换到新安装的jdk11:
Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html 目录 前言 安装空间数据库 空间数据库栅格化 根据属性字段进行赋值 总结 一、前言 前面写了一篇文章（geotrellis使用（八）矢量数据栅格化）讲解了如何使用Geotrellis将Shape文件栅格化，并许下了后续会写一篇文章讲解空间数据库栅格化的诺言，周末虽然不是闲来无事，但是也得抽出时间兑现自己的诺言，就认认真真的折腾了一番，总算完成了，遂记录之
Play-Utils 是一个专门为 Play Framework 开发的实用工具包模块，目前已实现如下功能：
Spark成功的实现了当年的承诺，让数据处理变得更容易，现在，雄心勃勃的Databricks公司展开了一个新的愿景：让深度学习变得更容易。 当然牛好吹，也是要做些实际行动的，所有便有了spark-deep-learning项目。这件事情已经有很多人尝试做了，但显然太浅了，DB公司则做的更深入些。
01 前 言 Spark成功的实现了当年的承诺，让数据处理变得更容易，现在，雄心勃勃的Databricks公司展开了一个新的愿景：让深度学习变得更容易。 当然牛好吹，也是要做些实际行动的，所有便有了spark-deep-learning（https://github.com/databricks/spark-deep-learning）项目。这件事情已经有很多人尝试做了，但显然太浅了，DB公司则做的更深入些。 02 原 理 要做深度学习，肯定不能离开TensorFlow, MXNet之类的。 spark
该文摘要总结：本文介绍了如何利用Akka和Scala实现一个分布式计算系统，用于执行并行计算任务。具体来说，文章介绍了如何利用Akka的Actor模型和Scala的并发编程库来实现一个分布式计算系统，该系统能够执行多个计算任务，并将结果返回给调用者。同时，文章还探讨了如何利用Akka的Identify消息处理Actor的死亡，从而避免Actor的丢失，并提高系统的可用性。
随着Spark SQL的正式发布，以及它对DataFrame的支持，它可能会取代HIVE成为越来越重要的针对结构型数据进行分析的平台。 随着Spark SQL的正式发布，以及它对DataFrame的支
前面谈过gRPC的SSL/TLS安全机制，发现设置过程比较复杂：比如证书签名：需要服务端、客户端两头都设置等。想想实际上用JWT会更加便捷，而且更安全和功能强大，因为除JWT的加密签名之外还可以把私密的用户信息放在JWT里加密后在服务端和客户端之间传递。当然，最基本的是通过对JWT的验证机制可以控制客户端对某些功能的使用权限。
在日常的工作中，表格内的工具是非常方便的x，但是当表格变得非常多的时候，就需要一些特定的处理。Excel作为功能强大的数据处理软件，广泛应用于各行各业，从企业管理到数据分析，可谓无处不在。然而，面对大型且复杂的数据，Excel的处理能力可能力不从心。
前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。 在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。 本文的目标是写一个基于kafka的scala工程，在一个spark standalone的集群环境中运行。 项目结构和文件说明 说明 这个工程包含了两个应用。 一个Consumer应用：CusomerApp - 实现
SBT 一直以来都是 Scala 开发者不可言说的痛，最主要的原因就是官方文档维护质量较差，没有经过系统的、循序渐进式的整理，导致初学者入门门槛较高。虽然也有其它构建工具可以选择(例如 Mill)， 但是在短时间内基本上不可能撼动 SBT 的地位，毕竟它是 Scala 名正言顺的亲儿子。当然还有另外一个原因可能导致其它构建工具永远没有机会，Scala 语言以其卓越的编译器著称，编译器支持的丰富特性需要和构建工具进行无缝对接，例如 Scala 的 Macro 需要和构建工具的增量编译密切配合，在和编译器对接方面，SBT 具有先天优势。既然别无选择，只能选择默默忍受。下面分享在SBT使用过程中的一些常用技巧。
近日，JetBrains 正式发布 IntelliJ IDEA 2021.1，这也是今年的首个新版本。开发者可以从官网或通过 Toolbox App 进行下载。当然，Ubuntu 用户们也可以在 IDE 内或者使用快照进行升级。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
