Springboot之整合ElasticSearch使用

23号杂货铺

发布于 2019-09-26 17:27:57

8780

发布于 2019-09-26 17:27:57

文章被收录于专栏：23号杂货铺

“ 技术分享，不停更。除非老板娘喊我。

引入

先说一起昨天发生的事件。

（来自infoq）据外媒报道，1月22日，美国一家网上赌场集团泄露了超过 1.08 亿笔投注信息，包括客户个人资料，存取款记录、家庭住址、电话号码、电子邮件地址、出生日期、网站用户名、帐户余额、IP 地址、浏览器、操作系统信息、上次登录信息和游戏列表，甚至包含当前投注、获胜、用于交易的银行卡等详细信息。

该服务器被安全研究员 Justin Paine 发现，数据泄露源头竟然是 ElasticSearch 服务器，该服务器没有密码保护，不需要身份验证且很明显信息来源于在线投注门户网站。

近年关于ElasticSearch 的安全事故频发

ElasticSearch 是一个搜索引擎，企业一般用它来改进自有网络内的数据索引和搜索功能，通常会装在内部网络用来处理公司机密信息，信息不会泄露在网上，因为通常处理的是公司内部最敏感的信息。

虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数：

2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1% 的 Elasticsearch 启用了验证插件，另外有 2% 则关闭了 Elasticsearch。

2018 年 11 月份，美国还曾发生一起 ElasticSearch 服务器在没有密码的开放状态下泄露了将近 5700 万美国民众个人信息的事件。当时共泄漏超过 73GB 数据，并且几个数据库被缓存在服务器内存中，其中一个数据库包含的个人信息就达到了 56,934,021 份。

2018 年 12 月份，巴西最大的订阅电视服务之一的 Sky Brasil 在没有密码的情况下将 ElasticSearch 服务器暴露在互联网上，其 3200 万客户数据在网上暴露了很长时间，存储数据包括客户姓名、电子邮件地址、密码、付费电视包数据、客户端 IP 地址、个人地址、付款方式、设备型号等。

回顾几起案例，相似之处在于 ElasticSearch 服务器均在没有密码保护的情况下遭到泄露，因此企业应该对该服务器进行加密，如果不喜欢付费软件，网络中也有很多开源工具可供选择；其次，升级目前所用的 ElasticSearch 版本，较高版本暂时安全性更好；最后，如果选用了与 ElasticSearch 一起使用的集成工具，也需要检查这些工具是否会存在漏洞并做好加密工作。

那为什么不加密呢？我想有一个重要的原因，那还不是人家收费嘛。官方集成的Plugin - Xpack就有安全这一功能。但是！要收费，要收费，要收费。

扯了这么多，那为啥我们还用它啊，因为它好用啊。

具体配置

关于安全，或者网关权限，业内有各式各样的曲线救国办法。比如Nginx中配置htpasswd等等，想了解的网上一搜就会有很多。今天，我们来说一个由Spring公司的spring-data-elasticsearch对ES数据的简单集成和使用。所谓，站在巨人的肩膀上用现成的工具，从开发效率上讲，可谓是事半功倍。

使用前提：

JDK8+
Springboot 2.1.1.RELEASE
IDEA
Mysql5.5+
lombok
Greenwich.RELEASE（如果有集成Cloud，建议使用）

1、pom.xml

 1    <groupId>com.bboyHan</groupId>
 2    <artifactId>demo-project</artifactId>
 3    <packaging>pom</packaging>
 4    <version>1.0-SNAPSHOT</version>
 5
 6    <parent>
 7        <groupId>org.springframework.boot</groupId>
 8        <artifactId>spring-boot-starter-parent</artifactId>
 9        <version>2.1.1.RELEASE</version>
10    </parent>
11
12    <dependencyManagement>
13        <dependencies>
14            <dependency>
15                <groupId>org.springframework.cloud</groupId>
16                <artifactId>spring-cloud-dependencies</artifactId>
17                <version>Greenwich.RELEASE</version>
18                <!--<version>Edgware.SR3</version>-->
19                <type>pom</type>
20                <scope>import</scope>
21            </dependency>
22        </dependencies>
23    </dependencyManagement>
24
25    <dependencies>
26        ...
27
28        <!-- 对应es 6.2.2 version-->
29        <dependency>
30            <groupId>org.springframework.data</groupId>
31            <artifactId>spring-data-elasticsearch</artifactId>
32        </dependency>
33        <dependency>
34            <groupId>org.springframework.boot</groupId>
35            <artifactId>spring-boot-starter-web</artifactId>
36        </dependency>
37        ...
38    </dependencies>

2、application.yml

 1server:
 2  port: 8080
 3
 4spring:
 5  profiles:
 6    active: dev
 7  application:
 8    name: @pom.artifactId@
 9
10  data:
11    elasticsearch:
12      cluster-name: my-application # 对应es.yml里的cluster.name
13      cluster-nodes: 127.0.0.1:9300
14      repositories:
15        enabled: true
16
17  datasource:
18    url: jdbc:mysql://localhost:3306/bboyhan?characterEncoding=UTF-8&useUnicode=true&useSSL=false
19    username: root
20    password: root
21    type: com.alibaba.druid.pool.DruidDataSource
22    driver-class-name: com.mysql.cj.jdbc.Driver
23

补充：

Mysql在升级6之后，Driver有了新的变化，使用的是“com.mysql.cj.jdbc.Driver”，之前的“com.mysql.jdbc.Driver”已经弃用。另外，如果大家使用了JDBC连接Mysql6 com.mysql.cj.jdbc.Driver，需要指定时区serverTimezone。

1  datasource:
2    url: jdbc:mysql://localhost:3306/bboyHan?serverTimezone=UTC&useSSL=false

写代码

最近工作比较忙，小编代码命名比较随意了，就是传统的MVC，大家凑合看哈。

3、Controller

 1@RestController
 2public class TestController {
 3
 4    @Autowired
 5    private TestService testService;
 6
 7    @GetMapping("/test")
 8    public Result test() {
 9        return testService.test();
10    }
11}

4、Service

 1/**
 2 * @Auther: bboyHan
 3 * @Date: 2019/1/23 19:24
 4 */
 5@Service
 6public class TestService {
 7
 8    @Autowired
 9    private TestEsRepo testEsRepo;
10
11    public Result test() {
12        TestEs entity = new TestEs();
13        testEsRepo.save(entity);
14        return Result.success(save);
15    }
16}

5、repository

1/**
2 * @Auther: bboyHan
3 * @Date: 2019/1/23 19:20
4 */
5@Repository
6public interface TestEsRepo extends ElasticsearchRepository<TestEs,Long>{
7}

6、entity

 1import lombok.Data;
 2/**
 3 * @Auther: bboyHan
 4 * @Date: 2019/1/23 19:15
 5 * @Description:
 6 */
 7@Data
 8public class TestEs {
 9
10    private Long id;
11    private String name;
12    private String money;
13
14}

7、启动类

1@SpringBootApplication
2@EnableElasticsearchRepositories
3public class SearchApplication {
4
5    public static void main(String[] args) {
6        SpringApplication.run(SearchApplication.class, args);
7    }
8}

到这里就完成了，亲测可行。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2019-01-23，如有侵权请联系 cloudcommunity@tencent.com 删除

费用中心