自动化-爬取公主连结Re：Dive官方动态

杨丝儿

发布于 2022-03-20 15:56:01

19900

代码可运行

文章被收录于专栏：杨丝儿的小站杨丝儿的小站

运行总次数：0

代码可运行

爬虫自动化20200719

自动爬虫使用了spring boot的Quartz定时任务方法。

本文学习借鉴了这篇博客，感谢 gnail_oug。

添加quartz依赖

在pom.xml的dependencies下添加一个quartz依赖

<!-- quartz -->
   <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-quartz</artifactId>
   </dependency>

编辑需要自动化的类

导入quartz包
extends QuartzJobBean。
override executeInternal method

// package XXXXX.XXXX.XXX;

import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.springframework.scheduling.quartz.QuartzJobBean;

public class ClassName extends QuartzJobBean{
   @Override
   protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
      //your code
   }
}

配置定时任务

创建config文件
标记 @Configuration
创建一个返回JobDetail类的方法
创建一个返回Triger类的方法

// package XXXX.XXX.XX;

import com.bot.afvsr.services.impl.NewsServiceImpl;
import org.quartz.*;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class QuartzConfig {
    @Bean
    public JobDetail saveNews() {
        return JobBuilder.newJob(NewsServiceImpl.class).withIdentity("saveJsonData").storeDurably().build();
    }

    @Bean
    public Trigger saveNewsTrigger1() {
        //10分钟执行一次
        SimpleScheduleBuilder scheduleBuilder = SimpleScheduleBuilder.simpleSchedule()
                .withIntervalInMinutes(10)
                .repeatForever();
        return TriggerBuilder.newTrigger().forJob(saveNews())
                .withIdentity("saveJsonData")
                .withSchedule(scheduleBuilder)
                .build();
    }
}