爬取公主连结Re：Dive官方动态

公主连结 Re:dive QQ bot 项目概述

游戏资讯QQbot，涉及到了很多关于爬虫，接口，Json，SQL数据库，Java Spring，Maven，GitLab的使用和小知识点。

零散的知识

Gitlab 详细信息

git私有仓库，采用apache协议，优质开源，且具有较高的保密性。

Git忽略文件

链接MySQL

1. “dbc:mysql:” 需要服务器地址 + 库名 + 用户名 + 密码 + tomcat/http接口的端口
   • 地址：<XXXXXXXXXXXXXXXXXXX.com>
   • 当然具体的语法还是需要更加深入的学习和记忆。

   库名 用户名 密码 port name userName password 4-digit port

2. 直接连结数据库的时候使用的是数据库端口
   • 对于MySQL，默认端口port为：3306

动态爬虫

对象网页： 爬取网页：https://api.vc.bilibili.com/dynamic_svr/v1/dynamic_svr/space_history?host_uid=353840826

思路

就是一般的思路，没有特殊的地方

1. 获取网页HTML
2. 通过formatFilter筛出需要的信息
3. 整理成单一String格式
4. 输出动态信息

过程

1. 获取网页HTML/Json
   • 使用HttpURLConnection类库
     • JavaHttp文章链接
   • URL.getcontent 方法返回的是URL的信息，不是对应网站的内容

项目中的图片记录

彩蛋：神奇的验证码